Aspekty dotyczce projektu ukadu chodzenia w serwerowni

Aspekty, które należy uwzględnić w
projekcie układu chłodzenia w Data
Center pod kątem klasyfikacji TIER –
przykłady rozwiązań
Andrzej Różycki, Prokurent „SAR PW Sp. z o.o.” Sp. k., certyfikat ATS Uptime Institute nr 922
Paweł Wróbel, certyfikat ATS Uptime Institute nr 736
1
SŁOWNIK POJĘĆ TO GWARANCJA ZROZUMIENIA OCZEKIWAŃ INWESTORA, JAKOŚCI
PROJEKTU, RZETELNEJ I ODPOWIEDZIALNEJ REALIZACJI, EKSPLOATACJI NA POZIOMIE
BEZPIECZEŃSTWA FUNKCJONALNOŚCI
Funkcjonalność - zespół optymalnych/ustalonych/użytkowych/technologicznych
parametrów środowiska wewnętrznego serwerowni, które muszą być zapewnione przez
pracę urządzeń, instalacji i systemów oraz przez pracę personelu serwisu
odpowiedzialnego za utrzymanie ruchu;
Funkcjonalność Infrastruktury Technicznej – ciągła i bezawaryjna praca urządzeń i
systemów zapewniająca zespół wymaganych w miernikach funkcjonalności optymalnych
parametrów technicznych środowiska wewnętrznego serwerowni, tj. parametry
powietrza i mediów zasilających;
Infrastruktura krytyczna lub techniczna infrastruktura krytyczna –
ta część
Infrastruktury technicznej, której działanie jest niezbędne do utrzymania ciągłości
działania serwerowni.
Infrastruktura sanitarna – infrastruktura techniczna, w skład której wchodzą systemy
klimatyzacji precyzyjnej (HPAC), systemy chłodnicze, systemy automatyki dedykowane
tym systemom i pozostałe systemy sanitarne, tj. ciepła technologicznego, wodnokanalizacyjne. Zespół urządzeń i instalacji połączonych technologicznie w określonej
konfiguracji w jedną funkcjonalną całość i przeznaczony do zapewnienia wymaganych
parametrów klimatyzacyjnych środowiska wewnętrznego o zdefiniowanych wartościach,
tj. temperatura, wilgotność, nadciśnienie, ilość wymian, objętości, prędkości przepływu
powietrza i jego czystość, poziomu głośności;
2
SŁOWNIK POJĘĆ TO GWARANCJA ZROZUMIENIA OCZEKIWAŃ INWESTORA,
JAKOŚCI PROJEKTU, RZETELNEJ I ODPOWIEDZIALNEJ REALIZACJI, EKSPLOATACJI
NA POZIOMIE BEZPIECZEŃSTWA FUNKCJONALNOŚCI
Klasyfikacja TIER – wytyczne Uptime Institute w stosunku do projektowania, stosowania i
serwisowania rozwiązań technicznych dla infrastruktury krytycznej i infrastruktury w odniesieniu do
poziomu niezawodności.
Mierniki funkcjonalności - zespół parametrów środowiska wewnętrznego serwerowni,
określonych wartościami granicznymi niekrytycznymi (minimalne i maksymalne) oraz wartościami
krytycznymi (minimalne i maksymalne);
SLA (Service Level Agreement) – parametry określające wymagany poziom realizacji Usługi
utrzymania ciągłości działania serwerowni w ramach świadczenia usługi utrzymaniowej, na
poziomie bezpieczeństwa funkcjonalności;
Specjalistyczna usługa serwisowa – Specjalistyczny przegląd okresowy lub specjalistyczna
naprawa awaryjna elementu Infrastruktury świadczona przez firmę serwisową lub podwykonawcę
serwisowego posiadającego wymagane świadectwa kwalifikacji i wymagane prawem certyfikaty
wydane przez producentów danych urządzeń bądź ich autoryzowanych przedstawicieli lub
dystrybutorów w Polsce;
3
CO TO JEST UTRATA FUNKCJONALNOŚCI?
Zatrzymanie dostępu do usług danego obiektu (np. szpitala,
serwerowni, lotniska, itp) w wyniku zdarzeń generujących zakłócenia
w pracy Infrastruktury technicznej, do których należy zaliczyć:
•
•
•
•
•
•
•
przekroczenie wartości parametrów środowiska;
zbyt szybki przyrost gradientu temperatury lub lokalne przegrzania;
zalanie lub zapylenie lub zadymienie;
zakłócenia przełączeń z układów podstawowych na układy rezerwowe;
brak zasilania podstawowego wraz z odstawieniem zasilania rezerwowego;
złe parametry zasilania;
awarie urządzeń będące następstwem zaniechań lub zaniedbań, itp.
Utrata funkcjonalności ma miejsce jedynie wtedy, gdy zawiodą
wszystkie zabezpieczenia techniczne, a struktury firmy świadczącej
usługę utrzymaniową i procedury, którymi się posługuje nie są
przygotowane lub wystarczająco dobrze wdrożone aby zapewnić
właściwą reakcję na wystąpienie danej sytuacji.
4
JAK MOŻNA OPISAĆ FUNKCJONALNOŚĆ?
• Poprzez SLA (Service Level Agreement)
Są to spisane parametry i czynności określające wymagany poziom usługi
świadczonej na rzecz Zamawiającego przez Usługodawcę / Dostawcę w oparciu o
zapisy umowy zawartej przez strony w celu zapewnienia funkcjonalności. SLA
najczęściej stanowi załącznik do umowy na świadczenie usługi utrzymania ruchu.
Zamawiający zawierając umowę dla utrzymania w sposób ciągły wymaganej
funkcjonalności, określa je za pomocą mierników funkcjonalności oraz czasów
podjęcia i realizacji czynności związanych ze skutecznym zapewnieniem ciągłości
ruchu infrastruktury technicznej, czyli określa specyficzne dla tego stanu
parametry SLA w których uznaje się, że jest zapewniona funkcjonalność.
• Poprzez Mierniki Funkcjonalności
Jest to zespół parametrów środowiska danego Pomieszczenia, określonych
wartościami granicznymi niekrytycznymi (górną i dolną) oraz wartościami
granicznymi krytycznymi (górną i dolną), po przekroczeniu których stwierdza się
wystąpienie odpowiednio: Awarii niekrytycznej lub Awarii krytycznej.
5
PRZYKŁADY WYMAGAŃ SLA
Czas wykonania naprawy
awaryjnej
Czas reakcji
Rodzaje urządzeń
(kategorie krytyczności)
Serwisu
gwarancyjnego
Dostawcy Usługi
Utrzymaniowej
Urządzenia o krytycznej
ważności dla utrzymania
funkcjonalności
4h – cały rok
5 min. – cały rok
Urządzenia o krytycznej
ważności posiadające
redundancję
6h – cały rok
15 min. – cały
Urządzenia ważne dla
utrzymania ruchu
12h – cały rok
Serwisu
gwarancyjnego
8h / cały rok
Dostawcy Usługi
Utrzymaniowej
4h / cały rok
Czas wykonania naprawy
ostatecznej
Serwisu
gwarancyjnego
24h /
12h / cały rok
8h / cały rok
24h / cały rok
24h / cały rok
cały rok
4d / cały rok
Dostawcy Usługi
Utrzymaniowej
24h / cały rok
7d / cały rok
rok
30 min. – cały
8d / cały rok
14d / cały rok
rok
Poziom eksploatacji
Obszar
Pomieszczenia o znaczeniu krytycznym
Wartość odchyłki
Parametr
o
o
o
o
o
o
o
Pomieszczenia ważne
o
o
o
o
o
o
o
Pomieszczenia pozostałe
o
o
o
o
o
o
o
Pomieszczenia o znaczeniu krytycznym
Zasilanie gwarantowane
Zasilanie gwarantowane
Zasilanie gwarantowane DC
6
ZALECENIA PROJEKTANTA ZAWARTE W PROJEKCIE NA POZIOMIE FUNKCJONALNOŚCI
OKREŚLONEJ WYMAGANIAMI SLA – ETAP ROZRUCHÓW I ODBIORÓW
•
Końcowym etapem procesu budowlanego jest prawidłowo wykonamy commissioning rozumiany
jako: rozruch instalacji, a następnie testy funkcjonalne prowadzące do udokumentowania, że
funkcjonalność i wydajność systemów jest zgodna z zaprojektowaną (wymaganą) dla uzyskania
końcowej akceptacji procesu budowlanego przez zamawiającego. W zapisach projektu proces
commissioningu powinien zawierać wymagania w zakresie:
•
•
•
•
•
testów funkcjonalnych wydajnościowych infrastruktury technicznej ze wszystkimi próbami
rozruchu pod obciążeniem eksploatacyjnym (tymczasowym, cząstkowym oraz docelowym);
testów funkcjonalnych sekwencji pracy i współdziałania urządzeń i systemów w stanie
eksploatacyjnym oraz awaryjnym, w których zostaną sprawdzone wszystkie procesy i
procedury w przewidywanych zakresach operacyjnych dla udowodnienia osiągania
zakładanych mierników funkcjonalności, zgodnie z pożądanym TIER;
Commissioning powinien być zlecony zewnętrznym specjalistom posiadającym odpowiednie
kompetencje i doświadczenie (commissioning agent – ca). CA może być także odpowiedzialny za
wykonanie procedur eksploatacyjnych oraz awaryjnych.
W testach odbiorowych powinny brać czynny udział służby odpowiedzialne następnie za
utrzymanie ruchu.
dobrze wykonany commissioning może zminimalizować lub nawet wyeliminować część błędów
popełnionych na wcześniejszych etapach inwestycji, wtedy gdy koszty naprawy tych błędów będą
jeszcze minimalne.
7
Klasyfikacje TIER zostały stworzone, aby kompleksowo opisywać infrastrukturę
obiektu, wymaganą do nieprzerwanego działania centrów przetwarzania danych.
Standard TIER opiera się na fakcie, że serwerownie są zależne od sprawnego i
zintegrowanego działania kilku oddzielnych podsystemów infrastruktury
obiektowej, których liczba zależy od poszczególnych technologii (np. wytwarzanie
energii, chłodnictwo, awaryjne źródła zasilania, itp.) użytych do zapewnienia
ciągłości działania.
Każdy podsystem i system musi spełniać te same kryteria niezawodności, aby
spełnić poszczególne wymogi ogólnej klasyfikacji TIER. TIER całego obiektu
wynika z oceny najsłabszego podsystemu, który będzie miał wpływ na działanie
obiektu.
TIER III
TIER IV
ASPEKTY, KTÓRE NALEŻY UWZGLĘDNIĆ W PROJEKCIE INSTALACJI CHŁODZENIA
SERWEROWNI POD KĄTEM KLASYFIKACJI TIER
Podejście odpowiednie dla serwerowni, to oczekiwanie niezakłóconej ciągłej
pracy w trybie 24/365 przez kolejne 10-15 lat.
Dlatego należy brać to pod uwagę przy obliczeniach:
• mocy urządzeń chłodniczych
• doborze jednostek spełniających te obliczenia
• doborze jednostek redundantnych.
Bilans zysków ciepła na które wpływ mają:
• wymagania wewnętrzne (środowisko dla poprawnej pracy urządzeń IT)
• otoczenie zewnętrzne przy uwzględnieniu skrajnych warunków
klimatycznych lato/zima
14
BILANS ZYSKÓW CIEPŁA
PYTANIA, NA KTÓRE MUSI ODPOWIEDZIEĆ PROJEKTANT:
1.
2.
3.
Co powinniśmy schładzać: pomieszczenia / urządzenia?
Jak powinniśmy schładzać? Szybkość schładzania ∆T w jednostce
czasu
Warunki zewnętrzne – jakie?
•
•
•
•
4.
Należy przyjmować maksymalne temperatury w odniesieniu do
wilgotności względnej
Zasady eksploatacji w ekstremalnych warunkach. Procedury naprawcze
Wpływ urządzeń na otoczenie i otoczenia na urządzenie – pyły, brud,
zadymienie, zanieczyszczenia, śnieg na dachu, ulewy
Głośność pracy jednostek zewnętrznych i wewnętrznych.
Wilgotność – czym ją zapewniamy? Jakie są zagrożenia?
15
PROJEKTOWE WARTOŚCI TEMPERATURY NA POTRZEBY DOBORU URZĄDZEŃ CHŁODZENIA
Efektywną ilości wymaganych mediów
zapewnionych przez infrastrukturę
serwerowni określa się dla następujących
parametrów:
1. temperatury powietrza na powrocie do
CRAC
a) Temperatura w serwerowni 1827°C,
b) Wilgotność w serwerowni górna
granica 60%RH
2. Parametry powietrza zewnętrznego
Zgodnie z wymaganiami ASHRAE
projektant powinien przyjąć
maksymalne wartości temperatury dla
danego regionu, gdzie będzie
serwerownia, która wystąpiła w okresie
ostatnich 20 lat, np.:
we Wrocławiu w 2015: +37,9 °C
w Warszawie (Wawer) w 2015: 39,5 °C
W Łodzi w 2013: +38,0 °C
W Krakowie w 2013: +37,3 °C
2004 Version
Low End eT mperature
iH gh End eT mperature
20
25
Low End o
M isture
iH gh End o
M isture
°C (68
°C (7
40
5
% RH
% RH
2008 Version
° F)
° F)
18
27
°C (64.
°C (80.6
5.
60
(59
° F)
° F)
°C DP (41.9
° F)
% RH & 15
° F DP)
°C DP
16
ZASADY SCHŁADZANIA URZĄDZEŃ W SERWEROWNI
1. Pośrednie - powietrzem
a) Poprzez schładzanie całego pomieszczenia serwerowni
b) Poprzez schładzanie zimnego korytarza
c) Poprzez dedykowane schładzanie gorącego korytarza i
wynikowe schładzanie pozostałej przestrzeni
serwerowni
2. Bezpośrednie
a) schładzanie racków medium chłodniczym
17
PRZYJĘTE ROZWIĄZANIE UKŁADU CHŁODZENIA I
UWARUNKOWANIA
Najczęściej stosowane rozwiązania. Kiedy stosować jakie rozwiązania?
woda lodowa (chillery z freecoolingiem)
czynniki chłodzące grupy HFC, tzn. „freony” z bezpośrednim odparowaniem
(szafy precyzyjnej klimatyzacji ze skraplaczami zewnętrznymi i systemy IN ROW)
powietrze zewnętrzne + schładzanie adiabatyczne (KyotoCooling / System EFC /
DFC2
układ pośredni - drycoolery ze zraszaniem (szafy precyzyjne ze skraplaczami
wewnętrznymi i „pompy freonowe”)
Sposoby dystrybucji powietrza w serwerowni
Podwójna podłoga
Wyporowe
Nawiew uzyskiwany przez wentylatory podłogowe
Systemy kanałowe
Bezpośredni nawiew w rejonie rack’a
Powrót powietrza do CRAC
Bezpośredni powrót powietrza do szaf
Powrót powietrza do szaf przez strop podwieszony
18
LOKALIZACJA URZĄDZEŃ KLIMATYZACYJNYCH
I - Jednostki wewnętrzne podstawowe i redundantne
a) W odniesieniu do „wysp ciepła”
b) W odniesieniu do zbilansowanej dystrybucji chłodu w odniesieniu do
kompleksowej pracy serwerowni w następujących trybach pracy:
• Praca podstawowa
• Praca turnusu
• Praca redundancji
c) Skuteczność schładzania
d) Efektywność energetyczna
e) Niezawodność / funkcjonalność
Konfiguracja „mocy” podstawowej i „mocy” redundantnej a niezawodność
na poziomie TIER
II - Lokalizacja jednostek zewnętrznych (zagrożenia fizyczne i dostęp
serwisowy)
19
RECYRKULACJA ZEWNĘTRZNA
21
RECYRKULACJA ZEWNĘTRZNA
22
RECYRKULACJA WEWNĘTRZNA
Bezpośrednie zasysanie gorącego powietrza przez wentylatory chłodzące rack’i
23
PODŁOGA PODWÓJNA JAKO NAJLEPSZY DYSTRYBUTOR POWIETRZA
ZALETY
WADY
• plenum nawiewne o
maksymalnej wydajności
• łatwość zapewnienia nawiewu
powietrza w każdym miejscu
serwerowni
• elastyczność – możliwość
łatwej dyspozycji objętością
plenum nawiewnego w
zależności od wysokości
podwójnej podłogi
• możliwość dostępu w każde
miejsce do przestrzeni
podpodłogowej
• możliwość prowadzenia
okablowania strukturalnego i
instalacji zasilających, itp.
• łatwe czyszczenie
• tłumienie głośności pracy szaf
CRAC
• brak możliwości precyzyjnego wyliczenia wartości nawiewu w
wytypowanym miejscu
• nieszczelności zwiększające się wraz ze wzrostem nadciśnienia
podpodłogowego;
• zbyt niska wysokość podłogi wymuszona niskimi pomieszczeniami
• dużo niekontrolowanych strat nadciśnienia w przestrzeni podpodłogowej,
wynikających z wielu dodatkowych niepotrzebnych otworów:
instalacyjnych, montażowych, niestaranności montażu płyt (stepowanie),
słabe zabezpieczenia przejść przez podłogę instalacji okablowania
strukturalnego
• zakłócenia przepływów podpodłogowych wynikające z niekontrolowanych
strumieni przepływu powietrza (ciśnienie dynamiczne)
• zakłóceń spowodowanych przez okablowania strukturalne i inne instalacje
prowadzone pod podłogą
• powstawanie zjawiska kondensacji przy niskich temperaturach nawiewu
• Zagrożenie niestarannym montażem podłogi i powstawanie nieszczelności
na styku zespolenia jej ze ścianami serwerowni
• Zagrożenie nieodpowiedniego przygotowania podłoża betonowego pod
podłogą (zapylenie)
• trudności szybkiej lokalizacji przecieku
24
CO DODATKOWO PROJEKTANT POWINIEN UWZGLĘDNIĆ W
PROJEKCIE HVAC&R
1. Oczekiwania po stronie użytkownika i projektanta to chęć posiadania dodatkowej
rezerwy mocy chłodniczej – „tak na wszelki wypadek”
2. FAZY DOCIĄŻANIA SERWEROWNI W ODNIESIENIU DO EMISJI ZYSKÓW CIEPŁA Z
URZĄDZEŃ ELEKTRONICZNYCH:
a) faza rozruchu – próby, testy, procedury rozruchowe itp.
b) faza osiągnięcia mocy nominalnej:
• Od 30% do 50% obciążeń ciepl.
• 50% do 90%
c) faza osiągnięcia mocy maksymalnej
• 90 do 120%
3.
Proces osiągnięcia maksymalnej mocy chłodniczej w serwerowni jako wynik
planowany sukcesywnego obciążania serwerów i podnoszenia gęstości mocy
4.
Zakłócenia pracy klimatyzacji w niedociążonej emisją zysków ciepła serwerowni
(faza rozruchu)
25
PODSUMOWANIE
•
Odpowiedzialność projektanta za projekt z perspektywy strat wynikających z braku dostępu do
usług świadczonych przez serwerownię, a będących następstwem awaryjnego odstawienia
systemów chłodzących. Są to wielomilionowe straty materialne i zagrożenie utraty
wiarygodności właściciela, która jest podstawą ich pozycji rynkowych.
•
W okresie użytkowania serwerowni Inwestorzy i Użytkownicy nie dopuszczają możliwości
wystąpienia awarii infrastruktury krytycznej na poziomie całkowitego wyłączenia systemu utraty funkcjonalności. Dlatego też:
Projektowanie serwerowni w zakresie klimatyzacji precyzyjnej jest jednym z
najtrudniejszych zadań dla projektantów HVAC&R.
Wiedza, doświadczenie, odpowiedzialność czyli profesjonalizm to miara świadomości, że
instalacje i systemy chłodzenia w serwerowni powinny pracować bezawaryjnie przez 1015 lat.
Dobrze zaprojektowane systemy chłodzenia serwerowni w konfiguracji redundantnej
gwarantują niezawodność na poziomie bezpieczeństwa funkcjonalnego i dotrzymanie
SLA w granicach opisanych miernikami funkcjonalności.
Profesjonalista projektując funkcjonalność na poziomie SLA i musi jednoznacznie określić
precyzyjne wymagania nie tylko dla urządzeń, instalacji i systemów, ale również określić
wymagania dla wykonawcy i serwisu oraz przekazać je użytkownikowi w formie
szczegółowego dokumentu chroniącego interesy inwestora.
26
BIBLIOGRAFIA
1. Commissioning Process for Buildings and Systems – ANSI/ASHRAE/IES
Standard 202-2013
2. The Commissioning Process – ASHRAE Guideline 0-2013
3. HVAC&R Technical Requirements for The Commissioning Process – ASHRAE
Guideline 1.1-2007
4. 2008 ASHRAE Environmental Guidelines for Datacom Equipment
5. Uptime Institute – Data Center Site Infrastucture Tier Stardard: Topology
6. Uptime Institute – Data Center Site Infrastructure Tier Standard: Operational
Sustainability
7. ANSI/CSA/EIA/TIA TIA-942 (PN PN-3-0092) Datacenter Infrastructure
Standards
8. Artykuły „Chłodnictwo i Klimatyzacja”, autorzy: T. Kruczek / M. Żuk / J. Kot /
B. Biernacki / P. Kowalski
27