Klimatyzacja nowoczesnych serwerowni o dużej

Klimatyzacja nowoczesnych serwerowni o
dużej gęstości mocy (cz. 1)
Wprowadzenie bardziej wydajnych serwerów 1U oraz serwerów typu blade spowodowało całkowitą
zmianę podejścia do klimatyzacji pomieszczeń komputerowych. Dopiero w roku 2001 w Stanach
Zjednoczonych zauważono, że zasady projektowania infrastruktury chłodzenia instalacji
newralgicznych, takich jak ośrodki przetwarzania danych i serwerownie, nie zmieniły się od roku
1965. Od tego czasu powstało kilka organizacji zajmujących się problemami chłodzenia w Data
Center, głównym jest tzw. ASHRAE TC9.9 Committee, która wydała szereg publikacji o nazwie
Ashrae Datacom Series.
Mamy nadzieję ze opisane poniżej wskazówki i rozwiązania pomogą inżynierom w dokonaniu
najlepszego wyboru z punktu widzenia efektywności, kosztów wdrożenia i eksploatacji systemu
klimatyzacji dla współczesnych pomieszczeń komputerowych. Oczywiście wraz ze wzrostem gęstości
mocy w centrach przetwarzania danych niezmienne zostają takie parametry jak nadmiarowość,
czystość powietrza, bezpieczeństwo pracy, wilgotność itp.
W ciągu w sumie krótkiego czasu powstały tysiące stron opracowań oraz wdrożono urządzenia i
układy klimatyzacyjne, których celem było poradzenie sobie z problemem wysokich gęstości mocy i
to zarówno w Centrach Danych już pracujących, jak i w nowoprojektowanych.
O ile w nowo projektowanych pomieszczeniach komputerowych wstępnie wiemy w jakich granicach
możemy się poruszać, o tyle w istniejących Centrach Danych cały system klimatyzacji musi zostać
zmodernizowany i rozbudowany w większości przypadków bez możliwości przerwania pracy centrum.
Poza prostym, ale skrajnie nieekonomicznym rozwiązaniem zapewniającym dostarczenie np. 25 kW
chłodu do każdej obudowy, zaprojektowanie nowego albo rozbudowa istniejącego systemu
klimatyzacji stawia przed projektantem wiele trudności oraz generuje wiele możliwych rozwiązań.
Brak krajowych opracowań oraz trudności z dostępem do opracowań amerykańskich powodują, że
użytkownicy i firmy obsługujące centra danych nie zawsze radzą sobie z problemami stojącymi przed
systemami klimatyzacji dla stale zwiększających się obciążeń. Frustrację użytkowników działających
Centrów pogłębia fakt, że często teoretycznie dysponują one odpowiednim zapasem mocy chłodzenia.
W skrajnym przypadku niewydolnego systemu klimatyzacji z jakim się zetknęliśmy, duża
serwerownia dysponowała ponad 3-krotnym zapasem mocy chłodniczej w stosunku do rzeczywistych
zysków ciepła.
Rys. 1. Gęstość mocy na poziomie szafy, rzędu i pomieszczenia, z uwzględnieniem przestrzeni
komunikacyjnej i serwisowej
Rys. 2. Klasyczny układ chłodzenia pomieszczeniowego - nawiew górą powrót swobodny
Określenie gęstości mocy
Do niedawna dla pomieszczenia komputerowego wielkością określającą wytyczne mocy chłodniczej
dla klimatyzacji była gęstość mocy przypadająca na jednostkę powierzchni podawana w watach na m2
powierzchni.
Obecnie przy określeniu ilości ciepła jakie należy usunąć z pomieszczeń komputerowych stosuje się
dwa określenia, „gęstości mocy" oraz mocy zainstalowanej w jednej szafie serwerowej. Gęstość mocy
zwykle jest określeniem odnoszącym się do powierzchni zajmowanej przez szafy serwerowe wraz z
przestrzenią komunikacyjno-serwisową wokół nich.
Przy projektowaniu trzymanie się wytycznej np. średniej gęstości mocy dla serwerowni jest dzisiaj
określeniem niejednoznacznym ze względu na to, że różnice w gęstości mocy na poziomie szafy,
rzędu czy poziomie pomieszczenia mogą się bardzo różnić, a różnice te mają decydujący wpływ na
konstrukcję systemu chłodzenia. Określenie średniej gęstości mocy dla rzędu lub wydzielonej strefy
wysokiej gęstości mocy powinno raczej być wynikiem pracy projektanta, a nie wytyczną Inwestora.
Na szczęście od dłuższego czasu wytyczne dla projektowania nowych pomieszczeń komputerowych
w których planowane jest użycie np. serwerów typu Blade, opierają się na wstępnym określeniu
przez zamawiającego jaka będzie ilość szaf rakowych nisko- i średnio obciążonych (np. do 6 kW) oraz
podaniu ilości szaf wysoko-obciążonych (np. do 25 kW).
Rys. 3. Uniwersalny rozkład "hot isle – cold isle"
Określenie sposobu rozdziału powietrza w pomieszczeniu
W chwili obecnej wyjściowymi warunkami przy określaniu sposobu rozdziału i chłodzenia powietrza
w pomieszczeniu powinny być:
●
●
●
dostarczenie odpowiedniej ilości powietrza do strefy zasysania powietrza przez każdy serwer, o
optymalnej temperaturze 20-25°C i wilgotności nie niższej niż 45%;
odprowadzenie z obudowy/serwera nie mniejszej ilości powietrza niż dostarczyliśmy;
zabezpieczenie przed przedostawaniem się gorącego powietrza w strefę zasysania.
Spełnienie w/w warunków w sposób nieprzerwany i maksymalnie bezpieczny (nadmiarowy)
determinuje system klimatyzacji wraz z wstępnym określeniem kosztów inwestycyjnych i
eksploatacyjnych oraz z wymogami jakie muszą być spełnione w pomieszczeniu. Im wyższe są
zakładane gęstości mocy w pomieszczeniach komputerowych tym większy jest wpływ projektanta
klimatyzacji na ogólną architekturę pomieszczenia, czy wręcz całego Data Center.
Bazując na powyższych warunkach można obecnie rozróżnić 4 podstawowe strategie chłodzenia we
współczesnych pomieszczeniach komputerowych w zależności od mocy zainstalowanej w jednej
szafie rakowej:
1.
2.
3.
4.
chłodzenie powietrza w pomieszczeniu - do 2 kW na szafę rakową;
chłodzenie powietrza w strefie zimnej i gorącej - do 8 kW na szafę rakową;
chłodzenie z wykorzystaniem „zamknięcia" strefy gorącej lub zimnej 10-25 kW na RLU;
chłodzenie szaf rakowych - do 40 kW na szafę rakową.
Wszystkie wymienione powyżej metody chłodzenia można stosować w jednej serwerowni rozdzielając
strefy chłodzenia w zależności od wydajności.
Chłodzenie pomieszczeniowe
Typowym przykładem chłodzenia pomieszczeniowego jest układ z szafami klimatyzacyjnymi z
nawiewem górnym i powrotem swobodnym od frontu. Ciągle w zastosowaniu np. dla pomieszczeń
UPS i baterii z nastawą 20-22°C
Chłodzenie w układzie „strefa gorąca -strefa zimna"
Dzisiaj zaczynając projektowanie serwerowni z szafami średnio obciążonymi (maksymalnie 6 do 8 kW)
przyjmujemy za pewnik rozkład szaf rakowych w układzie „strefa zimna - strefa ciepła".
Za optymalny układ w tej chwili uznaje się konfigurację: strefa zimna 120 cm, strefa gorąca 90-100
cm. Ustalenie tych wielkości poprzedziły jednak długie badania numeryczne i laboratoryjne nad
optymalnym i uniwersalnym rozkładem serwerowni, przy czym większość badań opisywana była
dwoma kluczowymi indeksami SHI (Supply Heat Index) i RHI (Return Heat Index).
Indeksy SHI i RHI
Wielkość SHI opisana matematycznie w [1] określa w jakim stopniu gorące powietrze usuwane z
raków miesza się z zimnym powietrzem dostarczanym do strefy zimnej, natomiast wielkość RHI jest
indeksem opisującym w jakim stopniu gorące powietrze z raków miesza się z zimnym powietrzem
zanim powróci do klimatyzatorów.
Suma obu indeksów zawsze jest równa 1, co oznacza, że im wyższa wartość RHI tym jest lepszy
rozkład przepływu powietrza i mniejsze mieszanie powietrza gorącego z zimnym.
Jednym z pierwszych oczywistych wniosków wynikającym z analizy indeksów było, że doprowadzenie
układu klimatyzacyjnego do formy w której SHI =0 oraz RHI =1, jest rozwiązaniem wszelkich
problemów z klimatyzacją. Oczywiście powstały takie układy klimatyzacyjne oraz klimatyzatory,
które działają w takich systemach, jednakże ich bardzo wysokie koszty oraz duży wpływ na inne
instalacje w pomieszczeniach komputerowych powodują, że zasadność ich stosowania wymaga
złożonej analizy.
Indeksy RHI i SHI sąnie tylko narzędziem do zrozumienia przepływu ciepła w pomieszczeniach
komputerowych, ale sugerują także sposoby do zwiększenia wydajności energetycznej systemów
klimatyzacji. Poprawnie zaprojektowanym układzie klimatyzacyjnym, po zapewnieniu wszystkim
serwerom odpowiedniej temperatury i ilości powietrza na zasysaniu, o sprawności energetycznej
systemu klimatyzacji świadczy temperatura powietrza powracającego do klimatyzatora, im wyższa
(oczywiście w dopuszczalnym dla klimatyzatora zakresie zwykle do 30°C) tym lepiej.
Indeks RCI
Następnym z indeksów wprowadzonym w toku analiz problemów chłodzenia współczesnych
pomieszczeń komputerowych był indeks RCI (Rack Cooling Index), czyli Indeks
Chłodzenia Szaf Rakowych.
Ogólnie służy on do określania skuteczności chłodzenia raków oraz wyznaczania wydajności
energetycznej systemów klimatyzacyjnych, co jest możliwe dzięki dwóm podindeksom RCIHI oraz
RCILO. Pierwszy indeks RCIHI mierzy procent szaf rakowych dla których temperatury powietrza na
zasysaniu przez sprzęt komputerowy są niższe lub równe przyjętym standardom.
RCIHI = 100% oznacza, że temperatura na zasysaniu sprzętu we wszystkich szafach rakowych jest
niższa lub równa przyjętym standardom.
Drugi indeks RCILO określa jaka ilość sprzętu otrzymuje powietrze o temperaturze zbyt niskiej w
stosunku do wymagań producentów.
RCILO = 100% oznacza, że temperatura na zasysaniu sprzętu we wszystkich szafach rakowych jest
wyższa lub równa od rekomendowanej. We wstępnej fazie badań nad indeksem w klasycznych
serwerowniach z nawiewem dolnym spod podłogi i szafach klimatyzacyjnych z bezpośrednim
odparowaniem wartość indeksu RCILO = 40%, co oznaczało, że aż 60 procent sprzętu zasysało
powietrze o niepotrzebnie niskiej temperaturze.
Najdokładniejszym sposobem określenia optymalnych temperatur są wytyczne producentów sprzętu,
ale analiza taka jest bardzo pracochłonna. W związku z tym w chwili obecnej przyjmuje się standard
ASHRAE Thermal Guideline (20-25°C) dla środowisk CLASS 1, albo NEBS (18-27°C), przy czym przy
projektowaniu i późniejszym ustawianiu nawiewów zakładamy zwykle temperatury z przedziału
(18-22°C).
Doświadczenia z uruchomiania systemów klimatyzacyjnych w serwerowniach, wykazały że spełnienie
w/w indeksów jest możliwe przy podniesieniu aż do 27°C nastaw na szafach klimatyzacyjnych
zasilanych wodą lodową. Niestety zmiana nastawy temperatury (zwykle średnia temperatura
powietrza powracającego) na sterownikach szaf klimatyzacyjnych na wyższą niż 22°C, spotyka się z
powszechnym (piszę oględnie żeby nikogo nie urazić) oporem. Kilku użytkowników udało się
przekonać do prób z podnoszeniem temperatur powietrza do 26°C, a jedna duża serwerownia od
roku pracuje z powodzeniem na nastawach 27°C.
Indeksy RCI miały decydujący wpływ na opracowanie zupełnie nowych rodzajów systemów
klimatyzacyjnych, przy czym co ciekawe dwa najdoskonalsze systemy na rynku, czyli rzędowy APC
RC system oraz LiebertXD (od niedawna jest model rzędowy) bazując na odmiennych ideach są
równie skuteczne.
Podstawowe wytyczne dla układu „hot isle-cold isle"
O ile zaprojektowanie takiego układu jak na rysunku 3 dla kompletnego i z góry znanego obciążenia
poszczególnych szaf rakowych jest zadaniem prostym o tyle utrzymanie tego układu w warunkach
pracy serwerowni jest, jak się okazuje, bardzo trudne i wymaga zachowania kilku reguł
postępowania przy wprowadzaniu zmian i dostawianiu dodatkowego sprzętu komputerowego.
Ciąg dalszy artykułu w wydaniu 8/2008
Źródło: Chłodnictwo i klimatyzacja 7/2008
Autor: Maciej ŻUK – Dyrektor Działu Klimatyzacji Precyzyjnej, ZECHIK Sp. z o.o.
KONTAKT
Chłodnictwo & Klimatyzacja
E-mail: [email protected]
WWW: chlodnictwoiklimatyzacja.pl
Tel: +48 22 53 53 229
Fax: +4822 53 53 043
Adres:
Rosoła 10A
02-786 Warszawa