superkomputer zeus po raz trzeci

Historia sukcesu
HP Business Journal
10
Superkomputer
Zeus po raz trzeci
w pierwszej setce rankingu Top500
Karol Krawentek
Zastępca Dyrektora ds. Infrastruktury Informatycznej Cyfronetu
Zuzanna Matyjak
Gdy w 2004 r. pracownicy Akademickiego Centrum Komputerowego Cyfronet krakowskiej AGH
zaczęli tworzyć superkomputer Zeus, nie przypuszczali, że po kilku latach stanie się on
najsilniejszą maszyną w Polsce i jedną z najwydajniejszych na świecie.
N
a listę Top500 – najpotężniejszych komputerów
świata – Zeus trafił po raz pierwszy w listopadzie
2009 r., wówczas ulokował się na 331. pozycji.
Rok później był już w pierwszej setce, z której do
tej pory nie wypadł. W ostatnim zestawieniu, z listopada 2011 r.,
zajmuje 88. miejsce. Krakowski klaster Zeus wykorzystywany jest
do najbardziej wymagających obliczeń z dziedziny chemii, biologii, nanotechnologii, astrofizyki (projekt CTA), fizyki kwantowej,
energetyki, farmakologii, a także skomplikowanych i wymagających wielkich zasobów obliczeń z innych dziedzin nauki. Zeus
jest także częścią infrastruktury obliczeniowej w prestiżowym, międzynarodowym projekcie LHC, koordynowanym przez Centrum
Badań Fizyki Jądrowej CERN w Szwajcarii, w którym udział biorą
fizycy z wielu polskich instytutów naukowych i uczelni (m.in. ponad 40 osób z Akademii Górniczo-Hutniczej). Superkomputer Zeus stanowi część ogólnopolskiej infrastruktury obliczeniowej, utworzonej w ramach projektu Infrastruktura
Informatycznego Wspomagania Nauki w Europejskiej Przestrzeni
Badawczej PL-Grid, która daje łatwy, darmowy dostęp polskiego
środowiska naukowego do mocy obliczeniowej.
Ewolucja kluczem do sukcesu
Misją Cyfronetu, od początku jego istnienia, jest udostępnianie
mocy obliczeniowej oraz innych usług informatycznych podmiotom realizującym badania naukowe. Pierwszym komputerem
dużej mocy, w który wyposażono Cyfronet, był zainstalowany w 1975 r. komputer CDC Cyber 72. Teoretyczna maksymalna
moc obliczeniowa tego dużego i nowoczesnego w tamtych
czasach komputera wynosiła 0,5 MFlops.
Obecność na liście służy polskiej nauce
Krakowskim superkomputerem zarządzają jego twórcy – pracownicy Akademickiego Centrum Komputerowego Cyfronet AGH. Cyfronet założony w 1973 r. jest autonomiczną jednostką Akademii Górniczo-Hutniczej w Krakowie, która dziś jest jednym z największych centrów superkomputerowych i sieciowych w Polsce.
– Obecność na liście Top500 wyraźnie przekłada się na liczbę
polskich naukowców korzystających z mocy obliczeniowej Zeusa
– mówi Karol Krawentek, Zastępca Dyrektora ds. Infrastruktury
Informatycznej Cyfronetu. Po każdej publikacji rankingu Top500,
w którym notowany jest Zeus, zauważalny jest skokowy wzrost
liczby użytkowników oraz zadań naukowych zadawanych
Zeusowi. W ramach samego tylko projektu PL-Grid z mocy Zeusa
skorzystało już ok. 900 naukowców.
Stała obecność Zeusa na liście Top500 ma jeszcze jeden wymiar
– świadczy o jego ciągłym rozwoju i rozbudowie. – A to bardzo
ważna wiadomość dla środowiska naukowego. Daje naukowcom korzystającym z zasobów Zeusa gwarancję stabilności ich
badań. Wiedzą, że mogą je kontynuować bez ryzyka, że za
chwilę będą zmuszeni przenieść się z obliczeniami w zupełnie
inne środowisko obliczeniowe – podkreśla Karol Krawentek.
– Naukowcy coraz intensywniej korzystają z naszych usług. Wiemy jednak, że to wciąż czubek góry lodowej potrzeb polskiej nauki – mówi prof. Kazimierz Wiatr, Dyrektor Naczelny Cyfronetu. Zeus jest niezwykle zajęty – w każdej chwili pracuje
nad 3-5 tysiącami zadań. W tym samym czasie już następne
500 do 1000 zadań czeka w kolejce na wolne moce obliczeniowe. Średnie wykorzystanie krakowskiego klastra wynosi
88 procent, co w praktyce oznacza, że jego obciążenie jest
maksymalne.
O mocy Zeusa może świadczyć jeden z przykładów: w miesiąc
poradził sobie z przeprowadzeniem symulacji działania nowego
antybiotyku. Gdyby spróbować wykonać tę pracę na komputerze
PC, trwałaby ona 165 lat.
88. miejsce na liście Top500 to nie tylko wielki
sukces Cyfronetu, ale także niewątpliwa
promocja polskiej nauki.
Teoretyczna moc najsilniejszego obecnie superkomputera Cyfronetu – klastra Zeus – wynosi 162,41 TFlops (moc rzeczywista 128,79 TFlops). Wyposażony jest on w 22 TB (terabajty)
pamięci operacyjnej RAM oraz pamięć dyskową o pojemności
1,8 PB (petabajta). Zbudowano go z ponad 1200 pojedynczych
serwerów typu „blade” dostarczonych przez firmę Hewlett-Packard, połączonych ze sobą za pomocą superszybkiej sieci Infiniband o prędkości 40 Gb/s. Część serwerów została wyposażona
w karty z procesorami graficznymi GPGPU firmy Nvidia, które
umożliwiają przyśpieszenie niektórych algorytmów używanych
w aplikacjach naukowych. Klaster pracuje pod kontrolą systemu
operacyjnego Scientific Linux. Zeus wraz z infrastrukturą administracyjną i techniczną zajmuje blisko 100-metrowe pomieszczenie
w przestrzeni Cyfronetu. Krakowski superkomputer podlega
ciągłej ewolucji. Od momentu powstania w 2004 r. jego moc
wzrosła ponadstukrotnie. O sukcesie Zeusa zadecydowało kilka
elementów, ale przede wszystkim elastyczność zastosowanych
rozwiązań, które mogą być nieustannie rozwijane.
– Tu nic nie jest implementowane raz na zawsze. Każdy element
infrastruktury może być wymieniony na bardziej zaawansowany
i wydajniejszy, Zeus podlega więc ciągłej rozbudowie i staje się
coraz silniejszy – mówi dr Maciej Twardy, Zastępca Dyrektora ds. bezpieczeństwa danych i informacji Cyfronetu. Historia sukcesu
HP Business Journal
12
Prof. dr hab. inż. Kazimierz Wiatr
Dyrektor Naczelny Akademickiego Centrum
Komputerowego Cyfronet Akademii Górniczo-Hutniczej
Naszym celem jest wspieranie polskiej nauki. Pomaga
nam w tym obecność na liście Top500. Od paru lat
jesteśmy już na swoistej liście Top100, czyli mieścimy
się w pierwszej setce rankingu 500 najmocniejszych
komputerów świata. Udało nam się to już trzykrotnie.
Wysoka lokata w tym rankingu bardzo pomaga nam w realizacji naszej misji. Wielu polskich naukowców
wciąż dokonuje swoich obliczeń poza krajem, nie
wiedząc, że mogą liczyć w Polsce.
Moją idèe fixe jest to, żeby myśl naukowa, patenty i licencje stały się polskim towarem eksportowym. A działalność Cyfronetu jest jednym z trybików, które
nas do takiego stanu zbliżają. Nasza rola jest służebna
wobec polskiej nauki i realizując ją stajemy się
współodpowiedzialni za sukcesy naszych naukowców.
Zeus – uniwersalny, ergonomiczny,
wygodny
Zeus jest też wyjątkowy ze względu na swoją uniwersalność – to
komputer, który zaspokaja potrzeby obliczeniowe badaczy pracujących w bardzo wielu dziedzinach naukowych. Inżynierom z Cyfronetu udało się dokonać rzeczy niemożliwej, czyli zbudować komputer „do wszystkiego”. W ramach Zeusa istnieje kilka
grup zasobów obliczeniowych: po pierwsze – klasyczny klaster
obliczeniowy, po drugie – zestaw serwerów wyposażonych w karty GPGPU Nvidia, czyli akceleratory graficzne, dzięki którym uzyskuje się znaczny przyrost mocy obliczeniowych, po trzecie – zainstalowane w zeszłym roku dodatkowe oprogramowanie
vSMP, czyli system pozwalający zbudować wirtualny komputer
SMP posiadający dużo pamięci współdzielonej. Technologia ta
pozwala efektywnie wykorzystywać i skalować pakiety obliczeniowe i oprogramowanie, które nie było projektowane z myślą
o środowiskach klastrowych. Olbrzymia pojemność pamięci
umożliwia użytkownikom wykonywanie obliczeń wymagających
błyskawicznego dostępu do dużej ilości danych.
Taka struktura Zeusa powoduje, że naukowiec, który chce liczyć
w Cyfronecie ma do dyspozycji szereg rozwiązań sprzętowych
dedykowanych do różnych celów obliczeniowych. Dopełnieniem
części klastrowej Zeusa, służącej obliczeniom, są też zasoby
dyskowe z różnego rodzaju pamięcią masową. Użytkownik widzi
jednak jeden system obliczeniowy i często nie jest świadomy,
że jest on aż tak skomplikowany i rozbudowany. I nie musi tego
wiedzieć. Z punktu widzenia naukowca, korzystanie z Zeusa jest
bardzo proste. To też jeden z elementów sukcesu superkomputera
z Krakowa – ergonomia i wygoda prowadzenia obliczeń.
– O sukcesie Zeusa zadecydowała perspektywiczna wizja
rozwoju oraz konsekwencja w budowie tej infrastruktury – podsumowuje dr Maciej Twardy. Zwraca też uwagę na to, że budując
Zeusa zadbano o wybór rozwiązań wysokiej jakości, spójnych
pod kątem administrowania. To sprawia, że tak skomplikowanym i rozbudowanym superkomputerem zarządza dziś zaledwie 3-osobowy zespół administratorów.
Bezpieczeństwo przede wszystkim
Kolejnym wyjątkowym dla Zeusa aspektem jest przyjęta od
początku koncepcja jego budowy – na wszelkich możliwych poziomach zadbano o redundancję, czyli nadmiarowość rozwiązań w stosunku do tego, co w takich systemach jest konieczne. Chodzi o zapewnienie użytkownikom maksymalnego bezpieczeństwa ich badań. Zeusa wyposażono m.in. w podwójne
tory zasilające oraz specjalną klimatyzację, dedykowaną do tak
wysokiej gęstości systemów obliczeniowych. Zeus dzięki temu jest
praktycznie bezawaryjny.
Uzasadnieniem tak wysokiego poziomu ochrony jest skrajnie
wysoka temperatura, generowana przez Zeusa, która bez tych
zabezpieczeń mogłaby zagrozić wynikom pracy naukowców.
Jeden Zeus generuje bowiem temperaturę porównywalną z temperaturą wydzielaną przez kilkaset pracujących na pełnej mocy
piekarników.
– Systemy zabezpieczeń zostały tak zaprojektowane, by w przypadku awarii zasilania klimatyzacji zareagowały w ciągu
3 minut. To maksymalny dopuszczalny czas reakcji – mówi Karol
Krawentek.
Wkład naukowców w rozwój Zeusa
Tak jak Zeus pomaga naukowcom w ich sukcesach badawczych,
tak sami naukowcy pomagają Zeusowi rozwijać się w miarę ich
potrzeb.
– Nieustannie słuchamy naszych użytkowników i zastanawiamy
się, jak kształtować infrastrukturę Zeusa, by zaspokoić rosnące
i coraz bardziej zróżnicowane potrzeby obliczeniowe. Wręcz
zachęcamy użytkowników do uczestniczenia w pracach konfiguracyjnych Zeusa – mówi prof. Kazimierz Wiatr. W tym celu
zainicjowano kolejny program – PL-Grid Plus – w którym rola
użytkowników w konfigurowaniu infrastruktury będzie podmiotowa
i jeszcze większa.
Wymagania ze strony środowisk naukowych w odniesieniu do
infrastruktury informatycznej są zróżnicowane i w dużej mierze
zależą od dziedziny naukowej. Różnice mogą dotyczyć wydajności i typu infrastruktury obliczeniowej, zasobów programistycznych i baz danych, jak również unikalnego sprzętu pomiarowo-badawczego, stanowiącego element infrastruktury. Dlatego
konieczne jest dopasowanie cech infrastruktury informatycznej do
problemów stanowiących przedmiot badań naukowych. Celem
programu PL-Grid Plus jest więc przygotowanie specyficznych
środowisk obliczeniowych – tzw. gridów dziedzinowych – dostosowanych do potrzeb różnych grup naukowców. Najważniejsze
gridy dziedzinowe już wyselekcjonowano – są to biologia i nanotechnologie, chemia kwantowa i fizyka molekularna, fizyka
wysokich energii, astronomia i astrofizyka, akustyka, problemy life
science, zdrowie, bioinformatyka, ekologia, energetyka, materiały, badania synchrotronowe, metalurgia. Lista nie jest jednak
zamknięta i wciąż pojawiają się na niej kolejne grupy o specyficznych, zróżnicowanych potrzebach informatycznych.
– Jak wiadomo największe sukcesy naukowe powstają na styku
różnych dziedzin. W Cyfronecie mamy nadzieję, że to zderzenie
zaawansowanych badań naukowych z najnowszymi technologiami informatycznymi, które tu ma miejsce, przyniesie polskiej nauce
wiele niezwykle ważnych odkryć – mówi prof. Kazimierz Wiatr.
Krzysztof Góźdź
Konsultant ds. Systemów Obliczeniowych Wielkiej Mocy, HP Polska
Przykład Cyfronetu pokazuje, że nawet nie dysponując budżetem, na jaki
mogą sobie pozwolić największe ośrodki obliczeniowe w Stanach
Zjednoczonych, Japonii czy Chinach, można zbudować system
spełniający najwyższe parametry techniczne. Konieczne jest
tutaj wizjonerstwo, właściwa strategia oraz konsekwencja przy jej
realizacji. Wart podkreślenia jest również fakt, iż Zeus jest w stanie
obsłużyć różnorodne typy obliczeń, to znaczy rozproszone w gridzie,
zrównoleglone na wielu tysiącach CPU, z akceleracją na GPU czy
też korzystające z dużej pamięci współdzielonej (architektura typu
SMP) przy zastosowaniu tej samej architektury procesorów, systemu
operacyjnego czy zunifikowanego podejścia do zasobów dyskowych.
Patrząc szerzej na listę Top500 cieszy nas także to, że produkty
oferowane przez HP znajdują zastosowanie zarówno w wielu wiodących
ośrodkach naukowych, jak i wśród firm komercyjnych potrzebujących
dużej mocy przetwarzania danych.
Ranking Top500
Organizacja Top500 od 1993 r. prowadzi ranking 500
najwydajniejszych komputerów na świecie i aktualizuje go
dwa razy w roku – w czerwcu i w listopadzie. Ostatnią listę
ogłoszono 14 listopada 2011 r. w Seattle podczas konferencji Supercomputing 11. Na stronie top500.org publikowane są także historyczne zestawienia superkomputerów wraz
ze statystykami ukazującymi m.in. położenie geograficzne
superkomputerów, ich producentów, używane technologie,
architekturę oraz przeznaczenie. Statystyki te pozwalają
śledzić trendy w rozwoju superkomputerów, ułatwiają
nawiązywanie kontaktów w środowisku informatycznym,
wymianę danych i oprogramowania, a także zapewniają
lepsze zrozumienie rynku komputerów dużej mocy.
Główną miarą wydajności, stosowaną dla superkomputerów, jest FLOPS, czyli liczba wykonywanych w ciągu sekundy operacji na liczbach zmiennoprzecinkowych. Podaje się
je z odpowiednim przedrostkiem SI, np. teraflops (TFlops) to 10¹² Flops, a petaflops (PFlops) to 10¹5 Flops. Wydajność
superkomputerów mierzy się za pomocą testów wzorcowych, z których najpopularniejszym jest LINPACK. Mierzy
on szybkość rozwiązywania gęstych układów równań liniowych. Superkomputery trafiające na listę Top500, testowane
są właśnie tą metodą. Najszybszym superkomputerem na
świecie jest japoński "K" zbudowany przez Fujitsu, którego
moc przekroczyła 10 PFlops. Na liście Top500 dominują
superkomputery z USA – stanowią ponad połowę wszystkich superkomputerów uwzględnionych w rankingu (263 maszyny). Na kolejnych miejscach znajdują się Chiny (74 komputery) i Japonia (30 jednostek). Polskie maszyny na liście Top500
Na ostatniej liście Top500 znalazło się sześć superkomputerów z Polski, co daje nam 6. miejsce pod względem liczby
notowanych na Top500 systemów.
Na miejscu 88. sklasyfikowany jest klaster Zeus pracujący w krakowskim Cyfronecie, który dysponuje 15 264 rdzeniami i ma wydajność 128 TFlops.
Miejsce 279. zajmuje gdański klaster Galera Plus, będący
częścią Centrum Informatycznego Trójmiejskiej Akademickiej
Sieci Komputerowej (CI TASK). Przy 10 384 rdzeniach ma
wydajność 65,6 TFlops.
Klaster Boreas o wydajności 64 TFlops, pracujący w Interdyscyplinarnym Centrum Modelowania Matematycznego i Komputerowego Uniwersytetu Warszawskiego
(ICM), sklasyfikowano na miejscu 296.
Maszyna z Poznańskiego Centrum Superkomputerowo-Sieciowego (PCSS) o wydajności 63 TFlops znajduje się na miejscu 298.
Farma serwerów grupy Allegro o wydajności 59 TFlops
trafiła na 348. miejsce rankingu. Superkomputer Supernova o wydajności 57 TFlops z Wrocławskiego Centrum Sieciowo-Superkomputerowego znalazł się na miejscu 360.