Poznańskie Centrum Superkomputerowo

Historia sukcesu
Poznańskie Centrum
Superkomputerowo-Sieciowe
zwiększa wydajność operacji
wejścia-wyjścia, aby móc
realizować badania wymagające
wydajności rzędu petaflopsów
NAJWAŻNIEJSZE INFORMACJE
Branża
Badania
Wyzwanie
Dotrzymać kroku rosnącemu zapotrzebowaniu na moc obliczeniową i
miejsce do przechowywania danych
w związku z coraz częstszym wykorzystywaniem polskiej infrastruktury
obliczeniowej o wysokiej wydajności
(High Performance Computing HPC) w międzynarodowych projektach naukowo-badawczych.
Rozwiązanie
Zaspokoić potrzeby z zakresu HPC,
wdrażając pamięć masową NetApp®
serii E oraz macierz pamięci flash
NetApp serii EF.
Korzyści
• Dwukrotnie wyższa pojemność na
potrzeby obliczeń w nowych projektach badawczo-rozwojowych
• Poprawa efektywności w zastosowaniach badawczych dzięki
10-krotnie szybszej obsłudze
metadanych na dyskach SSD
• Uproszczenie zarządzania pamięcią
masową dzięki ujednoliconemu
interfejsowi dysków HDD i SSD
• Wsparcie dla inicjatyw z zakresu
rozwiązań chmurowych i wirtualizacji dzięki współdziałaniu
pamięci hybrydowej z maszynami
wirtualnymi
Profil klienta
Wsparcie dla badań akademickich i
naukowych
Utworzone w 1993 r. Poznańskie Centrum
Superkomputerowo-Sieciowe (PCSS)
zajmuje się integracją i rozwojem
e-infrastruktury dla polskiej społeczności
akademickiej. Afiliowane przy Instytucie
Chemii Bioorganicznej Polskiej Akademii
Nauk PCSS jest liderem wdrażania innowacyjnych technologii dla Ogólnopolskiej
Sieci Naukowo-Badawczej PIONIER.
PCSS realizuje wiele funkcji, zapewniając
moc obliczeniową oraz systemy archiwizacji na potrzeby krajowych i międzynarodowych projektów i inicjatyw
badawczych, a także pracując nad rozwojem krajowych usług związanych
z Internetem i sieciami.
Wyzwanie
Usuwanie barier rozwoju
Wiele obsługiwanych przez PCSS
projektów z zakresu infrastruktury obliczeniowej o wysokiej wydajności (HPC)
jest obecnie finansowanych przez Unię
Europejską. Mają one na celu stworzenie
ogólnoeuropejskiej infrastruktury obliczeniowej dla środowisk akademickich
i badawczych. PCSS odgrywa coraz
ważniejszą rolę w międzynarodowych
projektach badawczych, co przekłada się
na bezprecedensowy rozwój Centrum.
Codziennie przybywają 2 TB danych, a
PCSS planuje, że jego moc obliczeniowa
w najbliższej przyszłości zacznie być
podawana w petaflopsach.
W miarę wzrostu ilości danych użytkownicy zaczęli odczuwać opóźnienia w
realizacji zadań obliczeniowych. Kopie
zapasowe i inne generujące wiele operacji wejścia/wyjścia czynności administracyjne zaczęły ujemnie wpływać na
ruch produkcyjny, a równoległe zadania
obliczeniowe coraz intensywniej konkurowały o zasoby. Ukończenie pełnego
skanowania przestrzeni nazw trwało
kilka godzin, co utrudniało lokalizowanie
plików i przeprowadzanie konserwacji.
„Nasi użytkownicy wysyłali olbrzymią
liczbę plików, a złożoność ich struktur
danych rosła - w rezultacie szybko
zbliżaliśmy się do granic przepustowości
i pojemności poprzedniego systemu
pamięci masowej” - wyjaśnia Maciej
Brzeźniak, specjalista ds. systemów
pamięci masowej w PCSS. „Kolejny etap
naszej ewolucji na drodze do osiągnięcia
statusu światowej klasy obiektu HPC
bezwzględnie wymagał zwiększenia
pojemności pamięci i wydajności operacji
wejścia/wyjścia, która pozwoliłaby na
szybką obsługę metadanych systemu
plików”.
PCSS musiało umożliwić badaczom
zarówno przechowywanie dużych plików
w ich katalogach domowych, jak i przetwarzanie setek milionów małych plików
dzięki zapewniającym wysoką efektywność szybkim operacjom wejścia/wyjścia.
„Wdrożyliśmy dwa różne systemy pamięci
masowej, aby odseparować obsługę
zawartości plików od obsługi metada-
nych, ale zależało nam też na pojedynczym interfejsie administracyjnym, który
uprościłby zarządzanie danymi” - tłumaczy Brzeźniak.
Centrum potrzebowało również pamięci
masowej, która efektywnie wspierałaby
inicjatywy z zakresu wirtualizacji i
rozwiązań chmurowych, ponieważ jego
infrastruktura wkrótce będzie obejmować
ponad 100 fizycznych serwerów i tysiące
maszyn wirtualnych.
Rozwiązanie
Pamięć flash jako wsparcie
mieszanych obciążeń HPC
Po przeprowadzeniu przetargu publicznego PCSS zdecydowało się wdrożyć
system pamięci masowej NetApp serii E
do obsługi danych katalogów domowych
oraz macierz pamięci flash NetApp serii
EF do obsługi metadanych katalogów
domowych. Obydwa rozwiązania zostałyby połączone światłowodem z klastrem
opartych na systemie Linux® serwerów z
systemem plików IBM General Parallel
File System (GPFS). Kolejny system
NetApp serii E przechowywałby dane dla
osobnego klastra HPC wykorzystującego
interfejs InfiniBand.
PCSS posiada obecnie rozwiązanie
modułowe, do którego w razie potrzeby
może dodawać dyski SSD lub HDD
w celu zwiększania przepustowości
lub pojemności. „Dobrze wspominam
współpracę z NetApp, dzięki której
opracowaliśmy rozwiązanie spełniające
nasze potrzeby pod względem zarówno
pojemności, jak i przepustowości” - mówi
Brzeźniak. „Dzięki macierzy pamięci
flash NetApp serii EF możemy używać
dysków SSD do zadań wymagających
wysokiej wydajności operacji wejścia/
wyjścia, podczas gdy urządzenia NetApp
serii E pozwalają nam osiągnąć maksymalną gęstość zapisu”.
NetApp SANtricity® Storage Manager
zapewnia intuicyjny interfejs zarządzania
zarówno dla urządzeń serii E, jak i dla
macierzy serii EF. „Możliwość stosowania
tego samego interfejsu zarządzania dla
pamięci masowych NetApp serii E i
macierzy pamięci flash serii EF ogranicza
złożoność, co daje temu rozwiązaniu
zdecydowaną przewagę” - mówi
Brzeźniak.
Systemy NetApp serii E przechowują
również obrazy maszyn wirtualnych
VMware® ESX®, Kernel Virtual Machine
(KVM) i Microsoft® Hyper-V®. Dzięki tej
możliwości PCSS zyskuje pojemność i
przepustowość, której potrzebuje, aby
wirtualizować więcej systemów fizycznych
w celu przyspieszenia prac testowych i
rozwojowych, a także poprawy
efektywności centrum danych.
Korzyści biznesowe
Poprawa efektywności prac
badawczych
Możliwość szybkiej obsługi metadanych
systemu plików przyspieszyła realizowane
w PCSS obliczenia badawcze. Pełne
skanowanie przestrzeni nazw już nie
wpływa w istotny sposób na ruch
produkcyjny.
„Poprawiliśmy wydajność prac
badawczych, obsługując metadane
10 razy szybciej dzięki macierzy
pamięci flash NetApp serii EF” - ocenia
Brzeźniak. „Wydajność operacji wejścia/
wyjścia pozwala nam na eliminację
wszelkich zauważalnych opóźnień,
co oznacza, że badacze zyskują na
produktywności i mogą skoncentrować
się na wykonywanych zadaniach”.
Dwukrotnie wyższa pojemność na
potrzeby obliczeń badawczych
PCSS dysponuje obecnie pamięcią
masową o pojemności umożliwiającej
realizację nowych projektów HPC - nie
będzie ona również stanowić bariery
dla przewidywanego zwiększenia mocy
obliczeniowej do wielkości rzędu petaflopsów. „Zwiększanie mocy obliczeniowej
nie ma sensu, jeśli wydajność operacji
wejścia/wyjścia pamięci masowej jest
niska albo jeśli badacze nie mają gdzie
zapisać uzyskanych wyników” - mówi
Brzeźniak. „Dzięki urządzeniom NetApp
serii E i macierzy pamięci flash serii EF
ponad dwukrotnie zwiększyliśmy pojemność dostępną do obliczeń badawczych”.
Efektywne wykorzystanie pamięci flash
pozwala PCSS zarówno na spełnianie
wymogów dotyczących wydajności, jak i
na oszczędzanie energii oraz utrzymywanie właściwej temperatury systemów.
„Aby uzyskać taką samą wydajność z
zastosowaniem dysków rotacyjnych,
musielibyśmy mieć dwa razy więcej
szaf i znacznie więcej mocy” - twierdzi
Brzeźniak. „To wspaniałe, że kompaktowa
macierz pamięci flash NetApp serii EF
pozwala nam uzyskać tak wysoką wydaj-
NetApp to dostawca oprogramowania,
systemów i usług z zakresu zarządzania
danymi i przechowywania ich, któremu
zaufały czołowe organizacje z całego świata.
Klienci doceniają naszą gotowość do
współpracy, wiedzę specjalistyczną i stałe
zaangażowanie, dzięki któremu pomagamy
im osiągać sukcesy.
www.netapp.com
ność operacji wejścia/wyjścia. Jeszcze
długo będziemy w stanie sprawnie
obsługiwać metadane bez dodawania
kolejnych dysków SSD”.
Gotowi na przyszłe odkrycia
Oprócz zwiększenia pojemności infrastruktury HPC systemy NetApp serii E
wspierają rozwijane w rozszerzającym
ofertę usług dla międzynarodowej społeczności badawczej PCSS inicjatywy z
zakresu rozwiązań chmurowych, takie
jak oparte na technologii OpenStack
podejście „pamięć masowa jako usługa”.
„Nawiązaliśmy współpracę z NetApp,
ponieważ firma ta rozumie potrzeby
sektora publicznego, ma doświadczenie
w zakresie infrastruktury obliczeniowej
o wysokiej wydajności, a także oferuje
integrację z nowymi technologiami,
takimi jak OpenStack” - wyjaśnia
Brzeźniak. „Możemy zredukować
całkowity koszt posiadania, jednocześnie
realizując więcej projektów badawczych
dla naszych partnerów z organów władz
i uczelni”.
SKŁADNIKI ROZWIĄZANIA
Produkty firmy NetApp
Systemy pamięci masowej NetApp
E5500 i E5400
Macierz pamięci flash NetApp
EF540
NetApp SANtricity Storage Manager
Środowisko
Aplikacje: oprogramowanie do
rozwiązywania konkretnych
problemów badawczych i aplikacje
akademickie
Systemy operacyjne: Red Hat
Enterprise Linux, CentOS i Ubuntu
Server
System plików: IBM GPFS
Wirtualizacja: VMware, KVM i
Microsoft Hyper-V
Przetwarzanie w chmurze:
OpenStack
Protokoły
FC-SAN
InfiniBand
© 2015 NetApp, Inc. Wszelkie prawa zastrzeżone. Żadna część tego
dokumentu nie może być reprodukowana bez wcześniejszej pisemnej
zgody firmy NetApp, Inc. Dane mogą ulec zmianie bez powiadomienia.
NetApp, logo NetApp oraz SANtricity są znakami towarowymi lub
zarejestrowanymi znakami towarowymi firmy NetApp, Inc. w Stanach
Zjednoczonych lub innych krajach. Linux jest zarejestrowanym znakiem
towarowym należącym do Linusa Torvaldsa. VMware i VMware ESX są
zarejestrowanymi znakami towarowymi VMware, Inc. Microsoft i Hyper-V
są zarejestrowanymi znakami towarowymi Microsoft Corporation.
Wszystkie pozostałe marki i produkty są znakami towarowymi lub
zarejestrowanymi znakami towarowymi należącymi do odpowiednich
właścicieli i jako takie należy je traktować. CSS-6802-0415
Obserwuj nas: