Podstawy pracy w ICM

Podstawy pracy w ICM
Zespół KDM
Interdyscyplinarne Centrum Modelowania
Matematycznego i Komputerowego
Uniwerystet Warszawski
Szkolenie KDM
(Kontakt: [email protected])
Podstawy pracy w ICM
Szkolenie KDM
1 / 50
Plan prezentacji
1
Lokalizacja
2
Schemat sieci ICM
3
Serwisy ICM
4
Kontakt
5
Komputery
6
Systemy kolejkowe
(Kontakt: [email protected])
Podstawy pracy w ICM
Szkolenie KDM
2 / 50
Plan prezentacji
1
Lokalizacja
2
Schemat sieci ICM
3
Serwisy ICM
4
Kontakt
5
Komputery
6
Systemy kolejkowe
(Kontakt: [email protected])
Podstawy pracy w ICM
Szkolenie KDM
3 / 50
Lokalizacja
ICM mieści sie˛ obecnie w trzech siedzibach:
Pawińskiego
Geologia
Krakowskie Przedmieście
(Kontakt: [email protected])
Podstawy pracy w ICM
Szkolenie KDM
4 / 50
Pawińskiego
stara siedziba ICM
miejsce pracy wiekszości
˛
pracowników technicznych
pełny adres: ul. Pawińskiego 5A blok D, 02-106 Warszawa
(Kontakt: [email protected])
Podstawy pracy w ICM
Szkolenie KDM
5 / 50
Geologia
nowa siedziba ICM
miejsce pracy wiekszości
˛
pracowników naukowych
pomieszczenia dydaktyczne i laboratorium komputerowe –
Muzykologia
pełny adres: al. Żwirki i Wigury 93, 02-089 Warszawa
(Kontakt: [email protected])
Podstawy pracy w ICM
Szkolenie KDM
6 / 50
Krakowskie Przedmieście
miejsce pracy działu sieciowego
pełny adres: ul. Krakowskie Przedmieście 26/28, 00-927
Warszawa
(Kontakt: [email protected])
Podstawy pracy w ICM
Szkolenie KDM
7 / 50
Plan prezentacji
1
Lokalizacja
2
Schemat sieci ICM
3
Serwisy ICM
4
Kontakt
5
Komputery
6
Systemy kolejkowe
(Kontakt: [email protected])
Podstawy pracy w ICM
Szkolenie KDM
8 / 50
Najważniejsze komputery
gw.icm.edu.pl (inna nazwa: atol.icm.edu.pl) – jedyny
dostep
˛ do sieci ICM z zewnatrz
˛
delta, burza, rekin – ogólnodostepne
˛
serwery
tornado, halo, tajfun, latimeria – serwery
obliczeniowe
archive – robot taśmowy, archiwizacja
neofoka – serwer Windows
(Kontakt: [email protected])
Podstawy pracy w ICM
Szkolenie KDM
9 / 50
Praca z wewnatrz
˛
ograniczony dostep
˛ do sieci zewnetrznej:
˛
tylko SSH, FTP, HTTP
(przez proxy), POP3S, IMAPS
wspólne /home na wszystkich serwerach
(Kontakt: [email protected])
Podstawy pracy w ICM
Szkolenie KDM
10 / 50
Katalogi domowe
ograniczenie na ilość przechowywanych danych – quota
podział na /home/staff /home/users /home/guests
pliki tymczasowe, rezultaty obliczeń w /tmp*
(Kontakt: [email protected])
Podstawy pracy w ICM
Szkolenie KDM
11 / 50
Praca z notebookiem w ICM
w wyznaczonych miejscach dostepne
˛
sa˛ kable sieciowe
oznaczone jako EXT
sala seminaryjna i kuchnia na Pawińskiego
sala konferencyjna na niższym pietrze
˛
na Geologii
sieć bezprzewodowa
dostepna
˛
na Pawińskiego i na Geologii
sieć szyfrowana, klucze ustalane przez dział LAN
uwaga: sieć bezprzewodowa mimo szyfrowania jest mniej
bezpieczna niż przewodowa
notebooki pracuja˛ w tzw. sieci EXT
(Kontakt: [email protected])
Podstawy pracy w ICM
Szkolenie KDM
12 / 50
Sieć EXT
nie można montować /home ani dysków po SMB
nie można korzystać z drukarek
za to: dostep
˛ do sieci zewnetrznej
˛
nie jest ograniczany
można łaczyć
˛
sie˛ z siecia˛ zewnetrzn
˛
a˛ po wszystkich portach (działa
np. GG, Skype)
nie trzeba korzystać z proxy przy połaczeniach
˛
z HTTP
(Kontakt: [email protected])
Podstawy pracy w ICM
Szkolenie KDM
13 / 50
Praca z zewnatrz
˛
dostep
˛ wyłacznie
˛
przez SSH
poczta może być czytana przez:
interfejs WWW: https://webmail.icm.edu.pl
bezpośrednio przez program pocztowy (usługa IMAP, POP3)
(Kontakt: [email protected])
Podstawy pracy w ICM
Szkolenie KDM
14 / 50
Plan prezentacji
1
Lokalizacja
2
Schemat sieci ICM
3
Serwisy ICM
4
Kontakt
5
Komputery
6
Systemy kolejkowe
(Kontakt: [email protected])
Podstawy pracy w ICM
Szkolenie KDM
15 / 50
Prognoza pogody
http://meteo.icm.edu.pl/
Serwis meteorologiczny, działa od 1997 roku
prognoza pogody dla obszaru Europy Środkowej
aktualizowana 4 razy dziennie
na 60 godzin (2,5 doby) do przodu
model atmosferyczny UK Met Office
liczony na tajfun, wkrótce na tornado
(Kontakt: [email protected])
Podstawy pracy w ICM
Szkolenie KDM
16 / 50
Telewizja naukowa
http://www.atvn.pl/
internetowa telewizja naukowa założona w ICM w 2002 roku
w archiwum dostepne
˛
sa˛ setki interesujacych
˛
audycji
wyprodukowanych przez zespół ATVN
(Kontakt: [email protected])
Podstawy pracy w ICM
Szkolenie KDM
17 / 50
Biblioteka wirtualna
http://vls.icm.edu.pl/
biblioteka artykułów z czasopism naukowych
pełne teksty: Elsevier, Springer, Kluwer, ACS, Ovid, EMIS
abstrakty, cytowania
dostepna
˛
wyłacznie
˛
dla zarejestrowanych użytkowników (licencje!)
możliwość korzystania z sieci wewnetrznej
˛
ICM
(Kontakt: [email protected])
Podstawy pracy w ICM
Szkolenie KDM
18 / 50
Serwer FTP
http://sunsite.icm.edu.pl/
setki GB darmowego oprogramowania
bardzo szybki dostep
˛ z polskiego Internetu
(Kontakt: [email protected])
Podstawy pracy w ICM
Szkolenie KDM
19 / 50
Cache stron WWW
http://w3cache.icm.edu.pl/
pośredniczy w ściaganiu
˛
stron WWW
przyspiesza ściaganie
˛
stron z popularnych serwisów
każda współczesna przegladarka
˛
internetowa ma opcje˛
korzystania z tego rodzaju pośrednika
(Kontakt: [email protected])
Podstawy pracy w ICM
Szkolenie KDM
20 / 50
Plan prezentacji
1
Lokalizacja
2
Schemat sieci ICM
3
Serwisy ICM
4
Kontakt
5
Komputery
6
Systemy kolejkowe
(Kontakt: [email protected])
Podstawy pracy w ICM
Szkolenie KDM
21 / 50
Kontakt
Obsługa formalna projektów obliczeniowych
Wsparcie użytkowników
Obsługa techniczna
(Kontakt: [email protected])
Podstawy pracy w ICM
Szkolenie KDM
22 / 50
Uniwersalny adres
[email protected] – wszelkie zapytania
(Kontakt: [email protected])
Podstawy pracy w ICM
Szkolenie KDM
23 / 50
Obsługa formalna
[email protected] – zapytania, informacje ogólne
[email protected] – nowe projekty, obsługa bieżacych
˛
[email protected] – zmiana haseł, udostepnianie
˛
serwerów
(Kontakt: [email protected])
Podstawy pracy w ICM
Szkolenie KDM
24 / 50
Wsparcie użytkowników
[email protected] – portowanie, optymalizacja
[email protected] – oprogramowanie naukowe
(Kontakt: [email protected])
Podstawy pracy w ICM
Szkolenie KDM
25 / 50
Obsługa techniczna
[email protected] – obsługa techniczna serwerów
[email protected] – archiwizacja danych na robocie
taśmowym
[email protected] – funkcjonowanie sieci lokalnej, łaczność
˛
z
ICM, poczta
(Kontakt: [email protected])
Podstawy pracy w ICM
Szkolenie KDM
26 / 50
Plan prezentacji
1
Lokalizacja
2
Schemat sieci ICM
3
Serwisy ICM
4
Kontakt
5
Komputery
6
Systemy kolejkowe
(Kontakt: [email protected])
Podstawy pracy w ICM
Szkolenie KDM
27 / 50
Troche˛ klasyfikacji
Podział ze wzgledu
˛
na dostep
˛ do pamieci:
˛
komputery z pamieci
˛ a˛ rozproszona˛
komputery z pamieci
˛ a˛ współdzielona˛
rozwiazania
˛
hybrydowe
Podział ze wzgledu
˛
na architekture˛ CPU:
komputery skalarne
komputery wektorowe
Inne możliwe podziały (32/64 bity, ... )
(Kontakt: [email protected])
Podstawy pracy w ICM
Szkolenie KDM
28 / 50
Czym dysponuje ICM?
halo = klaster AMD Opteron
tornado = Cray X1e
tajfun = Cray SV1ex
latimeria = SGI Origin 2000
(Kontakt: [email protected])
Podstawy pracy w ICM
Szkolenie KDM
29 / 50
Szczegółowo o tornado
Cray X1e
128 procesorów wektororowych SSP
Łacznie
˛
128 GB pamieci
˛ operacyjnej
1.3 TB przestrzeni dyskowej
System operacyjny UNICOS/mp 3.0
Teoretyczna wydajność maszyny 576 GFlops
(Kontakt: [email protected])
Podstawy pracy w ICM
Szkolenie KDM
30 / 50
Architektura tornado
Najprostsza jednostka - wektorowy procesor SSP
(Singlestreaming Processor)
1 procesor MSP (Multistreaming Processor) zawiera 4 SSP
Całość pogrupowana jest w wezły
˛
po 4 procesory MSP
Wewnatrz
˛ wezła
˛
architektura z pamieci
˛ a˛ dzielona,
˛ 16 GB pamieci
˛
operacyjnej na wezeł
˛
tornado = 128 SSP = 32 MSP = 8 wezłów
˛
(Kontakt: [email protected])
Podstawy pracy w ICM
Szkolenie KDM
31 / 50
Tornado praktycznie
Aplikacje sa˛ cz˛esto dostepne
˛
w wersji MSP i SSP. Której lepiej
użyć?
Odpowiedź prawidłowa: To zależy (od aplikacji i zadania !!!) najlepiej zrobić test!
„Reguły kciuka” (czesto
˛
nieprawidłowe):
Jeżeli chcemy wykorzystać mała˛ liczbe˛ procesorów (c.a. 8 SSP=2
MSP), wtedy SSP.
Wersja MSP może być korzystna w zastosowaniach z wieksz
˛
a˛
liczba˛ procesorów (np. 16 SSP=4 MSP).
(Kontakt: [email protected])
Podstawy pracy w ICM
Szkolenie KDM
32 / 50
Szczegółowo o halo
Dwa rodzaje wezłów:
˛
98 × IBM eServer 325
IBM eServer 325 = 2 procesory AMD Opteron 246 (2 GHz), 2 GB
pamieci,
˛ dysk lokalny 120 GB
12 × Sun v40z
Sun v40z = 4 procesory AMD Opteron 875 (Dual Core), 16 GB
pamieci,
˛ dysk lokalny 112 GB
Komunikacja 2 × Gigabit Ethernet na wezeł
˛
System operacyjny Gentoo Linux (jadro
˛
2.6)
Teoretyczna wydajność 1.2 TFlops
(Kontakt: [email protected])
Podstawy pracy w ICM
Szkolenie KDM
33 / 50
Szczegółowo o tajfunie
Cray SV1ex
32 procesory wektorowe
64 GB pamieci
˛ operacyjnej
Pamieć
˛ dyskowa 500 GB
System operacyjny UNICOS 10.0.1.1
Teoretyczna wydajność 64 GFlops
(Kontakt: [email protected])
Podstawy pracy w ICM
Szkolenie KDM
34 / 50
Szczegółowo o latimerii
SGI Origin 2000
16 procesorów
Pamieć
˛ dyskowa 160 GB
Pamieć
˛ operacyja 8 GB
System operacyjny IRIX 6.5
Teoretyczna wydajność 16 GFlops
Wykorzystywany głównie dla aplikacji Accelrys/MSI
(Kontakt: [email protected])
Podstawy pracy w ICM
Szkolenie KDM
35 / 50
Sposób pracy - ogólnie
Na wszystkie maszyny KDM logowanie tylko z wnetrza
˛
ICM (np. z
komputerów delta, rekin itp.).
Po założeniu konta w ICM, należy skontaktować sie˛ z
[email protected] w celu otrzymania konta na
maszynach obliczeniowych.
Hasło identyczne jak przy logowaniu na gw.icm.edu.pl (LDAP).
Przy wykonywaniu jakichkolwiek obliczeń należy korzystać z
systemu kolejkowego.
(Kontakt: [email protected])
Podstawy pracy w ICM
Szkolenie KDM
36 / 50
Sposób pracy - dyski tmp
Przy wykonywaniu obliczeń prosimy w miare˛ możliwości korzystać
z dysków lokalnych.
Wyjatek
˛
- zadania wieloprocesorowe na halo, przeważnie trzeba
korzystać tam z katalogu domowego.
Dyski lokalne sa˛ widoczne jako /tmp1, /tmp2, /tmp3 itp.
Katalogi te sa˛ automatycznie czyszczone z plików starszych niż
dwa tygodnie. Nie należy tam przechowywać cennych danych.
(Kontakt: [email protected])
Podstawy pracy w ICM
Szkolenie KDM
37 / 50
FAQ - Jakiej maszyny użyć?
Przed przystapieniem
˛
do obliczeń idealny użytkownik odpowiada sobie
na kilka ważnych pytań:
Co chce˛ policzyć?
Jakie oprogramowanie moge˛ do tego wykorzystać?
Na jakich maszynach jest ono zainstalowane?
Jakich zasobów bede
˛
potrzebował (RAM, dysk, liczba
procesorów)?
(Kontakt: [email protected])
Podstawy pracy w ICM
Szkolenie KDM
38 / 50
FAQ - Ilu procesorów użyć?
Nie ma dobrej ogólnej odpowiedzi na to pytanie.
To jest zależne od aplikacji i zadania !!!
Wiecej
˛
procesorów nie zawsze znaczy szybciej !!!
Testy,testy, testy ...
Nie należy zapominać, że oczekiwanie zadania w kolejce również
zajmuje czas.
(Kontakt: [email protected])
Podstawy pracy w ICM
Szkolenie KDM
39 / 50
FAQ - Przykładowy test
0.25
4
0.5
# CPU MSP
1
2
4
wersja SSP
wersja MSP
idealne skalowanie
2
Czas [jednostki umowne]
1
0.5
0.25
0.125
0.0625
0.03125
1
(Kontakt: [email protected])
2
4
# CPU SSP
Podstawy pracy w ICM
8
16
Szkolenie KDM
40 / 50
Plan prezentacji
1
Lokalizacja
2
Schemat sieci ICM
3
Serwisy ICM
4
Kontakt
5
Komputery
6
Systemy kolejkowe
(Kontakt: [email protected])
Podstawy pracy w ICM
Szkolenie KDM
41 / 50
Systemy kolejkowe w ICM
System kolejkowy PBS w ICM znajdziemy na:
halo
tornado
latimerii
System kolejkowy NQE w ICM znajdziemy na:
tajfunie
Wykonywanie obliczeń na tych maszynach dozwolone jest tylko i
wyłacznie
˛
przy użyciu systemów kolejkowych.
(Kontakt: [email protected])
Podstawy pracy w ICM
Szkolenie KDM
42 / 50
Idealny użytkownik
Idealny scenariusz pracy:
Przygotowanie programu.
Identyfikacja zasobów, których potrzebuje program.
Wstawienie zadania do systemu kolejkowego, po właściwym
określeniu zasobów.
Dzieki
˛ kontroli nad systemem kolejkowym mamy (praktycznie) pełna˛
kontrole˛ nad przepływem pracy na danej maszynie.
(Kontakt: [email protected])
Podstawy pracy w ICM
Szkolenie KDM
43 / 50
O PBS
Dostepny
˛
na wszystkich systemach unix-owych
Klastry Linux-owe
Dwie gałezie:
˛
OpenPBS oraz PBSpro
(Kontakt: [email protected])
Podstawy pracy w ICM
Szkolenie KDM
44 / 50
Zasoby
W obrebie
˛
jednego CPU, PBS wymaga określenia co najmniej
dwóch zasobów:
czasu CPU
ilości pamieci
˛
Dla równoległych zadań wieloprocesorowych, PBS musi również
wiedzieć ile node’ów/CPU zajmie zadanie
Inne rzeczy do rozważenia:
Jak nazwiemy zadanie?
Gdzie skierować standardowe wyjście i bład?
˛
Czy system powinien zawiadomić nas mailem po zakończeniu
zadania?
(Kontakt: [email protected])
Podstawy pracy w ICM
Szkolenie KDM
45 / 50
Operacje na zadaniu
Wstawienie zadania do kolejki:
z użyciem polecenia qsub:
sheed@halo:# qsub submit.PBS
Opcje moga˛ być również podane z linii komend.
Monitorowanie zadania:
z użyciem polecenia qstat
qstat
qstat -a
qstat -f
qstat -Q
Modyfikacja i zabijanie zadania: qalter w celu zmiany
przydzielonych zasobów oraz qdel w celu zabicia zadania
identyfikowanego poprzez job_id
(Kontakt: [email protected])
Podstawy pracy w ICM
Szkolenie KDM
46 / 50
Przykładowy skrypt dla klastra halo
# Sekcja z deklaracja˛ zasobów
#PBS -N zadanie
#PBS -l nodes=8:ppn=2
#PBS -l walltime=24:00:00
#PBS -l file=5gb
#PBS -m e
# Przygotowanie pracy
cd $PBS_O_WORKDIR/
# Uruchomienie programu
mpiexec -transform-hostname=s/ˆ n/a/ ./cpi
# Tu ew. kopiowanie ważnych wyników do katalogu
domowego
(Kontakt: [email protected])
Podstawy pracy w ICM
Szkolenie KDM
47 / 50
Standardowe wyjście i bład
˛
Domyślnie standardowe wyjście jest kierowane do pliku
NAZWA_ZADANIA.oJOB_ID.
Domyślnym plikiem do którego sa˛ kierowane sa˛ komunikaty o
błedach
˛
jest NAZWA_ZADANIA.eJOB_ID.
Można to zmienić opcjami -o PLIK_WYJŚCIOWY i -e
PLIK_BŁEDÓW.
˛
(Kontakt: [email protected])
Podstawy pracy w ICM
Szkolenie KDM
48 / 50
Wiecej
˛
informacji
Szablony skryptów w katalogach /opt/examples/pbs na halo i
tornado
Generator skryptów na stronie WWW ICMu
Maciek Cytowski, Porady: systemy kolejkowe w ICM, Biuletyn
ICM nr 4
Strony manuala:
man qsub, man qstat, man qdel
man pbs_resources
man pbs_resources_unicosmp (tornado)
Szkolenie Skryptologia i systemy kolejkowe
(Kontakt: [email protected])
Podstawy pracy w ICM
Szkolenie KDM
49 / 50
Dziekujemy
˛
za uwage˛
(Kontakt: [email protected])
Podstawy pracy w ICM
Szkolenie KDM
50 / 50