Optymalizacja dostępu do archiwum głębokiego

Optymalizacja dostępu do archiwum głębokiego
Tomasz Śliwiński
Politechnika Warszawska
Instytut Automatyki i Informatyki Stosowanej
29. stycznia – 1. lutego, 2016
CREDO – Cyfrowe Repozytorium Dokumentów
projekt DEMONSTRATOR+ nr UOD-DEM-1-385/001
IAiIS
Optymalizacja dostępu do archiwum głębokiego
1 / 15
Wprowadzenie
Archiwum głębokie nie jest “chmurą”
Dostęp rządzi się innymi prawami
Klient nie wymaga szybkości
IAiIS
Optymalizacja dostępu do archiwum głębokiego
2 / 15
Ogólne kryteria optymalizacji pracy archiwum
Bezpieczeństwo
Użycie energii
Zużycie nośników
Wykorzystanie przestrzeni
Brak wymagań odnośnie czasu dostępu
IAiIS
Optymalizacja dostępu do archiwum głębokiego
3 / 15
Architektura archiwum (model dla potrzeb optymalizacji)
Archiwum podzielone na obszary
Obszar – najmniejsza część archiwum, która może być
włączana/wyłączana
Obszar składa się z jednego lub wielu nośników
Obszary zgrupowane w regiony (np. odseparowane geograficznie)
IAiIS
Optymalizacja dostępu do archiwum głębokiego
4 / 15
Bezpieczeństwo danych w CREDO – niezawodność
Bezpieczeństwo na dwóch poziomach:
repliki wysokopoziomowe – zarządzane przez PZA – możliwość
okreslenia regionu repliki
bezpieczeństwo niskopoziomowe (kopie lub inne mechanizmy systemu
plików)
Każda replika wysokiego poziomu może mieć inny wymagany poziom
bezpieczeństwa
Poziom bezpieczeństwa jest realizowany przez mechanizmy systemu
plików (w CREDO liczba kopii niskopoziomowych
Okresowe operacje konserwatorskie (odświeżanie magnetyczne,
przewijanie taśm, itp)
Kontrola stanu nośników (SMART), szacowanie prawdopodobieństwa
awarii
IAiIS
Optymalizacja dostępu do archiwum głębokiego
5 / 15
Koszt działania archiwum
Koszt uruchomień obszarów = koszt zużytej energii + szacunkowy
koszt zużycia sprzętu
Koszt działania = koszt zużytej energii + szacunkowy koszt zużycia
sprzętu
Parametryzacja kosztów
IAiIS
Optymalizacja dostępu do archiwum głębokiego
6 / 15
Organizacja pracy archiwum głebokiego – operacje
Operacje korzystające z zasobów (obszarów):
kopiowanie
odczyt stanu archiwum
liczenie sum kontrolnych
czynności konserwatorskie (odświeżanie magnetyczne, przewijanie taśm,
itp)
Operacje nie używające zasobów (np. interakcja z użytkownikiem)
IAiIS
Optymalizacja dostępu do archiwum głębokiego
7 / 15
Organizacja pracy archiwum głebokiego – procedury
Sekwencja zbiorów równolegle wykonywanych operacji
Jednocześnie wykonywanych jest wiele procedur
IAiIS
Optymalizacja dostępu do archiwum głębokiego
8 / 15
Parametry operacji
Przedział czasu, w którym operacja może zostać wykonana
Zbiór możliwych obszarów do odczytu
Zbiór możliwych obszarów do zapisu, wraz z okresleniem poziomu
bezpieczeństwa
Używane zasoby - zajmowana przestrzeń, dostęp na wyłączność
Czasy zapisu/odczytu danych na każdym z obszarów
źródłowych/docelowych
Rozmiary zapisu na każdym obszarze
IAiIS
Optymalizacja dostępu do archiwum głębokiego
9 / 15
Obszary do zapisu – określenie poziomu zabezpieczeń
Do przechowywania danych używane sa takie obszary i przy takim
poziomie bezpieczeństwa (np. liczba kopii niskopoziomowych), aby
spełnić wymagania danej repliki
Ilość zajętego miejsca zależna od poziomu bezpieczeństwa
IAiIS
Optymalizacja dostępu do archiwum głębokiego
10 / 15
Decyzje modułu harmonogramowania
Dla każdej operacji:
chwila rozpoczęcia
przydział obszaru do odczytu (jeśli potrzebny)
przydział obszaru do zapisu (jeśli potrzebny)
IAiIS
Optymalizacja dostępu do archiwum głębokiego
11 / 15
Ograniczenia
Kolejność poprzedzania operacji wewnątrz procedury
Dostęp do zasobów (ograniczona maksymalna liczba operacji w
obszarze, wyłączny dostęp, zajętość miejsca)
Przedział czasu wykonania
IAiIS
Optymalizacja dostępu do archiwum głębokiego
12 / 15
Szczegółowe kryteria optymalizacji harmonogramu
Koszt
Równomierność zapełnienia obszarów
Równomierność dostępu – liczba równoległych operacji i/o
Zajętość miejsca – różna dla różnych obszarów w zależności od
wymaganego poziomu zabezpieczenia
Możliwość wyrażania preferencji odnośnie kryteriów - ważenie
IAiIS
Optymalizacja dostępu do archiwum głębokiego
13 / 15
Cechy algorytmu
Elastyczny
Szybki
Grupuje operacje tak, aby z danego obszaru korzystały w zbliżonym
czasie
Przybliżony
Sterowanie kryteriami
IAiIS
Optymalizacja dostępu do archiwum głębokiego
14 / 15
Podsumowanie
Stworzono wysoko parametryzowalny system automatycznie
organizujący prace archiwum
Suboptymalne harmonogramy –zapewnieniu bezpieczeństwa,
minimalizacja kosztów, dodatkowe kryteria
Spełnienie wielu wymagań i ograniczeń
Działanie automatyczne – ingerencja człowieka tylko w sytuacjach
wyjątkowych
IAiIS
Optymalizacja dostępu do archiwum głębokiego
15 / 15