Analiza niezawodności nośników i obszarów w archiwum

Analiza niezawodności nośników
i obszarów w archiwum
długoterminowym
dr inż. Piotr Pałka
Długoterminowa archiwizacja zasobów cyfrowych –
problemy i rozwiązania
29 lutego – 1 marca 2016 r.
CREDO – Cyfrowe Repozytorium Dokumentów
projekt DEMONSTRATOR+ nr UOD-DEM-1-385/001
Motywacja
• Archiwum będzie pracowało długoterminowo,
czyli dłużej niż czas wykorzystania danej
technologii, nie mówiąc już o czasie życia
danego nośnika
• Nawet jeśli nośnik przetrwa bardzo długi czas,
nic to nie da jeśli nie będziemy go w stanie
odczytać!
29 lutego - 1 marca 2016 r.
CREDO - Cyfrowe Repozytorium
Dokumentów
2
Analiza niezawodności
• Analiza dotyczy nośników i obszarów aby:
– Przewidzieć awarie:
• Migrować pakiety na nowsze nośniki
– Przeciwdziałać awariom:
• Odświeżać (np. magnetycznie) nośniki
– Skorelować awarie typowe dla: partii, rodzajów
nośników, nośników od danego producenta
• Polityka zakupowa nowych nośników
– Wybierać odpowiednie obszary do odczytu/zapisu
pakietów
29 lutego - 1 marca 2016 r.
CREDO - Cyfrowe Repozytorium
Dokumentów
3
Skąd brać informacje?
• Dyski twarde: S.M.A.R.T (ang. Self-Monitoring,
Analysis and Reporting Technology):
– system monitorowania i powiadamiania o błędach
działania twardego dysku
• Taśmy magnetyczne, dyski optyczne, karty
pamięci, pamięć USB, …
– brak odpowiednich systemów monitorowania i
powiadamiania o błędach
• Przyszłe technologie przechowywania danych
– ???
29 lutego - 1 marca 2016 r.
CREDO - Cyfrowe Repozytorium
Dokumentów
4
Abstrakcja niezawodności dla
dowolnego typu nośnika
• wspólny mechanizm przekazywania informacji
o nośniku, partiach nośników do PZT
• niezależny od rodzaju nośnika (dyski twarde,
taśmy magnetyczne, dyski optyczne, ...)
• rozwiązanie problemu braku odpowiednich
rozwiązań technicznych dla monitorowania i
zarządzania
29 lutego - 1 marca 2016 r.
CREDO - Cyfrowe Repozytorium
Dokumentów
5
Wymagania
• Warstwa abstrakcji dla monitorowania i
raportowania nośników:
– Prawdopodobieństwo awarii nośnika w ciągu
najbliższego roku
– Percentyle (95/100, 98/100 i 99/100)
niezawodności
• np. wartość percentyla 99/100 równa 180, oznacza, że
dany nośnik będzie działał poprawnie przez 180 dni, z
prawdopodobieństwem co najmniej 99%.
29 lutego - 1 marca 2016 r.
CREDO - Cyfrowe Repozytorium
Dokumentów
6
Podstawy teoretyczne
– Niezawodność (ang. reliability) − własność obiektu
mówiąca o tym, czy:
• pracuje on poprawnie (spełnia wszystkie powierzone
mu funkcje i czynności)
• przez wymagany czas
• w określonych warunkach eksploatacji
– Dla nośników zakłada się, że:
−𝑡
• 𝑅 𝑡 = 𝑒 𝑀𝑇𝐵𝐹
• MTBF to parametr nośnika (podawany przez
producentów np. dysków twardych)
• t to czas pracy nośnika
29 lutego - 1 marca 2016 r.
CREDO - Cyfrowe Repozytorium
Dokumentów
7
Dane wejściowe
• Zależne od typu nośnika
• Gdy nie ma danych odnośnie nośnika, obliczenia
parametrów na podstawie:
– daty produkcji/zakupu nośnika
– wytycznych NARA dotyczących czasu życia nośników
• Abstrakcja dla dysków twardych:
– korzysta ona z danych S.M.A.R.T odczytywanych cyklicznie
przez system zarządzający nośnikami
– na ich podstawie modyfikujemy parametry niezawodności,
np.:
• temperatura pracy nośnika – wpływa na wydłużenie/skrócenie
czasu życia nośnika
• Dane na temat włączeń/wyłączeń/czasy pracy nośnika
29 lutego - 1 marca 2016 r.
CREDO - Cyfrowe Repozytorium
Dokumentów
8
Dane wyjściowe
• Parametry niezawodności:
– Prawdopodobieństwo awarii nośnika w ciągu
najbliższego roku
– Percentyle (95/100, 98/100 i 99/100)
niezawodności
• Obliczane raz na dzień, na podstawie
spływających danych
29 lutego - 1 marca 2016 r.
CREDO - Cyfrowe Repozytorium
Dokumentów
9
Niezawodność obszarów
• Obszar → wiele nośników
• Potrzeba obliczania parametrów niezawodności
dla całych obszarów
• Agregaty parametrów niezawodności nośników
wchodzących w skład obszaru:
– prawdopodobieństwo awarii obszaru w ciągu
najbliższego roku
:= MAX (prawdopodobieństwa awarii nośników w
ciągu najbliższego roku)
– percentyle niezawodności dla obszaru
:= MIN(percentyle niezawodności nośników)
29 lutego - 1 marca 2016 r.
CREDO - Cyfrowe Repozytorium
Dokumentów
10
Wykorzystanie parametrów
niezawodności
• Wyznaczanie okresowych operacji na
obszarach:
– odświeżanie magnetyczne
• Wyznaczanie przestarzałych nośników:
– migracja pakietów z tych nośników na nowsze
• Wykorzystanie przez mechanizm
harmonogramowania
29 lutego - 1 marca 2016 r.
CREDO - Cyfrowe Repozytorium
Dokumentów
11
DZIĘKUJĘ ZA UWAGĘ!
29 lutego - 1 marca 2016 r.
CREDO - Cyfrowe Repozytorium
Dokumentów
12