Usługa archiwizacji danych w systemie Eureca

Usługa archiwizacji danych
w systemie Eureca
Marek Jelenik
CONTROLLING SYSTEMS sp. z o.o.
Na czym polega usługa archiwizacji danych w systemie Eureca?
… 2012 2013 2014 2015
…
SQL
Przed
archiwizacją
OLAP
BAZA PRODUKCYJNA
2013 2014 2015
Po
archiwizacji
… 2012
SQL
OLAP
BAZA ARCHIWALNA
BAZA PRODUKCYJNA
…
Usługa archiwizacji – kolejne kroki
1)
usunięcie z bazy produkcyjnej danych z lat ubiegłych (nie wykorzystywanych w bieżącej pracy),
2)
utworzenie osobnej, archiwalnej bazy danych, zawierającej tylko dane usunięte z bazy
produkcyjnej,
3)
optymalizacja utworzonej bazy archiwalnej oraz okrojonej bazy produkcyjnej,
4)
realizacja wybranego przez Klienta modelu archiwizacji danych z kolejnych okresów.
Kopie bezpieczeństwa bazy produkcyjnej trzeba bezwzględnie wykonywać w dalszym ciągu !!!
(Ale po przeprowadzeniu archiwizacji danych wykonywanie kopii bezpieczeństwa będzie łatwiejsze  )
Dlaczego warto archiwizować dane w systemie Eureca?
•
zmniejszenie rozmiaru produkcyjnej bazy danych (SQL i OLAP),
•
zmniejszenie rozmiaru kopii bezpieczeństwa produkcyjnej bazy danych i skrócenie czasu jej
tworzenia (SQL i OLAP),
•
skrócenie czasu trwania procesu zasilania hurtowni danych,
•
skrócenie okresu procesowania części analitycznej produkcyjnej bazy danych, co jest bardzo
istotne dla bieżącej pracy (zasilanie ad-hoc, procesowanie struktur w trakcie pracy z systemem
Eureca),
•
zwiększenie wydajności, przyspieszenie i ułatwienie pracy – mniejsza ilość danych do
przetworzenia podczas analiz wykonywanych na produkcyjnej bazie danych, mniej okresów (lat)
do wybierania podczas analizowania danych, brak nieużywanych struktur budżetowych i
elementów wymiarów,
•
odciążenie bazy produkcyjnej - analizy dotyczące zarchiwizowanych okresów są wykonywane na
osobnej bazie archiwalnej
•
możliwe jest rozdzielenie uprawnień do danych pomiędzy bazę produkcyjną i bazę archiwalną.
Korzyści z archiwizacji danych w ujęciu biznesowym
•
ograniczenie nakładów na infrastrukturę IT (zasoby dyskowe, serwer),
•
zwiększenie wydajności i komfortu pracy w systemie Eureca
•
zwiększenie poziomu bezpieczeństwa danych (zmniejszenie ryzyka nieuprawnionego dostępu do
informacji).
Archiwizacja – krok nr 1: usunięcie danych z lat ubiegłych
1.
2.
Z bazy produkcyjnej można usunąć te dane, które:
a)
nie są bezpośrednim źródłem danych dla bieżących analiz i raportów,
b)
nie są pobierane przez wzory działające w strukturach budżetowych,
c)
nie są przetwarzane przez dedykowane procedury,
d)
nie znajdują się w kostkach OLAP z włączoną funkcją „writeback”
W jaki sposób usunąć dane z lat ubiegłych:
a)
wykonać pełną kopię zapasową produkcyjnej bazy danych (SQL i OLAP),
b)
skorzystać z funkcjonalności oferowanej przez system Eureca w module Administracja Usuwanie danych archiwalnych
Usuwanie danych archiwalnych – kolejne kroki
1.
Wyłączenie writeback’ów (poprzedzone zapisaniem danych do tabel faktów).
2.
Wskazanie okresów archiwalnych, z których zostaną usunięte dane.
3.
Wybór struktur budżetowych, które zostaną usunięte w zaznaczonych okresach.
4.
Wybór kostek Modelowania OLAP, z których zostaną usunięte dane dotyczące zaznaczonych
wcześniej okresów budżetowych.
5.
Wybór tabel faktów wykonań, z których zostaną usunięte dane dotyczące zaznaczonych wcześniej
okresów budżetowych.
6.
Podsumowanie wybranych ustawień i wykonanie operacji usuwania danych archiwalnych.
7.
Należy pamiętać o aktualizacji zakresu czasowego zasilania hurtowni danych i ew. importów
danych do kostek Modelowania OLAP.
Archiwizacja – krok nr 2: utworzenie archiwalnej bazy danych
1.
Utworzenie bazy archiwalnej (SQL i OLAP) pod wybraną dla niej nazwą, na podstawie kopii
bezpieczeństwa bazy produkcyjnej wykonanej przed rozpoczęciem usuwania z niej danych
archiwalnych.
2.
Usunięcie z bazy archiwalnej wszystkich danych, które pozostały w bazie produkcyjnej (czyli
wykonanie operacji odwrotnej do tej, która została opisana wcześniej jako usuwanie danych
archiwalnych z bazy produkcyjnej).
Archiwizacja – krok nr 3: optymalizacja bazy produkcyjnej i archiwalnej
1.
Usunięcie wszystkich wymiarów, które nie są używane w strukturach danych (tabelach faktów,
kostkach Modelowania OLAP i strukturach budżetowych).
2.
Usunięcie z tabel wymiarów wszystkich elementów wymiarów, które nie występują w strukturach
danych – dzięki temu uzyskujemy możliwość łatwiejszej analizy danych.
3.
Optymalizacja wymiarów czasowych – usunięcie okresów, które nie występują w danych.
4.
Usunięcie z baz tych tabel faktów, kostek Modelowania OLAP oraz struktur budżetowych, dla
których wykasowane zostały wszystkie dane.
5.
Skasowanie archiwalnej bazy SQL – do analiz pozostaje tylko baza analityczna (poprzedzone
wykonaniem backup’u bazy SQL w celu zachowania metadanych systemu Eureca).
Możliwości korzystania z archiwalnej bazy danych
1.
Z archiwalnej bazy danych można korzystać w module Analizy systemu Eureca:
a) w analizach przestawnych
b)
w analizach ad-hoc
2.
Z archiwalnej bazy danych można również korzystać we wszystkich narzędziach umożliwiających
analizę danych i raportowanie, np. Excel, PowerPivot, Reporting Services, Tableau itp.
3.
W archiwalnej bazie danych nie są obsługiwane pewne obiekty funkcjonujące w systemie Eureca:
a) komentarze,
b) drill-through
c) writeback’i
Archiwizacja – krok nr 4: wybór modelu archiwizacji kolejnych okresów
1.
2.
Wybór zakresu czasowego dla kolejnych operacji archiwizacji danych:
a)
archiwizacja pojedynczych lat,
b)
archiwizacja dłuższych, kilkuletnich okresów,
c)
model mieszany – różny zakres czasowy archiwizowanych danych w zależności od potrzeb.
Wybór sposobu konfiguracji danych z pochodzących z kolejnych archiwizacji:
a)
kolejne archiwizowane okresy znajdują się w osobnych bazach danych,
(w przypadku serwera MS SQL w wersji Enterprise Edition istnieje możliwość tworzenia
kostek wirtualnych składających się z kostek znajdujących się w różnych bazach danych)
b)
kolejne archiwizowane okresy są scalane w jedną wspólną bazę archiwalną.
Scalanie kolejnych okresów archiwalnych w jedną bazę archiwalną
1.
Wymaga przechowywania pełnej kopii bazy archiwalnej (SQL - metadane systemu Eureca).
2.
Konieczne jest porównanie struktur danych w bazach produkcyjnej i archiwalnej.
3.
Wykonywane jest złączenie dotychczasowej archiwalnej bazy danych z danymi z kolejnego
archiwizowanego okresu, które są usuwane z bazy produkcyjnej.
Wsparcie ze strony Controlling Systems – oferowane usługi
•
doradztwo w wyborze optymalnego modelu archiwizacji pod kątem potrzeb Klienta,
•
przygotowanie bazy archiwalnej (usunięcie danych, które pozostały w bazie produkcyjnej),
•
optymalizacja bazy produkcyjnej oraz bazy archiwalnej,
•
scalenie danych z kolejnych archiwizowanych okresów w jedną bazę archiwalną (indywidualne
rozwiązania uzgodnione z użytkownikiem i dopasowane do jego potrzeb).
•
wspomaganie w zakresie przygotowywania analiz i raportów operujących na danych archiwalnych
oraz bieżących
Dziękuję za uwagę