Hurtownie danych – wdrażanie

Wdrażanie Hurtowni Danych
Bogdan Miedzik
Warszawa, 18 maja 2016 r.
Wstęp zamiast Agendy
1. Kiedy w jednej z firm usprawniłem procesy sprawozdawcze i rozliczeniowe
z kontrahentami, to spotkałem się ze specyficzną reakcją, ponieważ na 3 dni
przed końcem miesiąca pracownicy działu finansowego nie mieli co robić.
2. Szczęśliwie znalazłem pracę w Banku. Gdy na początku pytałem o możliwość
korzystania z danych analitycznych z systemów operacyjnych, usłyszałem:
- Nie, w żadnym wypadku – zbyt duże ryzyko. Nawet o tym nie myśl.
- Czy wiesz na co się porywasz ?
- Nie pracujemy, żeby nam się lepiej raportowało.
3. Zrozumiałem, że:
- Potrzebuję wsparcia Biznesu;
- Muszę zaprezentować korzyści biznesowe, jako uzasadnienie dla projektu.
2
Oczekiwania Biznesu
Jakie są oczekiwania Biznesu?
Jak je spełnić?
1 Osiągnąć Korzyści
Udowodnić zwrot na inwestycji (ROI)
2 Zapewnić Krótki Termin Realizacji
Wybrać najpilniejszy temat w organizacji
3 Zapewnić Szeroki Zakres Informacji
Zbudować model umożliwiający rozbudowę bez
utraty wcześniejszych wyników
4 Udostępnić Raporty
Zbudować narzędzia dostępowe dla odbiorców:
- one click
- e-mail
- sms
5 Posiadać Dane do Analiz
Zbudować narzędzia dla analityków (SQL)
6 Rozpowszechnić Wiedzę
Opublikować definicje, metadane
Zapewnić Dobrą Jakość Danych
7
i Raportów
Badać dane i zwracać wyniki do systemów
źródłowych.
Budować raporty w oparciu o spójne definicje
8 Zapewnić Bezpieczeństwo
Dostęp dla właściwych użytkowników, audyt
wykorzystania danych
3
Cele Hurtowni Danych (HD)
• Udostępnić Organizacji Informację zrozumiałą i bardzo szybko dostępną
• Udostępnić Organizacji Spójną Informację i Spójne Raporty
• Umożliwić ciągłość rozwoju HD bez utraty wcześniejszych danych, wyników
i konieczności zmiany technologii
• Chronić dane przed nieuprawnionym dostępem i umożliwić wgląd w
wykorzystanie i nadużywanie informacji
• Wspomagać Biznes w podejmowaniu decyzji
4
Podstawowe Elementy Hurtowni Danych
Systemy
Operacyjne
Dane Źródłowe
S1
S2
S3
S4
S5
Sn
M1
M2
Mi
Serwer Prezentacyjny
Metadane
ETL
Ad-hoc SQL
Procesy
Importu
Portal
Raportowy
Obszar
Przejściowy
(Staging Area)
Model Danych
Analitycznych
Jakość
Danych
Aplikacje
Diagnostyki
Data Marty
Modele
5
Cykl Życia Hurtowni Danych
Wybór Platformy
i Instalacja
Projekt
Infrastruktury
Planowanie
Projektu
Zdefiniowanie
Wymagań
Biznesowych
Modelowanie
Bazy
Projekt
Fizyczny Bazy
Danych
Specyfikacja Aplikacji
Użytkownika
Projekt
Obszaru
Przejściowego
Uruchomienie
Utrzymanie
i Rozwój
Budowa Aplikacji
Użytkownika
Zarządzanie Projektem
Źródło: Ralph Kimball - The Data Warehouse Lifcycle Toolkit
6
Czy organizacja jest gotowa na projekt HD
„Litmus Test”
1. Oceń czy masz silnego sponsora biznesowego (60%)
a)
b)
c)
d)
e)
Liczy się w organizacji
Jest gotów wspierać zespół
Szybko podejmuje decyzje
Aktywnie, głośno i widocznie wspiera – jest gotów bronić, postawić się
Ma realne oczekiwania (wyniki, terminy, skala)
2. Czy możesz wykorzystać biznesową motywację (15%)
a)
b)
c)
d)
e)
f)
g)
Duża zależność firmy od HD
Koszty nie stanowią problemu
Jest jasno określona wizja
Wspólna wizja rozwiązania
Zadanie strategiczne
Możliwość zwiększenia przychodów
Duży zwrot z inwestycji
3. Czy panują dobre relacje między IT i Biznesem (10%)
a)
b)
c)
d)
e)
Biznes zgodnie współpracuje z IT
IT aktywnie zaangażowane w jednostkach biznesowych
Duże zaufanie do obecnej sprawozdawczości
IT szybko reaguje na ad-hoc’owe zapytania
Nie ma zaległości w realizacji wniosków Biznesu
7
Czy organizacja jest gotowa na projekt HD
„Litmus Test” (2)
4. Czy istnieje zwyczaj prowadzenia bieżących analiz (10%)
a) Decyzje są podejmowane na podstawie faktów i liczb
b) Użytkownicy biznesowi domagają się dostępu do danych – sami
chcą analizować
c) Bieżące raporty są wykorzystywane do analiz i badania trendów
historycznych
d) Użytkownicy sprawnie używają komputerów
e) Informacja(raporty) jest otwarcie rozpowszechniana w organizacji
5. Czy jest prawdopodobne, że wykonasz zadanie (15%)
a) Jest dobra i nowoczesna infrastruktura
b) Doświadczone zasoby są dostępne
c) Wiarygodne dane są dostępne
8
Znajdź Pilne Potrzeby Biznesowe
1. Analiza Kluczowych potrzeb biznesowych
a)
b)
c)
d)
Rozpoznaj kluczowe, strategiczne potrzeby biznesowe
Zidentyfikuj kluczowe wskaźniki wydajnościowe lub metryki sukcesu dla każdej strategicznej
inicjatywy biznesowej
Zdefiniuj najważniejszy proces, który biznes monitoruje i na który chce mieć wpływ
Oszacuj potencjalny wpływ poprawy procesu informacyjnego
2. Ustal priorytety wymogów biznesowych
Wysoki
Zadanie B
Zadanie A
Wpływ na
Biznes
Zadanie D
Zadanie C
Niski
Niski
Wykonalność
Wysoka
3. Proof of Concept – prezentacja potencjalnego wpływu HD na podstawie
niewielkiego, nisko kosztowego eksperymentu
9
Wstępny Zakres Projektu i Uzasadnienie
1. Opracuj wstępny zakres projektu bazując na potrzebach Biznesu, a nie na
podanych terminach:
a)
b)
c)
d)
e)
f)
Pracuj wspólnie z IT i przedstawicielami Biznesu
Ustal czy Zadanie jest w pełni wykonalne
Osiągnij efekt w krótkim czasie - wykonaj zadanie dla jednego obszaru/procesu
Ogranicz początkową liczbę użytkowników HD
Ustal kryteria sukcesu podczas definiowania zakresu prac
Skoryguj zakres projektu stosownie do jego wagi
2. Określ nakłady i koszty finansowe
a)
b)
c)
d)
e)
f)
g)
Zakup(wynajem) sprzętu i oprogramowania
Bieżące koszty utrzymania
Wewnętrzne zasoby rozwojowe
Zewnętrzne zasoby rozwojowe
Szkolenia zespołu projektowego i Biznesu
Bieżące wsparcie
Wydatki na wsparcie skalowalnego wzrostu/rozwoju
3. Określ korzyści finansowe
a)
b)
c)
d)
Wzrost przychodów , np. z tytułu nowej sprzedaży
Wzrost zysku, np. z tytułu wyższego wskaźnika odpowiedzi na maile
Poprawa serwisu klientów lub jakości obsługi
Dostępność nowych informacji
4.Połącz/wykorzystaj liczby i policz zwrot z inwestycji (ROI)
10
Zorganizuj Zespół Ludzi
A1-Sponsor
D1
Komitet Sterujący
Projektu NaProX
A2
Biuro Projektowe
Kierownictwo Projektu
Role w Projekcie
D3
A3
Kierownik Projektu
Lider Biznesowy
Zespół
Infrastruktury
Zespół
Bezpieczeństwa
Zespół
Jakości Danych
Zespoły
Data Martów
Analitycy systemów biznesowych
Projektant modelu wymiarowego
D4
D4
A4
A5
Projektant fizycznego modelu danych
Projektant obszaru przejściowego
A6
A6
Deweloperzy aplikacji użytkownika HD
Trener/Szkoleniowiec
Architekt Infrastruktury
Zespół
Ekstraktów
Zespół
ETL
Zespół
Modelu Danych
D5
D6
Zespół
Raportów
Architekt bezpieczeństwa
Specjaliści wsparcia technicznego
Programiści ETL
A11
A7
A8
A9
Menedżer Danych
Analityk jakości danych
Konsultanci zewnętrzni
główne linie komunikacji
przedstawiciel Firmy
przedstawiciel Dostawcy
11
HARMONOGRAM
Zadanie
P20.5_1.3.0.0 Analiza
systemów źródłowych
P20.5_1.3.1.0
Dokumentacja systemów
źródłowych dostępna
P20.5_1.3.2.0 Analiza
Systemu Księgi Głównej
Zasoby Plan
(Kto) (dni)
Data
Startu
Niezbędne
Pierwotna Planowana
nakład pr.
Data
Data
Status
do
Zakończ.
Zakończ
Zakończenia
Zależności
Flaga
Opóźnienia
MK
22
14/04
6/05
14/05
18
8
BL
0
14/04
14/04
19/04
5
P05_3.2.9.1
6
BK
4
14/04
18/04
14/04
0
P05_3.2.9.1
0
Plan projektu jest bardzo ważnym narzędziem, które powinno:
1. Zawierać wszystkie zadania związane z całym cyklem projektu
2. Zawierać zadania akceptacji formalnej użytkowników po każdym większym etapie
3. Służyć do monitorowania postępów prac
4. Umożliwiać zapobieganie opóźnieniom
5. Być na bieżąco aktualizowane
6. Zawierać dodatkowe estymacje:
a) nakładu pracy na nieujawnione zadania lub konieczne konsultacje
b) zasobów dyskowych i wydajnościowych
12
Narzędzia w Projekcie HD
1. Zorganizuj Kickoff Meeting
2. Monitoruj Statusu projektu
a) regularne spotkania statusowe
b) regularne raporty statusowe
3. Aktualizuj/Utrzymuj Plan
4. Dokumentuj Projekt
5. Zarządzaj zakresem projektu
a) śledź problemy
b) kontroluj zmiany
c) dokumentuj pojawiające się żądania zmian
6. Przygotuj Plan Komunikacji
7. Zarządzaj Oczekiwaniami
13
Kickoff Meeting
Wprowadzenie
• Cele i zadania projektu
• Zakres projektu
Sponsor Biznesowy
Ogólne omówienie hurtowni danych
Kierownik Projektu
Role i Odpowiedzialności Zespołów
Kierownik Projektu
Zarządzanie projektem
Kierownik Projektu
• Narzędzia administracyjne
• Kamienie milowe
• Omówienie propozycji planu projektu
Pytania i Odpowiedzi
Następne kroki
14
Spotkania Statusowe
1. Przegląd Harmonogramu
• Zadania zakończone
• Kamienie milowe zakończone i oczekujące
• Status ważniejszych produktów
• Zadania na następny tydzień
2. Omówienie problemów i kolejnych zadań
• Problemy rozwiązane od poprzedniego spotkania
• Nowe problemy
• Otwarte kwestie i decyzje dot. koniecznych zmian
3. Przegląd proponowanych zmian
• Zmiany zamknięte od ostatniego spotkania
• Nowe żądania zmian
• Otwarte żądania zmian – ustalenie, czy zmiana niezbędna
4. Informacje i uwagi ogólne
15
Raporty Statusowe
Stan Projektu Hurtowni Danych
Do:
BPL, BA, DM
OD:
Kierownik Projektu
CC:
Sponsor
Data: 8/04
Zadania Wykonane w czasie ostatniego tygodnia
•
•
•
Zakończono analizę Systemu Księgi Głównej
Wprowadzono zmiany do harmonogramu
Przeprowadzono wywiady z Kontrolingiem i Ryzykiem Kredytowym
Prace zaplanowane do 15/04
•
•
Dokumentacja i dostarczenie zapisów indywidualnych wywiadów
Rozpoczęcie przygotowywania dokumentacji wymagań
Otwarte kwestie
•
Uzgodnić termin dodatkowego spotkania z Kontrolingiem przed 20/04
16
Lista Problemów
LP Temat
Opis
Data
Odpow.
zgłosz.
Data
zamkn
Status
Priorytet
15/08
Zamkn.
Wysoki
1
Sprzęt
Brak docelowego sprzętu
gotowego do instalacji
15/07
TF
2
SSO
Zmieniające się mapowania
22/07
AM
Otwarte
Średni
22/07
JO, TD
Otwarte
Niski
Wysoki stopień komplikacji
reprezentacji danych BM i MR.
3
DMS
Problem gotowości systemów.
Brak możliwości stworzenia
dokumentacji
Przegląd i identyfikacja problemów są krytyczne dla
powodzenia projektu.
Listę problemów należy analizować na każdym
spotkaniu statusowym
17
Zgłaszane Zmiany (Change Requests)
Kontroluj i dokumentuj zmiany
Pojedyncze, drobne, niewinnie wyglądające zmiany , generują często
duży wpływ na losy projektu, jak każda kumulacja.
LP
Zmiana
Zgłosił
Data
Odpowie- Szacunk. Szacunk. Data
Priorytet
Status
zgłosz.
dzialny
Nakład
Koszt
Zak.
CR01 Dodatkowych 5 wywiadów
BM
15/07
Wysoki
BK
3 dni
300
CR02 Nowe źródło danych
PD
19/07
Wysoki
MK
TBD
TBD
22/07 Zamk
Otw
czas
18
Plan Komunikacji
t
t
t
r
t
t
t
t
m
r
l
l
l
l
l
l
l
l
l
l
l
l
l
l
l
l
l
l
r
t
t
t
m
m
r
m
m
m
m
m
m
m
m
m
m
m
m
m
m
m
m
m
m
m
m
m
m
r
m
r
m
r
m
r
m
r
m
r
m
r
m
r
m
r
m
r
m
t
t
t
ETL Architect /
ETL Developer
m
Metadata Manager
m
Analityk Jakości /
Menedżer Danych
Educator
t
t
t
Data Mining / Stats
Specialist
l
l
l
Lead Tester
l
l
l
Security Manager
m
m
t
BI Architect / App
Developer / Portal
Developer
Technical Architect /
Tech Support Specialist
m
m
m
Architekt Bazy D./
Data Modeler / DBA
Analityk Biznesowy
r
r
Lider Biznesowy Projektu
1
2
3
4
5
6
7
8
9
PLANOWANIE I ZARZĄDZANIE PROJ.
Ustal nazwę projektu
Zidentyfikuj zasoby projektowe
Przygotuj plan projektu
Przygotuj plan komunikacji
Poprowadź zespołowy kick-off i planowanie
Proces do zarządzania zakresem i zmianami
Przygotuj proces do pomiaru sukcesu
Akceptacja użytkowników/przegląd projektu
Bieżące zarządzanie projektem
t
Kierownik Projektu
ZDEFINIOWANIE PROJEKTU
1 Ocena gotowości DW/BI
2 Przygot. wstępnego zakresu projektu
3 Stworzenie biznesowego uzasadnienia
DW/BI Dyrektor /
Program Manager
Zadania
Zespoły do zadań
specjalnych
Typowe Zespoły
Coach
Sponsor Biznesowy
Biznes
Fani Front Office
t
t
t
t
t
t
LEGENDA:
l Odpowiedzialny
m Zaangażowany
t Dostarcza informacje
r Informowany o wynikach
Źródło: Ralph Kimball - The Data Warehouse Lifcycle Toolkit
19
Zbierz Wymagania Biznesowe
Modelowanie
Wymiarowe
Projekt
Architektury
Technicznej
Planowanie
i Zarządzanie
Utrzymanie
i Rozwój
Projekt
Fizyczny
Wymagania
Biznesowe
Plan
Wdrożenia/Urucho
mienia
Projekt Obszaru
Przejściowego
Specyfikacja
Aplikacji
Użytkownika
Wymagania biznesowe mają wpływ na
wszystkie elementy projektu
20
Zbierz Wymagania
#
Definicja Wymagań Biznesowych
1
Przygotuj zespół prowadzący wywiady
2
Wybierz rozmówców
3
Przygotuj plan wywiadów
4
Przygotuj kwestionariusze/skrypty wywiadów
5
Przygotuj rozmówcę
6
Przeprowadź wywiad z biznesem
BA
7
Przeprowadź wywiad nt. jakości danych w systemach
BA
8
Opublikuj wywiady i wraz z informacja zwrotną
BA
9
Przeanalizuj wyniki rozmów
BA
Odpowiedzialny
PM
PM, BPL
PM, BPL, BA
BA
PM, PBL
10 Udokumentuj wyniki
BA
11 Udostępnij rezultaty wymagań(wymagane produkty)
BA
12 Nadaj priorytety i zrewiduj zakres projektu
PM, BPL
13 Uzyskaj akceptację użytkowników
PM, BPL
PM – Kierownik Projektu
PBL – Lider Biznesowy Projektu
BA – Analityk Biznesowy
21
Przejdź do Następnych Faz Projektu
Projekt
Infrastruktury
Planowanie
Projektu
Zdefiniowanie
Wymagań
Biznesowych
Modelowanie
Bazy
Specyfikacja
Aplikacji
Użytkownika
Wybór
Platformy
i Instalacja
Projekt
Fizyczny Bazy
Danych
Projekt
Obszaru
Przejściowego
i Programow.
Uruchomienie
Utrzymanie
i Rozwój
Budowa Aplikacji
Użytkownika
Zarządzanie Projektem
22
I Odnieś Sukces
Model
Danych
Zrozumienie
Potrzeb
Biznesu
Nowoczesna
technologia
Możliwość
Dalszego
Rozwoju
1
2
3
4
Koordynacja
Integracja
Kompletność
23
Literatura
R. Kimball – The Data Warehouse Lifecycle Toolkit
R. Kimball, M. Ross - The Data Warehouse Toolkit, 3rd Edition
Kimball & Caserta -The Data Warehouse ETL Toolkit
Kimball Dimensional Modeling Techniques
24
Pytania
25