Hurtownie danych i business inteligence

Hurtownie danych
i business intelligence
Paweł Skrobanek, C-3 pok. 321
[email protected]
Wrocław 2005-2012
Plan na „dziś” :
1. Wprowadzenie do przedmiotu
(co będzie omawiane oraz jak będę
weryfikował zdobytą wiedzę
i umiejętności)
2. Hurtownie danych
3. Przykłady systemów
2/14
Wprowadzenie do przedmiotu
• strona WWW z informacjami:
http://pawel.skrobanek.staff.ict.pwr.wroc.pl
• ocena końcowa:
– kolokwium/egzamin – zestaw pytań do opracowania
(będzie dostępny w Internecie)
– przewiduję dwa terminy zaliczenia,
– ocena końcowa (na podstawie wyniku egzaminu, przy
czym wynik może wynosić 0, 0.5, 1, …, 5.5)
– ocena końcowa na podstawie wyniku egzaminu (jeśli
wynik poniżej 3.0, ocena ndst, potem zgodnie
z wynikiem); ocena z laboratorium będzie uwzględniana
3/14
na zasadzie podniesienia wyniku max o 1.
1
Wprowadzenie do przedmiotu
Bibliografia:
• R. Kimball, The Data Warehouse Toolkit, John Wiley & Sons, 1996
• M.Jarke, M.Lenzerini, Y.Vassiliou, P.Vassiliadid HURTOWNIE
DANYCH. Podstawy organizac ji i funkcjonowania, WSiP,
Warszawa2003
• S.Kozielski, B.Małysiak, P.Kasprowski, D.Mrozka, BAZY DANYCH.
Modele, technologie, narzędzia , WKŁ 2005
• Poe V., Klauer P., Brobst S.: Tworzenie hurtowni danych. WNT,
Warszawa 2000.
• http://www. dw inf oc ent er. org /
Źródła Internet ow e oraz uzupełnienie – będą podawane.
4/14
Hurtownie danych
5/14
Hurtownia danych (ang. data warehouse)
1) jako wyższy stopień abstrakcji niż relacyjna baza
danych,
2) jako platforma integrująca dane pochodzące
z różnych źródeł, przy czym:
- dane mogą być w postaci zagregowanej lub
wybiórcze,
- architektura optymalizowana pod kątem
określonych kryteriów, np. szybkości dostępu do
informacji (przetwarzania), analizy zawartości
3) zestaw danych i narzędzi do wspomagania decyzji
biznesowych
Hurtownie danych
PRZETWARZANIE
OLTP
(Online Transaction Processing)
- przetwarzanie transakcyjne
OLAP
(Online Analytical Processing)
- przetwarzanie analityczne
6/14
2
Hurtownie danych
Eksploracja danych (ang. data mining)
• zautomatyzowany proces odkrywania wiedzy oraz
zależności występujących w danych,
• konstrukcja tego procesu z wykorzystaniem:
– metod statystycznych,
– sieci neuronowych,
– sztucznej inteligencji,
– algorytmów ewolucyjnych,
– logiki rozmytej, itd.
• problem: właściwe zaplanowanie oraz ocena jakości
7/14
Hurtownie danych
Eksploracja danych (ang. data mining)
• Zastosowania:
– wspomaganie diagnostyki medycznej,
– wspomaganie sprzedaży (np. odkrywanie zależności typu:
jeśli klient kupuje szampana, to często także bombonierkę
lub jeśli kupi pampersy i jest mężczyzną, to kupi piwo),
– analiza operacji bankowych – dostosowanie oferty do
określonych grup klientów,
– ustalanie profilu np. nieuczciwego klienta
(np. energetyka),
8/14
Hurtownie danych
Bussines intelligence
„Oprogramowanie wspomagające procesy
podejmowania decyzji poprzez analizę danych
zgromadzonych w systemach informatycznych .
Służy do ekstrapolacji przyszłości i estymacji stanu
obecnego.”
[źródło: http://pl.wikipedia.org/wiki/Business_intelligence]
9/14
3
Hurtownie danych
Typowe problemy podczas tworzenia HD:
• właściwe i dogłębne zrozumienie problemu
i celu analizy (analiz)
• zrozumienie modelowanej rzeczywistości
(m.in. zrozumienie dostępnych danych,
właściwa identyfikacja potrzeb, budowa
modelu),
• dobór narzędzi,
10
/14
Hurtownie danych
11
/14
Typowe problemy podczas tworzenia HD:
• różnorodność źródeł informacji (zarówno
baz danych, jak i sprzętu, parametrów
transmisji itp.),
• opracowanie właściwej architektury
(np. opracowanie wielopoziomowych
agregacji, właściwe zasilanie HD, kontrola
nadmiarowości i/lub brakujących danych,
problemy z ograniczeniami czasowymi)
Hurtownie danych
Typowe problemy podczas tworzenia HD:
• opracowanie mechanizmów oraz formy
prezentacji wyników – często dla osób nie
będących informatykami
12
/14
4
Hurtownie danych
13
/14
Wybrane zastosowania:
• prezentacja bieżącego stanu firmy,
• wspomaganie decyzji biznesowych – dostarczanie
danych oraz mechanizmów do szybkiego
pozyskiwania informacji oraz podejmowania
działań,
• wykrywanie oszustw,
• przewidywanie zachowań rynku (np. zarządzanie
zapasami),
• Lepsze dostosowanie oferty do klienta,
• Analiza ryzyka, np. kredytowego.
Przykłady systemów
1) MTERIAŁY na CD.
2) Strony do przejrzenia
http://www.comarch.pl/files_pl/file_1867/2pgs_Efektywny_system_wspomagania
_decyzji_oparty_o_controllingowa_hurtownie_danych_2008_06_2065.pdf
http://intelligententerprise.informationweek.com/info_centers/data_warehousing/showArticle.jhtm
l?articleID=171000647
http://etl-tools.info/pl/
http://docs.oracle.com/cd/B10501_01/server.920/a96520/c oncept.htm
14
/14
PRZYKŁADY ZASTOSOWAŃ
Inne
ZAGADNIENIE
Piwo najlepiej umieszczać obok pampersów
(supermarkety), szczególnie w weekend.
Dlaczego?
PRZYKŁAD
Ponieważ mężczyźni kupujący pampersy są
skłonni zakupić również piwo (zwiększenie
sprzedaży piwa).
d1/3
5
PRZYKŁADY ZASTOSOWAŃ
Inne
ZAGADNIENIE
Do czego może przydać się wiedza o tym, że 5%
segment klientów dostarcza 60% odpowiedzi na
zapytania firmy?
PRZYKŁAD
Do tego, żeby tylko do tej grupy kierować
w przyszłości pytania (redukcja kosztów).
d2/3
PRZYKŁADY ZASTOSOWAŃ
Inne
ZAGADNIENIE
Do czego może przydać się analizowanie danych
z portali społecznościowych?
PRZYKŁAD
Do szybkich reakcji oddelegowanych pracowników
na „złe opinie o produktach lub firmie”.
d3/3
6