Elementy modelowania matematycznego

Elementy modelowania
matematycznego
Wstęp
Jakub Wróblewski
[email protected]
http://zajecia.jakubw.pl/
TEMATYKA PRZEDMIOTU
• Modelowanie danych (ilościowe):
– Metody statystyczne: estymacja parametrów modelu,
testowanie hipotez statystycznych
– Analiza dyskryminacyjna
– Problemy decyzyjne i klasyfikatory, eksploracja danych
•
•
•
•
Programowanie liniowe i nieliniowe
Modele kolejkowe
Modele Markowa
Modelowanie metodami teorii gier
1
LITERATURA
Statystyka i eksploracja danych:
• Koronacki, J. Mielniczuk. Statystyka dla studentów kierunków
technicznych i przyrodniczych. WNT, Warszawa 2001.
• P. Cichosz. Systemy uczące się. WNT, Warszawa 2000.
• A. Webb. Statistical Pattern Recognition. Wiley, 2002.
• J. Jakubowski, R. Sztencel. Wstęp do teorii prawdopodobieństwa.
SCRIPT, Warszawa 2001.
MODELOWANIE DANYCH
- RÓŻNE ASPEKTY
Dane opisują pewne aspekty (numeryczne lub jakościowe)
pewnego badanego przez nas zjawiska. Analiza danych
prowadzona jest w celu znalezienia / zweryfikowania /
dostrojenia modelu tego zjawiska. Znajomość modelu
pozwala na:
– opis zjawiska w sposób zrozumiały dla człowieka,
– określenie pewnych cech zjawiska,
– przewidywanie wartości nieznanych (np. przyszłych)
związanych z danym zjawiskiem.
2
PRZYKŁADY
Mamy dane w postaci rekordów w bazie danych CRM
(opisujących naszą wiedzę o klientach hurtowni butów i ich
zakupach).
Budowa modelu danych może mieć na celu m.in.:
– zaprezentowanie raportu o liczbie klientów w różnych
przedziałach obrotów,
– sprawdzenie hipotezy, że miejsce zamieszkania klienta nie
wpływa na tygodniową liczbę wizyt w hurtowni,
– odnalezienie towarów, które są często kupowane jednocześnie,
– przewidywanie, który klient zamierza zrezygnować z naszych
usług.
NARZĘDZIA ANALIZY DANYCH
• Statystyka matematyczna
– metody estymacji
– testowanie hipotez
• Odkrywanie wiedzy w bazach danych
– techniki wstępnej obróbki danych
– tworzenie nowych cech i ich selekcja
• Eksploracja danych
– techniki wykorzystywane w KDD
– metody reprezentacji wiedzy (modelu danych)
3
RÓŻNE PODEJŚCIA
,
etru x
m
a
r
a
p
acja
tez
estym anie hipo
w
o
test
dane
isty
w
y
z
ec
kt rz
e
i
b
o
Statystyka
Rodzina
modeli (x)
Model
probabilistyczny
obserwacja,
pomiar
wnioski
W statystyce zakładamy, że model probabilistyczny należy do
pewnej rodziny (np. sparametryzowanej). Analizujemy dane, by
wybrać najlepszą wartość parametru (najwłaściwszy model).
RÓŻNE PODEJŚCIA
Eksploracja danych (klasyfikacja)
delu
a mo
w
o
d
bu
dane
y
wist
y
z
c
e
kt rz
obie
Model
danych
obserwacja,
pomiar
wnioski (klasyfikator)
W metodach eksploracji danych stosujemy znacznie łagodniejsze
założenia. Kształt modelu jest w większym stopniu dopasowany do
danych, przez co jest bardziej złożony (np. drzewo decyzyjne).
4
ZAŁOŻENIA
Analiza danych przyjmuje pewne, jawne lub ukryte,
założenia dotyczące danych.
– Znana próbka jest reprezentatywnym podzbiorem całości.
To zakładamy prawie zawsze.
– Istnieje pewien rozkład prawdopodobieństwa (stały w
czasie), z którego pochodzą próbki danych. To umożliwia
stosowanie aparatu statystycznego i probabilistycznego;
niektóre sytuacje zmienne w czasie (np. notowania giełdowe)
też możemy modelować.
– Dane mają pewien konkretny rozkład prawdopodobieństwa
(np. normalny). To silne założenie, często stosowane w
statystyce. Możemy szacować, na ile konkretne dane pasują do
tego założenia, a także estymować parametry tego rozkładu.
ZAŁOŻENIA
Metody eksploracji danych konstruują model bez zakładania
globalnego rozkładu prawdopodobieństwa (por. sieci neuronowe).
Zamiast tego posługują się zwykle zasadą:
– Jeżeli dane mogą być opisane (zamodelowane) na kilka
różnych sposobów, to za najbliższy rzeczywistości (najbardziej
pożądany) uznajemy model najprostszy. (Zasada minimalnego
opisu.)
Czy można całkowicie uniknąć założeń?
Twierdzenie „No free lunch”: Chcemy na podstawie danych przykładów zgadnąć, według
jakiej zasady są one klasyfikowane do dwóch klas decyzyjnych, a nastepnie zastosować tę
zasadę do nowych danych.
Wówczas jeżeli nie przyjmiemy żadnych założeń odnośnie zasad klasyfikacji, to dowolnie
zaawansowany algorytm klasyfikujący będzie działał równie (nie)sprawnie, jak klasyfikator
czysto losowy.
5
PODSTAWOWE POJĘCIA
Dane do analizy zwykle będziemy przechowywali w tablicach
danych, w których kolejne wiersze odpowiadają obiektom
(obserwacjom).
Obiekty składają się na próbę (populację, zbiór treningowy).
Obiekty opisane są określonymi z góry cechami (atrybutami),
mogą też dzielić się na pewne kategorie (klasy decyzyjne).
Wartości atrybutów
(cechy obiektów)
o1
o2
o3
...
12.3 AAC 1 -5
6.87 AAA 1 -2
0.12 BBB 0 0
...
1
0
0
...
Decyzje
(kategorie obiektów)
Obiekty
PODSTAWOWE POJĘCIA
Cechy (atrybuty) mogą być:
• ilościowe (numeryczne, ciągłe)
np. waga, wiek klienta, dochód, wynik pomiaru napięcia, ...
• jakościowe (symboliczne, dyskretne)
np. kolor samochodu, płeć, położenie geograficzne (miasto)
Cechy ilościowe można zamienić na jakościowe (i odwrotnie).
6
PRZYKŁAD PROBLEM DECYZYJNY
Analizujemy bazę danych klientów salonu samochodowego.
Mamy dany opis osób, którzy wystąpili o przyznanie karty stałego
klienta. Chcielibyśmy przewidzieć, którzy klienci mogliby być w
przyszłości również zainteresowani.
Zasada działania: badamy, jakie cechy wyróżniają przypadki
„pozytywne” (klienci z kartami) od „negatywnych” (pozostali).
Budujemy model danych.
Wartości atrybutów
(cechy klientów)
o1
o2
o3
...
12.3 AAC 1 -5
6.87 AAA 1 -2
0.12 BBB 0 0
...
1
0
0
...
Decyzje
(klient pozytywny/negatywny)
Obiekty
(klienci)
PRZYKŁAD WYKORZYSTANIE MODELU
Tworzymy model danych (np. statystyczny) i wykorzystujemy go
do przewidywania cechy decyzyjnej dla nowych obiektów.
Dane treningowe (znana decyzja)
o1
o2
o3
...
12.3 AAC 1 -5
6.87 AAA 1 -2
0.12 BBB 0 0
...
1
0
0
...
bud
owa
mo
del
u
Model danych
- dyskryminacja liniowa
- drzewo decyzyjne
- sieć neuronowa
- ...
Dane testowe (nieznana decyzja)
o1
o2
o3
...
25.1 BBA 0 -1
15.8 BBB 1 -2
7.6 BAB 1 -4
...
?
?
?
...
przewidywana decyzja
dla danych testowych
7
PROSTY MODEL DANYCH:
przybliżamy rozkład histogramem
• Modelem danych będzie
pewien rozkład
prawdopodobieństwa.
Przybliżamy jego wykres
histogramem.
• Oś pozioma: wartość atrybutu
podzielona na przedziały.
• Oś pionowa: częstość (liczba
obiektów w danym
przedziale).
• Kształt histogramu zależy od
szerokości przedziałów i
położenia ich granic.
4
4,5
5
5,5
6
6,5
7
7,5
8
35
30
25
20
15
10
5
0
4,5
5
5,5
6
6,5
7
7,5
8
4,8
5,3
5,8
6,3
6,8
7,3
7,8
8,3
40
35
30
25
20
15
10
5
0
20
18
16
14
12
10
8
6
4
2
0
INNE STATYSTYKI PRÓBY
wskaźniki położenia
• Średnia
x=
1 n
∑ xi
n i =1
2
0
0
1
2
3
4
5
6
7
8
• Mediana i kwantyle
Kwantyl rzędu p∈(0,1) to taka wartość qp, że (pn) elementów
próby ma wartość mniejszą od qp.
Kwantyl rzędu 0,5 to mediana.
Kwantyle rzędu 1/4, 2/4 i 3/4 nazywane są kwartylami Q1, Q2, Q3.
Kwartyle mogą posłużyć do wykonania wykresu ramkowego.
8
INNE STATYSTYKI PRÓBY
wskaźniki rozproszenia
• Wariancja
s2 =
1 n
(xi − x )2
∑
n − 1 i =1
• Odchylenie standardowe (pierwiastek z wariancji)
• Odchylenie przeciętne
1 n
d1 =
n
∑ x −x
i
i =1
• Rozstęp międzykwartylowy IQR = Q3 - Q1
2
0
0
1
2
3
4
5
6
7
8
9