Entropia w klasyfikacji

Transkrypt

Quadratic Renyi’s Entropy: zastosowania w klasyfikacji
Wojciech Czarnecki
Jacek Tabor
GMUM
Kraków 2014
Wojciech Czarnecki, Jacek Tabor (GMUM)
Kraków 2014
1 / 34
1
Motywacja
Teoria informacji
Estymacja rozkładu
2
Teoria Informacji
Wyprowadzenie entropii
Własności klasycznej entropii
Średnie
Entropia Renyi’ego
3
Statystyka
Rozkład normalny
Metoda najwiekszej
˛
wiarygodności
Estymacja jadrowa
˛
Cauchy-Schwarz Divergence
4
Główny cel
Kraków 2014
2 / 34
Motywacja
Teoria informacji
Po co nam teoria informacji (entropia)?
[J. Principe „Information Theoretic Learning”]:
The common problem faced by many data processing professionals is HOW
TO BEST EXTRACT THE INFORMATION CONTAINED IN DATA . ... Data hides,
either in time structure or in spatial redundancy, important clues to answer the
information-processing questions we pose. ... Therefore the pressure to
DISTILL INFORMATION from data will mount at an increasing pace in the future,
and old ways of dealing with this problem will be forced to evolve and adapt to
the new reality.
Kraków 2014
3 / 34
Motywacja
Teoria informacji
Gdzie sie˛ stosuje?
kodowanie i kompresja (Shannon, Huffman, etc)
Rissanen: MDLP (minimum description length principle) – konstrukcja
modeli
klastrowanie (Google/entropy clustering/: około 7 750 000 wyników,....,
CEC)
klasyfikacja (decision trees)
EM (expectation maximization)
ICA (independent component analysis)
W zasadzie w każdej działce nauczania maszynowego teoria informacji
znajduje zastosowania.
Kraków 2014
4 / 34
Motywacja
Teoria informacji
Podstawowe hasła które sie˛ pojawia˛
teoria informacji
entropia Shannona h
entropia krzyżowa H ×
dywergencja Kullbacka-Leiblera DKL
joint entropy H(X , Y )
mutual information I
entropia Renyi’ego
Cross Information Potential (ip× )
dywergencja Cauchy’ego-Schwarza DCS
Kraków 2014
5 / 34
Motywacja
Estymacja rozkładu
Mamy wylosowana˛ próbk˛e, i na podstawie tej próbki chcemy mieć pojecie
˛
o
prawdziwym rozkładzie (umiejetność
˛
generowania z prawdziwego rozkładu).
Przydaje sie˛ w:
kompresja danych (do kompresji, potrzebujemy mieć prawd.)
generowanie nowych danych z o tym samym rozkładzie (uczenie sieci,
ekonomia - przeprowadzanie symulacji: Iwona Żerda)
głebokie
˛
nauczanie (Algorytm Gibbsa-Hastingsa: Igor)
Metoda weryfikacyjna: five-fold technique (uczymy sie˛ na podstawie zbioru
uczacego
˛
czegoś o danych, i sprawdzamy czy nauczyliśmy sie˛ dobrze
weryfikujac
˛ wnioski na zbiorze testujacym).
˛
Kraków 2014
6 / 34
Motywacja
Estymacja rozkładu
Podstawowe hasła które sie˛ pojawia˛
histogram
estymacja jadrowa
˛
(kernel estimation)
kernel width
metoda najwiekszej
˛
wiarygodności
gaussian mixture models
EM (expectation maximization)
Kraków 2014
7 / 34
Teoria Informacji
Wyprowadzenie Entropii I: entropia Shannona
Shannon: lata 50 poprzedniego wieku.
[T. Cover „Elements of Information Theory”]
Mamy alfabet źródłowy S (o mocy m) i alfabet kodowy A = {0, 1}. Chcemy
przesłać tekst napisany w alfabecie źródłowym, ale nasz kanał informacyjny
pozwala na przesyłanie tylko A. Czyli chcemy każdy element z S wyrazić za
pomoca˛ słów z A∗ (niepuste słowa o skończonej długości).
Kraków 2014
8 / 34
Teoria Informacji
Wyprowadzenie Entropii I: entropia Shannona
Shannon: lata 50 poprzedniego wieku.
[T. Cover „Elements of Information Theory”]
Mamy alfabet źródłowy S (o mocy m) i alfabet kodowy A = {0, 1}. Chcemy
przesłać tekst napisany w alfabecie źródłowym, ale nasz kanał informacyjny
pozwala na przesyłanie tylko A. Czyli chcemy każdy element z S wyrazić za
pomoca˛ słów z A∗ (niepuste słowa o skończonej długości).
Definicja
Przez funkcje˛ kodujac
˛ a˛ (kodowanie) rozumiem dowolna˛ funkcje˛ ϕ : S → A∗ .
Kodowanie nazywamy nieosobliwym jeżeli jest iniektywne, to znaczy jeżeli
dwa różne elementy kodowane sa˛ różnymi kodami (słowamu). Jeżeli mamy
wiele, to wtedy oddzielamy znakiem specjalnym (zazwyczaj przecinkiem,
spacja˛ badź
˛ średnikiem). Ale to nie jest wygodne, bo musimy używać
dodatkowego symbolu.
Kraków 2014
8 / 34
Teoria Informacji
Definicja
Rozszerzenie kodu to odwzorowanie ϕ : S ∗ → A∗ dane wzorem
ϕ(s1 s2 . . . sk ) := ϕ(s1 )ϕ(s2 ) . . . ϕ(sk ).
Kodowanie (kod) jest jednoznacznie dekodowalne jeżeli jego rozszerzenie
jest nieosobliwe. Innymi słowy, kodowanie jest nieosobliwe, jeżeli majac
˛ słowo
w = w1 w2 . . . wK (gdzie wi to słowa kodowe) możemy jednoznacznie
odzyskać jego rozkład na w1 ; w2 ; . . . ; wk (przykład: kody prefiksowe).
Pytanie, jeżeli mamy dany alfabet, i chcemy zrealizować kod o zadanej
długości - kiedy nam sie˛ uda?
Kraków 2014
9 / 34
Teoria Informacji
Definicja
Rozszerzenie kodu to odwzorowanie ϕ : S ∗ → A∗ dane wzorem
ϕ(s1 s2 . . . sk ) := ϕ(s1 )ϕ(s2 ) . . . ϕ(sk ).
Kodowanie (kod) jest jednoznacznie dekodowalne jeżeli jego rozszerzenie
jest nieosobliwe. Innymi słowy, kodowanie jest nieosobliwe, jeżeli majac
˛ słowo
w = w1 w2 . . . wK (gdzie wi to słowa kodowe) możemy jednoznacznie
odzyskać jego rozkład na w1 ; w2 ; . . . ; wk (przykład: kody prefiksowe).
Pytanie, jeżeli mamy dany alfabet, i chcemy zrealizować kod o zadanej
długości - kiedy nam sie˛ uda?
Twierdzenie (Nierówność Krafta)
Alfabet źródłowy S o m elementach, da sie˛ zakodować jednoznacznie
dekodowalnie za pomoca˛ słów zbudowanych z A = {0, 1} o długościach
l1 , . . . , lm wtw. gdy
m
X
2−li ≤ 1.
i=1
Kraków 2014
9 / 34
Teoria Informacji
Wartość oczekiwana długości słowa – definicja
entropii
Załóżmy, że mamy rozkład prawdopodobieństwa na S = {s1 , . . . , sm }, czyli
litera si pojawia sie˛ z prawdopodobieństwem pi = p(si ) (zakładamy
dodatkowo, że źródło ma brak pamieci,
˛ to znaczy, że to co pojawi sie˛
nastepne
˛
nie zależy od tego co pojawiło sie˛ poprzednio).
Chcemy kodować zużywajac
˛ statystycznie/średnio minimalna˛ ilość pamieci.
˛
Załóżmy, że mamy dany alfabet kodujacy
˛ A i iniektywna˛ funkcje˛ kodujac
˛ a˛
ϕ : S → A∗ (przyjmujemy li to długość słowa ϕ(si )).
Wartość średnia (oczekiwana) długości słowa kodujacego
˛
jest oczywiście
dana wzorem
X
L :=
p i li .
i
Pytanie jak dobrać wartości li by minimalizować wartość oczekiwana˛ ilości
pamieci.
˛
Kraków 2014
10 / 34
Teoria Informacji
Ponieważ na podstawie nierówności Krafta wiemy jakie długości sa˛
dopuszczalne, dostajemy problem minimalizacji
X
L(l1 , . . . , ln ) :=
p i li
i
przy warunku
X
2−li ≤ 1.
i
Zapominamy o tym, że sa˛ całkowite (dostaniemy przybliżenie), i wtedy
możemy zwiekszyć
˛
L zakładajac
˛ równość. Otrzymaliśmy wiec
˛ nastepuj
˛ acy
˛
problem:
Problem (Problem optymizacyjny)
Znaleźć minimum
L(r1 , . . . , rn ) :=
X
p i ri
i
przy warunku
P
i
2−ri = 1.
Kraków 2014
11 / 34
Teoria Informacji
Dowód.
Rozwiazanie:
˛
wykorzystamy metode˛ mnożników Lagrange’a:
X
X
J(r1 , . . . , rn ; λ) =
pi ri + λ(
2−ri − 1).
i
i
Różniczkujac
˛ dostajemy
∂J
= pi − λ2−ri ln 2,
∂ri
i przyrównujac
˛ do zera dostajemy
2−ri = pi /(λ ln 2).
Podstawiajac
˛ do warunku na λ, dostajemy λ = 1/ ln 2, czyli
pi = 2−ri ,
dajac
˛ optymalne kody dla r̄i = − log2 pi i wartość oczekiwana˛ długości słowa
kodujacego
˛
X
X
pi r̄i = −
pi log2 pi .
i
i
Kraków 2014
12 / 34
Teoria Informacji
Definicja Entropii Shannona
Definicja (Definicja Entropii Shannona)
W konsekwencji dostajemy definicje˛ entropii dla ciagu
˛ prawdopodobieństw
(pi )
X
H((pi )i ) :=
−pi log2 pi .
i
Rysunek: Entropia dla p, 1 − p.
Kraków 2014
13 / 34
Teoria Informacji
Zdarzenia warunkowe
Niech K oznacza zbiór indeksów. Załóżmy, że źródło wysyła litery
S = (sk )k ∈K z prawdopodobieństwami (pk )k ∈K .
Dla podzbioru L ⊂ K rozpatrujemy zdarzenie polegajace
˛ na tym, że wiemy, że
zaszło zdarzenie SL odpowiadajacemu
˛
któremuś z indeksów z L (czyli
wylosowaliśmy która˛ z liter (sl )l∈L ).
Prawdopodobieństwo tego, że wylosowaliśmy
któraś
˛ z literek o indeksie l ∈ L
P
(zaszło L) to oczywiście p(L) = l∈L pl .
Prawdopodobieństwo wylosowania literki l (o ile wiemy, że zaszło L –
prawdopodobieństwo warunkowe) wynosi pl /p(L).
Kraków 2014
14 / 34
Teoria Informacji
Zdarzenia warunkowe
Niech K oznacza zbiór indeksów. Załóżmy, że źródło wysyła litery
S = (sk )k ∈K z prawdopodobieństwami (pk )k ∈K .
Dla podzbioru L ⊂ K rozpatrujemy zdarzenie polegajace
˛ na tym, że wiemy, że
zaszło zdarzenie SL odpowiadajacemu
˛
któremuś z indeksów z L (czyli
wylosowaliśmy która˛ z liter (sl )l∈L ).
Prawdopodobieństwo tego, że wylosowaliśmy
któraś
˛ z literek o indeksie l ∈ L
P
(zaszło L) to oczywiście p(L) = l∈L pl .
Prawdopodobieństwo wylosowania literki l (o ile wiemy, że zaszło L –
prawdopodobieństwo warunkowe) wynosi pl /p(L).
W konsekwencji, średnia długość kodu przypadajac
˛ a˛ na kodowanie którejś z
liter o indeksie z L wynosi
H(SL ) :=
X
l∈L
−
pl
log2 pl .
p(L)
Kraków 2014
14 / 34
Teoria Informacji
Uśrednianie informacji
Przypominam: Ś REDNIA ARYTMETYCZNA . p1 procent pracowników załogi
zarabia r1 , ... , pk procent zarabia zarabia rk . Średnie zarobki r
wynosza˛
r = p1 r1 + . . . + pk rk .
Kraków 2014
15 / 34
Teoria Informacji
Uśrednianie informacji
Przypominam: Ś REDNIA ARYTMETYCZNA . p1 procent pracowników załogi
zarabia r1 , ... , pk procent zarabia zarabia rk . Średnie zarobki r
wynosza˛
r = p1 r1 + . . . + pk rk .
Jeżeli mamy rozbicie K na sume˛ rozłaczn
˛ a˛ zdarzeń L1 , . . . , Lk , to możemy
rozpatrzyć średnia˛ długość kodu H(SLi ) użyta˛ do kodowania przy zdarzeniu
Li . Widać, że całkowita ilość informacji (długość kodu) H(S) jest średnia˛
arytmetyczna˛ ilości informacji niesionej przez poszczególne zdarzenia:
H(S) = p(L1 ) · H(SL1 ) + . . . + p(Lk ) · H(SLk ).
Kraków 2014
15 / 34
Teoria Informacji
Informacja niesiona przez zdarzenia niezależne
Zajmijmy sie˛ teraz iloczynem kartezjańskim dwóch rozkładów. Majac
˛ rozkłady
p = (p1 , . . . , pn ) (odpowiada zdarzeniu P) i q = (q1 , . . . , qk ) (odpowiada
zdarzeniu Q), rozkład prawdopodobieństwa zdarzenia (P, Q) (przy założeniu
niezależności tych zdarzeń) jest dany wzorem
(pi · qj )i,j .
Oznaczam ten rozkład wzorem P ∗ Q
Kraków 2014
16 / 34
Teoria Informacji
Informacja niesiona przez zdarzenia niezależne
Zajmijmy sie˛ teraz iloczynem kartezjańskim dwóch rozkładów. Majac
˛ rozkłady
p = (p1 , . . . , pn ) (odpowiada zdarzeniu P) i q = (q1 , . . . , qk ) (odpowiada
zdarzeniu Q), rozkład prawdopodobieństwa zdarzenia (P, Q) (przy założeniu
niezależności tych zdarzeń) jest dany wzorem
(pi · qj )i,j .
Oznaczam ten rozkład wzorem P ∗ Q
Okazuje sie,
˛ że informacja wnoszona przez przypadek gdy zaszła para
zdarzeń (przy założeniu ich niezależności), jest równa sumie informacji
wnoszonej przez każde z tych zdarzeń z osobna:
H(P ∗ Q) = H(P) + H(Q).
Kraków 2014
16 / 34
Teoria Informacji
Średnie
Sposób uśredniania informacji
Ś REDNIA ARYTMETYCZNA . p1 procent załogi zarabia r1 , ... , pk procent
zarabia rk . Średnie zarobki r wynosza˛
r = p1 r1 + . . . + pk rk .
Kraków 2014
17 / 34
Teoria Informacji
Średnie
r = p1 r1 + . . . + pk rk .
Ś REDNIA HARMONICZNA . p1 procent drogi jedziemy z predkości
˛
a˛ r1 , ... , pk z
rk . Wtedy średnia predkość
˛
r na trasie wynosi
r = 1/(p1 /r1 + . . . + pk /rk ).
Kraków 2014
17 / 34
Teoria Informacji
Średnie
r = p1 r1 + . . . + pk rk .
Ś REDNIA HARMONICZNA . p1 procent drogi jedziemy z predkości
˛
a˛ r1 , ... , pk z
rk . Wtedy średnia predkość
˛
r na trasie wynosi
r = 1/(p1 /r1 + . . . + pk /rk ).
Ś REDNIA POT EGOWA
˛
RZ EDU
˛
3. Mamy p1 procent kuleczek z plasteliny o
promieniu r1 , ... , pk procent kuleczek o promieniu rk . Zlepiamy te kulki razem
i lepimy taka˛ sama˛ sumaryczna˛ ilość kuleczek, ale o jednakowym promieniu
r . Wtedy
r = (p1 r13 + . . . + pk rk3 )1/3 .
Kraków 2014
17 / 34
Teoria Informacji
Średnie
Bardziej abstrakcyjne spojrzenie
Wszystkie powyższe średnie można uzyskać biorac
˛ funkcje˛ g i
rozpatrujac
˛
g −1 (p1 g(r1 ) + . . . + pk g(rk )).
Kraków 2014
18 / 34
Teoria Informacji
Średnie
Bardziej abstrakcyjne spojrzenie
Wszystkie powyższe średnie można uzyskać biorac
˛ funkcje˛ g i
rozpatrujac
˛
g −1 (p1 g(r1 ) + . . . + pk g(rk )).
A RYTMETYCZNE : g(r ) = r
H ARMONICZNA : g(r ) = 1/r
P OT EGOWA
˛
RZ EDU
˛
3: g(r ) = r 3
W pewnym sensie jest to jedyna „naturalna” metoda generowania
średnich.
Kraków 2014
18 / 34
Teoria Informacji
Wyprowadzenie Entropii Renyi’ego
Szukamy teraz takich średnich g i funkcji entropii HR by zachodziły dwa
warunki.
1. Informacja niesiona przez całe zdarzenie jest równa średniej informacji
niesionej przez poszczególne zdarzenia:
HR (S) = g −1 p(L1 ) · g(HR (SL1 )) + . . . + p(Lk ) · g(HR (SLk )) .
2. Informacja niesiona przez pare˛ zdarzeń niezależnych jest suma˛ informacji
niesionych przez każde z tych zdarzeń:
HR (P ∗ Q) = HR (P) + HR (Q).
Kraków 2014
19 / 34
Teoria Informacji
Definicja Entropii Renyi’ego
Renyi pokazał, że jedyne rozwiazanie
˛
powyższego (modulo transformacje
afiniczne które nie zmieniaja˛ wartości średniej) jest dane przez
gα (x) =
2(α−1)x − 1
dla α 6= 1,
(α − 1) ln 2
g1 (x) = x.
RYSUNEK.
Kraków 2014
20 / 34
Teoria Informacji
Kraków 2014
21 / 34
Teoria Informacji
W konsekwencji w naturalny sposób otrzymujemy:
Definicja (Entropia Renyi’ego rz˛edu α)
Dla α 6= 1 kładziemy
Hα (p1 , . . . , pk ) =
X
1
log(
piα ).
1−α
i
Dla α = 1 kładziemy
Hα (p1 , . . . , pk ) =
X
−pi log(pi ).
i
Łatwo pokazać, że Hα (P) → H1 (P) = H(P) przy α → 1.
Kraków 2014
22 / 34
Teoria Informacji
Przykład zastosowania
Drzewa decyzyjne.
[T. Maszczyk, W. Duch „Comparison of Shannon, Renyi and Tsallis Entropy
used in Decision Trees”, Artificial Intelligence and Soft Computing–ICAISC
2008, Springer]
Porównania stosowania różnych entropii w drzewach decyzyjnych. Okazuje
sie,
˛ że przydaja˛ sie˛ różne (cytat skrócony):
For the Colon dataset peak accuracy is achieved for Renyi entropy with α = 2, with
specificity (accuracy of the second class) significantly higher than for the Shannon
case, and with smaller variance. For DLBCL Renyi entropy with α in the range
1.1 − 1.3 give the best results, improving both specificity and sensitivity of the
Shannon measure. For the Leukemia data best Renyi result for α = −0.1, around
88.5 ± 2.4 is significantly better than Shannon’s 81.4 ± 4.1.
Kraków 2014
23 / 34
Teoria Informacji
Entropia różniczkowa
Przechodzac
˛ w definicji entropii, analogicznie jak w całce Riemanna, do
granicy, otrzymujemy pojecie
˛
entropii różniczkowej dla rozkładu
prawdopodobieństwa o gestości
˛
f (x).
Definicja (Entropia różniczkowa Renyi’ego rz˛edu α)
Dla α 6= 1 kładziemy
Hα (f ) =
1
log(
1−α
Z
f (x)α dx).
Dla α = 1 kładziemy
Z
Hα (f ) =
−f (x) log(f (x))dx.
Kraków 2014
24 / 34
Statystyka
Rozkład normalny
Zaczynamy statystyk˛e
Główny rozkład w statystyce to rozkład normalny N(m, σ 2 ), gdzie m to
wartość średnia, a σ 2 wariancja. Gestość:
˛
N(m, σ 2 ) = √
1
2πσ
exp(−
(x − m)2
).
2σ 2
Kraków 2014
25 / 34
Statystyka
Rozkład normalny
Entropia dla rozkładu normalnego
Entropia Renyi’ego rozkładu normalnego:
Z
1
1
(x − m)2 2
Hα (N(m, σ )) =
log
) .
exp(−
1−α
(2πσ 2 )α
2σ 2 /α
Cz˛esty trik polega na wykorzystaniu tego, że rozkład normalny całkuje sie˛ do
jedynki.
Kraków 2014
26 / 34
Statystyka
Rozkład normalny
Entropia dla rozkładu normalnego
Entropia Renyi’ego rozkładu normalnego:
Z
1
1
(x − m)2 2
Hα (N(m, σ )) =
log
) .
exp(−
1−α
(2πσ 2 )α
2σ 2 /α
Cz˛esty trik polega na wykorzystaniu tego, że rozkład normalny całkuje sie˛ do
jedynki.
PRZEPROWADZIĆ WYPROWADZENIE NA TABLICY.
Kraków 2014
26 / 34
Statystyka
Metoda najwiekszej
˛
wiarygodności
Maximum likelihood estimation (MLE)
Zakładamy, że mamy dwa rozkłady f i g, i mamy zbiór danych
X = (x1 , . . . , xn ). Pytamy sie,
˛ jak sprawdzić który z tych rozkładów bardziej
„pasuje” do naszego zbioru danych?
Kraków 2014
27 / 34
Statystyka
Metoda najwiekszej
˛
wiarygodności
Maximum likelihood estimation (MLE)
X = (x1 , . . . , xn ). Pytamy sie,
Idea jest bardzo prosta: wybieramy ten rozkład któremu „łatwiej” byłoby
wylosować nasze dane. W tym celu porównujemy
f (x1 ) · . . . · f (xn ) oraz g(x1 ) · . . . · g(xn ).
Zwyczajowo aby pozbyć sie˛ iloczynu, logarytmujemy:
log f (x1 ) + . . . + log f (xn ) oraz log g(x1 ) + . . . + log g(xn ).
I wybieramy ten rozkład, który ma wieksz
˛
a˛ wartość. Na tej idei oparte jest w
szczególności EM (expectation maximization).
Kraków 2014
27 / 34
Statystyka
Metoda najwiekszej
˛
wiarygodności
MLE: podejście teorio-informatyczne
X = (x1 , . . . , xn ). Pytamy sie,
Kraków 2014
28 / 34
Statystyka
Metoda najwiekszej
˛
wiarygodności
MLE: podejście teorio-informatyczne
X = (x1 , . . . , xn ). Pytamy sie,
Idea jest bardzo prosta: wybieramy ten rozkład któremu „łatwiej” byłoby
skompresować nasze dane.
Pamietamy
˛
z wyprowadzenia entropii, że optymalna długość kodu przy
kodowaniu punktu x to − log f (x). W konsekwencji porównujemy
− log f (x1 ) − . . . − log f (xn ) oraz − log g(x1 ) − . . . − log g(xn ).
I wybieramy ten rozkład, dla którego powyższa wartość jest mniejsza. Na tej
zasadzie jest na przykład zbudowany CEC.
Kraków 2014
28 / 34
Statystyka
Estymacja jadrowa
˛
Estymacja jadrowa
˛
[B. Silverman: Density Estimation for Statistics]
Mamy zbiór danych X ⊂ R. I teraz nie chcemy wybrać z jakiegoś z góry
wybranego zbioru rozkładów (nie mamy pewności/zaufania, czy akurat tego
typu rozkład tam sie˛ bedzie
˛
znajdował).
Kraków 2014
29 / 34
Statystyka
Estymacja jadrowa
˛
Estymacja jadrowa
˛
˛
znajdował).
Pomysł estymacji jadrowej
˛
jest bardzo prosty, zastepujemy
˛
każdy punkt xi z
X = (x1 , . . . , xn ) „waskim”
˛
rozkładem normalnym wycentrowanym w punkcie
xi
N(xi , σ 2 )
i uśredniamy/sumujemy po wszystkich punktach z X :
n
1 X
N(xi , σ 2 ).
|X |
i=1
Kraków 2014
29 / 34
Statystyka
Estymacja jadrowa
˛
Estymacja jadrowa
˛
˛
znajdował).
Pomysł estymacji jadrowej
˛
jest bardzo prosty, zastepujemy
˛
każdy punkt xi z
X = (x1 , . . . , xn ) „waskim”
˛
rozkładem normalnym wycentrowanym w punkcie
xi
N(xi , σ 2 )
i uśredniamy/sumujemy po wszystkich punktach z X :
n
1 X
N(xi , σ 2 ).
|X |
i=1
Pomysł okazuje sie˛ być bardzo fajny, tylko powstaje naturalne pytanie jak
dobrać „window width” σ? MATHEMATICA.
Kraków 2014
29 / 34
Statystyka
Estymacja jadrowa
˛
Wzór Silvermana
Wzór Silvermana dla estymacji jadrowej
˛
dla grupy danych
X = (x1 , . . . , xn ) ⊂ R:
σopt = (4/3)1/5 n−1/5 σX .
Wzór powyższy jest optymalny w sytuacji gdy dane pochodza˛ z rozkładu
normalnego. Ogólnie optymalna może być inna szerokość jadra,
˛
ale
zazwyczaj okazuje sie,
˛ że dla danych realnych (które moga˛ być wiecej
˛
niż
jedno-modalne – PRZYKŁAD), wartość ta bedzie
˛
mniejsza niż wskazuje wzór
Silvermana.
Kraków 2014
30 / 34
Statystyka
Estymacja jadrowa
˛
Klatwa
˛
wymiarowości
Okazuje sie,
˛ że to samo można robić w wielu wymiarach. I jest to realne do
wykonania w R2 , R3 . W wyższych wymiarach działa klatwa
˛
wymiarowości,
która (upraszczajac)
˛ mówi, że wszystkie punkty w zbiorze sa˛ maksymalnie
odległe jak to możliwe.
Precyzyjniej, jak mamy wylosowane punkty losowe z kostki [0, 1]D , to dla
dużych D odległość miedzy
˛
tymi punktami jest bliska maksymalnej
dopuszczalnej odległości.
W konsekwencji najbardziej wiarygodne jest dokonywanie estymacji gestości
˛
w sytuacjach nisko-wymiarowych.
Kraków 2014
31 / 34
Statystyka
Estymacja jadrowa
˛
Kraków 2014
32 / 34
Statystyka
Pojecie
˛
zbliżone do dywergencji Kullbacka-Leiblera, ale dla entropii
Renyi’ego. Mierzy na ile dwa rozkłady sa˛ sobie bliskie.
Definicja:
Z
DCS (f , g) := log
f 2 + log
Z
g 2 − 2 log fg ∈ [0, ∞].
Jeżeli 0, to f = g.
Chcemy zmaksymalizować. Zanalizujmy poszczególne czynniki:
R
kiedy sie˛ maksymalizuje f 2 : jak f jest możliwie skupione,
R
kiedy sie˛ minimalizuje fg: jak f i g sa˛ prostopadłe (maja˛ rozłaczne
˛
supporty).
Kraków 2014
33 / 34
Główny cel
CEL
Co chcemy zrobić:
Mamy dane X , Y ⊂ RD . Szukamy takiej prostej (rozpietej
˛ na v ∈ S), aby po
zrzutowaniu danych na nia˛ dywergencja Cauchy’ego-Schwarza (po estymacji
jadrowej)
˛
DCS ([Xv ], [Yv ]).
Kraków 2014
34 / 34
Główny cel
CEL
Co chcemy zrobić:
Mamy dane X , Y ⊂ RD . Szukamy takiej prostej (rozpietej
˛ na v ∈ S), aby po
zrzutowaniu danych na nia˛ dywergencja Cauchy’ego-Schwarza (po estymacji
jadrowej)
˛
DCS ([Xv ], [Yv ]).
Po co:
Mamy nadzieje,
˛ że bedzie
˛
dawało dobre efekty klasyfikacyjne,
wizualizacyjne.
Kraków 2014
34 / 34

Entropia w klasyfikacji

Transkrypt

Podobne dokumenty

PARLAMENTARNY ZESPÓŁ DS. WYŚCIGÓW KONNYCH I

OGŁOSZENIA DROBNE

Przedmiot: Informacyjne kryteria efektywności Kod przedmiotu

Warsztaty metod fizyki teoretycznej Zestaw 9 Entropia

JAAP BLONK(Holandia) - Biblioteka Raczyńskich

MONITOR POLSKI

Spis treści

entropia w modelowaniu ekonomicznym

Oferta-pracy-2_HOMING_J-Wrobel

Może być tylko gorzej?