Twierdzenie Bayesa, rozkład a priori i a posteriori

Transkrypt

Euro 2016
Podstawowe poj¦cia
Rozkªady a priori i a posteriori
O ekonometrii bayesowskiej
Ekonometria Bayesowska
Wykªad 1: Twierdzenie Bayesa, rozkªad
a priori i a posteriori
Andrzej Torój
Instytut Ekonometrii Zakªad Ekonometrii Stosowanej
Andrzej Torój
(1) Ekonometria Bayesowska
1 / 35
Euro 2016
Podstawowe poj¦cia
Plan wykªadu
1
Przykªad UEFA Euro 2016
2
Podstawowe poj¦cia ekonometrii bayesowskiej
3
4
O ekonometrii bayesowskiej ogólnie
Andrzej Torój
2 / 35
Euro 2016
Podstawowe poj¦cia
Plan prezentacji
1
2
3
4
Andrzej Torój
3 / 35
Euro 2016
Podstawowe poj¦cia
Polska na Euro 2016
Euro 2016: ocena szans Polaków
Reprezentacja Polski rozpoczynaªa turniej jako jedna ze
sªabszych dru»yn. Jej szanse oceniano raczej skromnie.
Jednak trzy kolejne sukcesy w meczach grupowych sprawiaªy,
»e ocena szans Polaków stopniowo rosªa. Po wyj±ciu z grupy,
do ka»dego meczu przyst¦powano w Polsce z ogromnymi
oczekiwaniami.
Prze±led¹my, jak zmieniªa si¦ ocena szans Polaków po fazie
grupowej.
Taka zmiana postrzegania to kwintensencja bayesowskiego
podej±cia do ekonometrii!
Andrzej Torój
4 / 35
Euro 2016
Podstawowe poj¦cia
Polska na Euro 2016
oczekiwaniami.
grupowej.
Andrzej Torój
4 / 35
Euro 2016
Podstawowe poj¦cia
Polska na Euro 2016
oczekiwaniami.
grupowej.
Andrzej Torój
4 / 35
Euro 2016
Podstawowe poj¦cia
Polska na Euro 2016
Forma Polaków oceniana z góry a priori (1)
Andrzej Torój
5 / 35
Dla niezorientowanych w piªce no»nej...
W Mistrzostwach Europy w 2016 r. graªy 24 zespoªy. Ranking
FIFA to najcz¦±ciej cytowany w mediach ranking sportowej siªy
zespoªów (obejmuje wyniki za ostatnie 4 lata).
Pierwsz¡ faz¡ byªy rozgrywki grupowe: 6 grup, 4 zespoªy w
ka»dej grupie, wewn¡trz grup ka»dy gra z ka»dym, zdobywaj¡c
punkty za zwyci¦stwa (3) i remisy (1). Dlatego faza grupowa
skªada si¦ z trzech meczów (n
= 3).
Do drugiej fazy przechodzi 16 zespoªów: z pierwszych, drugich
oraz wi¦kszo±ci trzecich miejsc w grupach. W tym systemie
zwyci¦stwo i remis s¡ w zasadzie równoznaczne dlatego skupiamy
si¦ na prawdopodobie«stwie, »e nie przegra si¦ meczu (a nie
prawdopodobie«stwie, »e si¦ go wygra).
W drugiej fazie nieprzegranie meczu nie oznacza awansu. W
przypadku remisu, o awansie rozstrzyga dogrywka lub rzuty karne.
Euro 2016
Podstawowe poj¦cia
Ocena formy Polaków: przed faz¡ grupow¡
Oceniamy polsk¡ dru»yn¦ parametrem
p
prawdopodobie«stwem
przegrania pojedynczego meczu z losowo dobranym przeciwnikiem z grona
23 pozostaªych nalistów.
Przed rozpocz¦ciem ME mamy pewne wyobra»enie na temat
p:
skoro w
rankingu FIFA 16 z 23 potencjalnych rywali jest wy»ej, to
16
prawdopodobie«stwo pora»ki oceniamy jako 23 = 0, 696.
Mo»emy oczywi±cie traa¢ na ró»nych przeciwników sªabszych lub
mocniejszych, co b¦dzie zmienia¢ nasz¡ percepcj¦
p
w zale»no±ci od
meczu. Nie mamy te» przekonania, »e ranking FIFA w adekwatny sposób
odzwierciedla sportow¡ siª¦ dru»yn w dniu meczu.
Dlatego parametr
p
potraktujemy jako zmienn¡ losow¡. Jej warto±¢
oczekiwan¡ ustalimy oczywi±cie na poziomie
E (p) = 0, 696,
ale
dopu±cimy pewn¡ wariancj¦ dookoªa tego poziomu.
Opiszemy to rozkªadem beta o warto±ci oczekiwanej
p
i odchyleniu
standardowym, które dobrze opisze skal¦ naszych w¡tpliwo±ci
(powiedzmy 0, 15).
Andrzej Torój
7 / 35
Euro 2016
Podstawowe poj¦cia
p
p:
skoro w
16
p
w zale»no±ci od
Dlatego parametr
p
E (p) = 0, 696,
ale
p
i odchyleniu
(powiedzmy 0, 15).
Andrzej Torój
7 / 35
Euro 2016
Podstawowe poj¦cia
p
p:
skoro w
16
p
w zale»no±ci od
Dlatego parametr
p
E (p) = 0, 696,
ale
p
i odchyleniu
(powiedzmy 0, 15).
Andrzej Torój
7 / 35
Euro 2016
Podstawowe poj¦cia
p
p:
skoro w
16
p
w zale»no±ci od
Dlatego parametr
p
E (p) = 0, 696,
ale
p
i odchyleniu
(powiedzmy 0, 15).
Andrzej Torój
7 / 35
Euro 2016
Podstawowe poj¦cia
Andrzej Torój
8 / 35
Euro 2016
Podstawowe poj¦cia
Rozkªad beta
Dotyczy zmiennych losowych z
przedziaªu [0; 1] (np. frakcje,
prawdopodobie«stwa...).
Opisuj¡ go dwa parametry:
Funkcja g¦sto±ci:
ι[0;1] (x) α−1
f (x) = B (α,β) x
ι[0;1] (x) = 1
α i β.
(1 − x)β−1
je»eli
x ∈ [0; 1]
i
zero w przeciwnym przypadku
(funkcja indykatorowa)
B (α, β) funkcja beta
(szczegóªy pó¹niej)
Warto±¢ oczekiwana:
Andrzej Torój
α
α+β
9 / 35
Euro 2016
Podstawowe poj¦cia
Ocena formy Polaków: po fazie grupowej
Dane
Bior¡c pod uwag¦ nasz¡ uprzedni¡ ocen¦
prawdopodobie«stwo, »e przegramy
k
p,
jakie jest
z 3 meczów grupowych?
atwo policzy¢, »e stosunkowo wysokie...
P (X = k) =
3
k
p k (1 − p)3−k
A jednak nie przegrali±my »adnego meczu grupowego! Po
fakcie wiemy wi¦c, »e
k = 0.
Prawdopodobie«stwa takiego
zdarzenia nie oceniali±my wysoko, bior¡c pod uwag¦, »e ponad
2/3 przeciwników traktowali±my jako lepszych.
Dla ka»dego
p ∈ (0, 1)
mo»emy policzy¢ warto±¢ funkcji
wiarygodno±ci dla naszych danych (k
dla
p=0
Andrzej Torój
= 0).
Najwy»sza b¦dzie
(w ko«cu Polska ani razu nie przegraªa!).
10 / 35
Euro 2016
Podstawowe poj¦cia
Dane
k
p,
jakie jest
P (X = k) =
3
k
p k (1 − p)3−k
k = 0.
Dla ka»dego
p ∈ (0, 1)
dla
p=0
Andrzej Torój
= 0).
Najwy»sza b¦dzie
10 / 35
Euro 2016
Podstawowe poj¦cia
Dane
k
p,
jakie jest
P (X = k) =
3
k
p k (1 − p)3−k
k = 0.
Dla ka»dego
p ∈ (0, 1)
dla
p=0
Andrzej Torój
= 0).
Najwy»sza b¦dzie
10 / 35
Euro 2016
Podstawowe poj¦cia
Ocena Polaków po fazie grupowej a posteriori (1)
Przed drug¡ faz¡ musieli±my zaktualizowa¢ nasze wyobra»enie o
p.
Mogli±my to zrobi¢ na dwa sposoby:
Wnioskowa¢ na podstawie tego, co zaobserwowali±my: trzy
mecze bez pora»ki, a wi¦c
p = 1.
Tak post¡piliby±my w
±wiecie ekonometrii klasycznej.
Ale przecie» trzy mecze to bardzo maªo! Równocze±nie miejsce
w rankingu FIFA (4 lata!) mo»e nie±¢ ze sob¡ wiele cennych
informacji, które w fazie grupowej (2 tygodnie!) mogªy si¦ nie
ujawni¢.
Najlepiej byªoby wi¦c wzi¡¢ pod uwag¦ oba ¹ródªa informacji.
Ranking FIFA (a
priori):
powinien znaczy¢ tym wi¦cej, im
bardziej byli±my pewni jego adekwatno±ci (tj. im ni»sz¡
wariancj¦
p
ustalili±my przed faz¡ grupow¡).
Dotychczasowe mecze (dane): powinny wa»y¢ tym wi¦cej, im
wi¦cej meczów si¦ ju» odbyªo.
Andrzej Torój
11 / 35
Euro 2016
Podstawowe poj¦cia
Przed drug¡ faz¡ musieli±my zaktualizowa¢ nasze wyobra»enie o
p.
Mogli±my to zrobi¢ na dwa sposoby:
Wnioskowa¢ na podstawie tego, co zaobserwowali±my: trzy
mecze bez pora»ki, a wi¦c
p = 1.
Tak post¡piliby±my w
±wiecie ekonometrii klasycznej.
Ale przecie» trzy mecze to bardzo maªo! Równocze±nie miejsce
w rankingu FIFA (4 lata!) mo»e nie±¢ ze sob¡ wiele cennych
informacji, które w fazie grupowej (2 tygodnie!) mogªy si¦ nie
ujawni¢.
Najlepiej byªoby wi¦c wzi¡¢ pod uwag¦ oba ¹ródªa informacji.
Ranking FIFA (a
priori):
powinien znaczy¢ tym wi¦cej, im
bardziej byli±my pewni jego adekwatno±ci (tj. im ni»sz¡
wariancj¦
p
ustalili±my przed faz¡ grupow¡).
Dotychczasowe mecze (dane): powinny wa»y¢ tym wi¦cej, im
wi¦cej meczów si¦ ju» odbyªo.
Andrzej Torój
11 / 35
Euro 2016
Podstawowe poj¦cia
Udana faza grupowa przesun¦ªa nasze postrzeganie prawdpodobie«stwa
pora»ki Polaków ku ni»szym warto±ciom. Jak to zadziaªaªo?
Andrzej Torój
12 / 35
Euro 2016
Podstawowe poj¦cia
Plan prezentacji
1
2
3
4
Andrzej Torój
13 / 35
Euro 2016
Podstawowe poj¦cia
Prawdopodobie«stwo ª¡czne i warunkowe
Prawdopodobie«stwo ª¡czne i warunkowe
Prawdopodobie«stwo zdarzenia A:
P (A)
Prawdopodobie«stwo ª¡czne zdarze« A i B (tj. »e zdarzy si¦
jedno i drugie):
P (A ∩ B)
Prawdopodobie«stwo warunkowe zdarzenia A pod warunkiem
B (tj. »e zdarzy si¦ A, gdy wiemy, »e B si¦ ju» zdarzyªo):
P (A|B) =
Andrzej Torój
P (A ∩ B)
P (B)
14 / 35
Euro 2016
Podstawowe poj¦cia
Twierdzenie Bayesa
Twierdzenie Bayesa
Twierdzenie Bayesa
P (A|B) =
P (B|A) · P (A)
P (B)
Dowód:
P (A|B) =
P(A∩B)
P(B)
=⇒ P (A ∩ B) = P (A|B) · P (B)
P (B|A) =
P(A∩B)
P(A)
=⇒ P (A ∩ B) = P (B|A) · P (A)
P (A|B) · P (B) = P (B|A) · P (A)
P (A|B) =
P(B|A)·P(A)
P(B)
Andrzej Torój
15 / 35
Euro 2016
Podstawowe poj¦cia
Twierdzenie Bayesa
Twierdzenie Bayesa wersja zmodykowana
A
n rozª¡cznych wariantach,
Ai ∩ Aj = dla dowolnego i 6= j .
jest zdarzeniem pewnym, ale mo»e wyst¡pi¢ w
czyli
A = A1 ∪ A2 ∪ ... ∪ An ,
przy czym
Chcemy wyznaczy¢ prawdopodobie«stwo
zdarzenia
i -tego
wariantu warunkowe wzgl¦dem
B:
Twierdzenie Bayesa wersja zmodykowana
P (Ai |B) =
P (B|Ai ) · P (Ai )
P (B|A1 ) P (A1 ) + P (B|A2 ) P (A2 ) + ... + P (B|An ) P (An )
Je»eli wariantów zdarzenia
A
jest nieprzeliczalnie wiele (i
∈ I)
-- np. polega ono
na wyst¡pieniu pewnej warto±ci z rozkªadu ci¡gªego wówczas zast¦pujemy
poj¦cie prawdopodobie«stwa g¦sto±ci¡ (ozn.
f (Ai |B) = w
Andrzej Torój
I
f ),
a powy»szy wzór:
f (B|Ai ) · f (Ai )
f (B|Ai ) f (Ai ) di
16 / 35
Euro 2016
Podstawowe poj¦cia
Rozkªad a priori i a posteriori
Twierdzenie Bayesa zastosowanie w ekonometrii
f (Ai |B) = w
f (B|Ai ) · f (Ai )
f (θ|X ) = w
→
f (B|Ai ) f (Ai ) di
I
Jako zdarzenia
Ai
f (X |θ) · f (θ)
f (X |θ) f (θ) dθ
I
rozpatrzymy przyj¦cie przez parametr
warto±ci (θ1 ,θ2 ,...). Parametr
θ
θ
ró»nych mo»liwych
musi przyjmowa¢ jak¡± warto±¢, wi¦c
prawdopodobie«stwa tych zdarze« sumuj¡ si¦ do 1 (w rozkªadzie dyskretnym)
albo g¦sto±¢ prawdopodobie«stwa tych zdarze« caªkuje si¦ do 1 (przy
uwzgl¦dnieniu wszystkich mo»liwych warto±ci
θ).
»e zaobserwowali±my okre±lony zestaw danych
P (θ|X )
wyznaczany rozkªad
X.
a posteriori,
Zdarzenie
B
polega na tym,
tj. warunkowy wzgl¦dem
zaobserwowanych danych
P (θ) rozkªad a priori
P (X |θ) rozkªa próbkowych danych X , przy zaªo»eniu
warto±ci θ (to»samy z funkcj¡ wiarygodno±ci)
mianownik nie zale»y od θ i peªni rol¦ staªej skaluj¡cej
Andrzej Torój
parametru o
17 / 35
Euro 2016
Podstawowe poj¦cia
Plan prezentacji
1
2
3
4
Andrzej Torój
18 / 35
Euro 2016
Podstawowe poj¦cia
Przykªad: sformuªowanie rozkªadu a priori
Rozkªad a priori: rozkªad beta
Wspominali±my ju», »e dla nieznanego parametru
p
(prawdopodobie«stwa, »e Polska nie przegra meczu)
wyznaczyli±my rozkªad
f (p) =
a priori
ι[0;1] (p) α−1
β−1
B (α, β) p (1 − p)
(
przy czym:
ι[0;1] (x) =
Funkcja beta:
Andrzej Torój
typu beta:
1
0
B (α, β) =
r1
x ∈ [0 ; 1 ]
x∈
/ [0 ; 1 ]
.
t α−1 (1 − t)β−1 · dt .
0
19 / 35
Euro 2016
Podstawowe poj¦cia
Warto±¢ oczekiwana i wariancja w rozkªadzie a priori
Mo»na pokaza¢, »e w rozkªadzie beta:
E (p) =
r1
p · f (p) · dp =
0
D 2 (p) =
r1
α
α+β
2
αβ
(α+β)2 (α+β+1)
[p − E (p)] · f (p) · dp =
0
Przyj¦li±my, »e
E (p) = 0, 696
oraz »e
D 2 (p) = (0, 15)
2
.
Rozwi¡zuj¡c nast¦puj¡cy ukªad równa«:
α
α+β
= 0, 696
αβ
(α+β)2 (α+β+1)
Andrzej Torój
a priori
α
i
tej pory oznacza¢ parametry i funkcje
a
mo»emy okre±li¢ nasz rozkªad
β . (Doln¡ lini¡ b¦dziemy od
priori, górn¡ a posteriori).
2
= (0, 15)
w kategoriach parametrów
20 / 35
Euro 2016
Podstawowe poj¦cia
Warto±¢ oczekiwana i wariancja w rozkªadzie a priori
Mo»na pokaza¢, »e w rozkªadzie beta:
E (p) =
r1
p · f (p) · dp =
0
D 2 (p) =
r1
α
α+β
2
αβ
(α+β)2 (α+β+1)
[p − E (p)] · f (p) · dp =
0
Przyj¦li±my, »e
E (p) = 0, 696
oraz »e
D 2 (p) = (0, 15)
2
.
Rozwi¡zuj¡c nast¦puj¡cy ukªad równa«:
α
α+β
= 0, 696
αβ
(α+β)2 (α+β+1)
Andrzej Torój
a priori
α
i
tej pory oznacza¢ parametry i funkcje
a
mo»emy okre±li¢ nasz rozkªad
β . (Doln¡ lini¡ b¦dziemy od
priori, górn¡ a posteriori).
2
= (0, 15)
w kategoriach parametrów
20 / 35
Euro 2016
Podstawowe poj¦cia
Rozkªad a priori (przed faz¡ grupow¡) przypomnijmy...
Andrzej Torój
21 / 35
Euro 2016
Podstawowe poj¦cia
Przykªad: wyznaczenie rozkªadu a posteriori
Rozkªad a posteriori (1)
W naszym przypadku nieznanym parametrem jest
p
(prawdopodobie«stwo pora»ki Polski w pojedynczym meczu), a
informacj¡ z próby f¯ (p|k) =
k
(liczba pora»ek w fazie grupowej).
f (k|p)·f (p)
w1
f (k|p)f (p)dp
0
f (p) =
ι[0;1] (p) α−1
p
(1 − p)β−1
B α, β
f (k|p) =
Andrzej Torój
3
k
p k (1 − p)3−k
22 / 35
Euro 2016
Podstawowe poj¦cia
f¯ (p|k) =

3

k
w1 

0
=
3
k

ι
(p)
p k (1−p)3−k · [0;1] p α−1 (1−p)β−1
B (α,β )
=

ι
(p)
p k (1−p)3−k · [0;1] p α−1 (1−p)β−1 dp
B (α,β )
p k (1−p)3−k ·ι[0;1] (p)p α−1 (1−p)β−1
w1
p k (1−p)3−k ·p α−1 (1−p)β−1 dp
0
=
=
p k+α−1 (1−p)3−k+β−1 ·ι[0;1] (p)
w1
3−k+β−1
p k+α−1 (1−p)
dp
ι[0;1] (p) α−1
(1
B (α,β ) p
− p)β−1
=
p k+α−1 (1−p)3−k+β−1 ·ι[0;1] (p)
B (α+k,β−k+3)
=
0
=
Andrzej Torój
23 / 35
Euro 2016
Podstawowe poj¦cia
f¯ (p|k) =
Rozkªad
a posteriori
ι[0;1] (p) α−1
p
(1 − p)β−1
B α, β
równie» jest rozkªadem beta o parametrach:
α=α+k
β =β−k +3
Andrzej Torój
24 / 35
Euro 2016
Podstawowe poj¦cia
Warto±¢ oczekiwana w rozkªadzie a posteriori
α+k
=
= α+k+β−k+
3
α+β
α
3
=
·
·
+
α+β+3 α+β α+β+3
| {z } | {z } | {z }
E (p) =
α
α+β
waga 1
waga 2
E (p)
W naszym przypadku warto±¢ oczekiwana
k
3
|{z}
frakcja z danych
a posteriori
jest ±redni¡
wa»on¡:
warto±ci oczekiwanej
wariancja
a priori
(wa»y tym wi¦cej, im mniejsza
a priori)
frakcji zdarze« z danych (wa»y tym wi¦cej, im dªu»sza próba)
Polacy nie przegrali w grupie przy
k=0
z pewno±ci¡
E (p) < E (p).
Andrzej Torój
25 / 35
Euro 2016
Podstawowe poj¦cia
Znany ju» rozkªad
a posteriori
przy
E (p) = 0, 696 i D 2 (p) = (0, 15)2
dla przypomnienia:
Andrzej Torój
26 / 35
Euro 2016
Podstawowe poj¦cia
Analiza wra»liwo±ci na rozkªad a priori
Wra»liwo±¢ na rozkªad a priori (1)
a priori, wówczas
D 2 (p) = (0, 2)2 ...
Gdyby±my byli mniej pewni naszych przekona«
bardziej poci¡gn¡ rozkªad w prawo:
Andrzej Torój
dane
27 / 35
Euro 2016
Podstawowe poj¦cia
...w przeciwnym razie:
D 2 (p) = (0, 1)2
rozkªad
a priori
mocniej
trzyma wyniki z prawej strony.
Andrzej Torój
28 / 35
Euro 2016
Podstawowe poj¦cia
Przy
E (p) = 0, 8
rozkªad
a posteriori
przesuwa si¦ umiarkowanie w
prawo, ale nie zmienia ksztaªtu.
Andrzej Torój
29 / 35
Euro 2016
Podstawowe poj¦cia
Przy
E (p) = 0, 6 warto±¢
E (p).
oczekiwana
a posteriori
przesuwa si¦ lewo,
cho¢ mniej, ni»
Andrzej Torój
30 / 35
Euro 2016
Podstawowe poj¦cia
Plan prezentacji
1
2
3
4
Andrzej Torój
31 / 35
Euro 2016
Podstawowe poj¦cia
1. Parametry traktujemy jako zmienne losowe
Zaªo»yli±my, »e
parametr p
jest
zmienn¡ losow¡.
To fundamentalna ró»nica w porównaniu do klasycznej ekonometrii, gdzie
zakªadali±my istnienie prawdziwej, nieznanej warto±ci parametru w
procesie generuj¡cym dane / populacji.
Pewne elementy my±lenia w kategoriach rozkªadów (np. przedziaª ufno±ci)
wi¡zaªy si¦ wyª¡cznie z faktem, »e estymatory z próby s¡ zmiennymi
losowymi ze wzgl¦du na losowy dobór próby. Nigdy jednak nie dotyczyªo
to prawdziwych parametrów.
Takie zaªo»enie odzwierciedla fundamentaln¡ ró»nic¦ mi¦dzy bayesistami a
klasykami w rozumieniu poj¦cia prawdopodobie«stwa.
Klasycy posªuguj¡ si¦
cz¦sto±ciow¡ interpretacj¡ prawdopodobie«stwa
uwa»aj¡, »e nale»y si¦ tym poj¦ciem posªugiwa¢ wyª¡cznie w celu
opisania, jak cz¦sto zachodzi okre±lone zdarzenie (dlatego bayesi±ci
okre±laj¡ ich jako
frequentists).
Bayesi±ci posªuguj¡ si¦ dodatkowo
prawdopodobie«stwa,
subiektywistyczn¡ interpretacj¡
która pozwala im okre±li¢ rozkªach ich przekona«
co do nieznanej warto±ci parametru
Andrzej Torój
p
(np. »e na 90% jest wy»szy od 0, 4).
32 / 35
Euro 2016
Podstawowe poj¦cia
1. Parametry traktujemy jako zmienne losowe
Zaªo»yli±my, »e
parametr p
jest
zmienn¡ losow¡.
To fundamentalna ró»nica w porównaniu do klasycznej ekonometrii, gdzie
zakªadali±my istnienie prawdziwej, nieznanej warto±ci parametru w
procesie generuj¡cym dane / populacji.
Pewne elementy my±lenia w kategoriach rozkªadów (np. przedziaª ufno±ci)
wi¡zaªy si¦ wyª¡cznie z faktem, »e estymatory z próby s¡ zmiennymi
losowymi ze wzgl¦du na losowy dobór próby. Nigdy jednak nie dotyczyªo
to prawdziwych parametrów.
Takie zaªo»enie odzwierciedla fundamentaln¡ ró»nic¦ mi¦dzy bayesistami a
klasykami w rozumieniu poj¦cia prawdopodobie«stwa.
Klasycy posªuguj¡ si¦
cz¦sto±ciow¡ interpretacj¡ prawdopodobie«stwa
uwa»aj¡, »e nale»y si¦ tym poj¦ciem posªugiwa¢ wyª¡cznie w celu
opisania, jak cz¦sto zachodzi okre±lone zdarzenie (dlatego bayesi±ci
okre±laj¡ ich jako
frequentists).
Bayesi±ci posªuguj¡ si¦ dodatkowo
prawdopodobie«stwa,
subiektywistyczn¡ interpretacj¡
która pozwala im okre±li¢ rozkªach ich przekona«
co do nieznanej warto±ci parametru
Andrzej Torój
p
(np. »e na 90% jest wy»szy od 0, 4).
32 / 35
Euro 2016
Podstawowe poj¦cia
2. Do procesu estymacji wprowadzamy wiedz¦ spoza próby
Sformuªowali±my rozkªad
a priori
parametru
p.
Zobaczyli±my, »e mo»e on
znacz¡co rzutowa¢ na uzyskane wyniki.
Miar¡ sukcesu w ekonometrii bayesowskiej jest doprowadzenie do
zaw¦»enia
(ang.
shrinkage)
rozkªadu
a priori
czyli precyzyjniejszej
wiedzy o parametrze po konfrontacji z danymi ni» przed.
Nie musi to oznacza¢ przesuni¦cia warto±ci oczekiwanej, chodzi o
zmniejszenie wariancji.
Je»eli rozkªad
a posteriori
niemal pokrywa si¦ z rozkªadem
a priori,
to
oznacza pora»k¦ w analizie empirycznej dane niczego nie wniosªy do
naszej wiedzy o parametrze.
wiczenie
Jakie byªoby postrzeganie
a posteriori
prawdopodobie«stwa pora»ki
Polaków, gdyby w grupie przegrali 2 mecze i nie przegrali trzeciego
(k
= 2)?
Andrzej Torój
33 / 35
Euro 2016
Podstawowe poj¦cia
3. Modele mog¡ mie¢ ró»ny poziom komplikacji
Rozwa»yli±my prosty model statystyczny, wnioskuj¡c o jednym parametrze
p
przy pewnych zaªo»eniach o rozkªadzie danych (ci¡g niezale»nych
pora»ek i nie-pora»ek).
W ekonometrycznych analizach regresji b¦dziemy przyjmowali zaªo»enia
na temat rozkªadu skªadnika losowego.
Zwykle b¦dzie to rozkªad normalny, ale narz¦dzia ekonometrii
bayesowskiej pozwalaj¡ analizowa¢ inne rozkªady.
Przy wi¦kszej liczbie parametrów otrzymamy
ª¡czny rozkªad
a posteriori ,
z którego niewiele wywnioskujemy wprost (przy 3 lub wi¦cej parametrach
trudno nawet o wizualizacj¦).
B¦d¡ potrzebne
rozkªady brzegowe
poszczególnych parametrów
(czyli rozkªad ª¡czny scaªkowany po pozostaªych parametrach).
Nie znaj¡c parametrów rozkªadów
a priori,
cz¦sto opisujemy je...
kolejnymi rozkªadami! Takie konstrukcje nazywami
hierarchicznymi.
Andrzej Torój
modelami
34 / 35
Euro 2016
Podstawowe poj¦cia
p
ª¡czny rozkªad
a posteriori ,
B¦d¡ potrzebne
rozkªady brzegowe
a priori,
hierarchicznymi.
Andrzej Torój
modelami
34 / 35
Euro 2016
Podstawowe poj¦cia
p
ª¡czny rozkªad
a posteriori ,
B¦d¡ potrzebne
rozkªady brzegowe
a priori,
hierarchicznymi.
Andrzej Torój
modelami
34 / 35
Euro 2016
Podstawowe poj¦cia
p
ª¡czny rozkªad
a posteriori ,
B¦d¡ potrzebne
rozkªady brzegowe
a priori,
hierarchicznymi.
Andrzej Torój
modelami
34 / 35
Euro 2016
Podstawowe poj¦cia
4. Caªkowanie nie zawsze jest tak proste
Korzystaj¡c ze wzoru Bayesa, przeprowadzili±my obliczenia, z których
p te» jest rozkªadem beta (podobnie
a priori). W takiej sytuacji mówimy, »e rozkªad a priori jest sprz¦»ony
(ang. conjugate prior) z rozkªadem danych (w tym przypadku
wynikaªo, »e rozkªad a posteriori dla
jak
dwumianowym).
W ten sposób, wprost ze wzoru, odczytali±my parametry a posteriori
ᾱ i β .
To pozwoliªo natychmiast wyznaczy¢
E (p).
Wszystko udaªo si¦ zrobi¢ analitycznie. Zwykle nie idzie tak ªatwo...
Cz¦sto nie jeste±my w stanie dostrzec konkretnej postaci funkcyjnej ani
ªatwo jej caªkowa¢ w celu wyznaczenia warto±ci oczekiwanej. Wówczas:
przybli»amy g¦sto±¢ (brzegow¡)
symulacyjnych numerycznych
a posteriori za pomoc¡ metod
próbników, otrzymuj¡c histogram;
numerycznie caªkujemy (poznamy odpowiednie metody), by
otrzyma¢ miar¦ warto±ci oczekiwanej
Andrzej Torój
a posteriori.
35 / 35
Euro 2016
Podstawowe poj¦cia
4. Caªkowanie nie zawsze jest tak proste
Korzystaj¡c ze wzoru Bayesa, przeprowadzili±my obliczenia, z których
p te» jest rozkªadem beta (podobnie
a priori). W takiej sytuacji mówimy, »e rozkªad a priori jest sprz¦»ony
(ang. conjugate prior) z rozkªadem danych (w tym przypadku
wynikaªo, »e rozkªad a posteriori dla
jak
dwumianowym).
W ten sposób, wprost ze wzoru, odczytali±my parametry a posteriori
ᾱ i β .
To pozwoliªo natychmiast wyznaczy¢
E (p).
Wszystko udaªo si¦ zrobi¢ analitycznie. Zwykle nie idzie tak ªatwo...
Cz¦sto nie jeste±my w stanie dostrzec konkretnej postaci funkcyjnej ani
ªatwo jej caªkowa¢ w celu wyznaczenia warto±ci oczekiwanej. Wówczas:
przybli»amy g¦sto±¢ (brzegow¡)
symulacyjnych numerycznych
a posteriori za pomoc¡ metod
próbników, otrzymuj¡c histogram;
numerycznie caªkujemy (poznamy odpowiednie metody), by
otrzyma¢ miar¦ warto±ci oczekiwanej
Andrzej Torój
a posteriori.
35 / 35

Twierdzenie Bayesa, rozkład a priori i a posteriori

Transkrypt

Podobne dokumenty

Maciej Kozaryn - Wydział Matematyki, Informatyki i Ekonometrii UZ

Istnienie średnich czasowych oraz ich interpretacja fizyczna Prof. dr

Prof. dr hab. Władysław Milo

Prof. dr hab. Władysław Welfe

karta przedmiotu

Anna Pajor, Wielowymiarowe procesy wariancji

Marta Wawrzyniak (Wielka Brytania)

zadania

ekonometria_-_finanse_i_rachunkowosc__(ii_rok_niestacjonarne)

1. Uzasadnić, że natężenie zgonów jest funkcją nieujemną. Czy