Wykład specjalny dla SKN Ekonometrii

Transkrypt

Podstawowe zasady wnioskowania bayesowskiego
Zastosowania ekonometrii bayesowskiej
Metody klasy MCMC
Ekonometria bayesowska w R
Ekonometria bayesowska: szybki start
Wprowadzenie do reguª wnioskowania i oblicze« w R
SKN Ekonometrii 12.12.2016 r.
Andrzej Torój
1 / 23
Metody klasy MCMC
Plan wykªadu
1
2
3
Metody klasy MCMC
4
2 / 23
Metody klasy MCMC
Plan prezentacji
1
2
3
Metody klasy MCMC
4
3 / 23
Metody klasy MCMC
Fundamentalne zasady ekonometrii bayesowskiej (1)
Parametry traktujemy jako
zmienne losowe.
To fundamentalna ró»nica w porównaniu do klasycznej ekonometrii,
gdzie zakªadali±my istnienie prawdziwej, nieznanej warto±ci
parametru w procesie generuj¡cym dane / populacji.
Pewne elementy my±lenia w kategoriach rozkªadów (np. przedziaª
ufno±ci) wi¡zaªy si¦ wyª¡cznie z faktem, »e estymatory z próby s¡
zmiennymi losowymi ze wzgl¦du na losowy dobór próby. Nigdy
jednak nie dotyczyªo to prawdziwych parametrów.
Takie zaªo»enie odzwierciedla fundamentaln¡ ró»nic¦ mi¦dzy bayesistami
a klasykami w rozumieniu poj¦cia prawdopodobie«stwa.
Klasycy posªuguj¡ si¦
prawdopodobie«stwa
cz¦sto±ciow¡ interpretacj¡
uwa»aj¡, »e nale»y si¦ tym poj¦ciem
posªugiwa¢ wyª¡cznie w celu opisania, jak cz¦sto zachodzi okre±lone
frequentists).
subiektywistyczn¡ interpretacj¡
zdarzenie (dlatego bayesi±ci okre±laj¡ ich jako
Bayesi±ci posªuguj¡ si¦ dodatkowo
prawdopodobie«stwa,
która pozwala im okre±li¢ rozkªach ich
przekona« co do nieznanej warto±ci parametru.
4 / 23
Metody klasy MCMC
Parametry traktujemy jako
zmienne losowe.
To fundamentalna ró»nica w porównaniu do klasycznej ekonometrii,
gdzie zakªadali±my istnienie prawdziwej, nieznanej warto±ci
parametru w procesie generuj¡cym dane / populacji.
Pewne elementy my±lenia w kategoriach rozkªadów (np. przedziaª
ufno±ci) wi¡zaªy si¦ wyª¡cznie z faktem, »e estymatory z próby s¡
zmiennymi losowymi ze wzgl¦du na losowy dobór próby. Nigdy
jednak nie dotyczyªo to prawdziwych parametrów.
Takie zaªo»enie odzwierciedla fundamentaln¡ ró»nic¦ mi¦dzy bayesistami
a klasykami w rozumieniu poj¦cia prawdopodobie«stwa.
Klasycy posªuguj¡ si¦
prawdopodobie«stwa
cz¦sto±ciow¡ interpretacj¡
uwa»aj¡, »e nale»y si¦ tym poj¦ciem
posªugiwa¢ wyª¡cznie w celu opisania, jak cz¦sto zachodzi okre±lone
frequentists).
subiektywistyczn¡ interpretacj¡
zdarzenie (dlatego bayesi±ci okre±laj¡ ich jako
Bayesi±ci posªuguj¡ si¦ dodatkowo
prawdopodobie«stwa,
która pozwala im okre±li¢ rozkªach ich
przekona« co do nieznanej warto±ci parametru.
4 / 23
Metody klasy MCMC
Do procesu estymacji wprowadzamy wiedz¦ spoza próby.
Formuªujemy j¡ w postaci rozkªadu
a priori nieznanych
parametrów. Mo»e on znacz¡co rzutowa¢ na uzyskane wyniki.
Miar¡ sukcesu w ekonometrii bayesowskiej jest doprowadzenie
do zaw¦»enia (ang.
shrinkage) rozkªadu a priori czyli
precyzyjniejszej wiedzy o parametrze po konfrontacji z danymi
ni» przed.
Nie musi to oznacza¢ przesuni¦cia warto±ci oczekiwanej,
chodzi o zmniejszenie wariancji.
a posteriori niemal pokrywa si¦ z rozkªadem a
priori, to oznacza pora»k¦ w analizie empirycznej dane
Je»eli rozkªad
niczego nie wniosªy do naszej wiedzy o parametrze.
5 / 23
Metody klasy MCMC
Twierdzenie Bayesa zastosowanie w ekonometrii
P (A|B) =
P (B|A) · P (A)
P (B)
→
f (B|Ai ) · f (Ai )
f (Ai |B) = w
f (B|Ai ) f (Ai ) di
→
I
f (θ|X ) = w
f (X |θ) · f (θ)
f (X |θ) f (θ) dθ
I
Ai rozpatrzymy ka»d¡ mo»liw¡ warto±¢ parametru θ
θ1 ,θ2 ,...). Prawdopodobie«stwa tych zdarze« sumuj¡ si¦ do
budujemy funkcj¦ g¦sto±ci / prawdopodobie«stwa. Zdarzenie B
Jako zdarzenia
(zdarzenia
gdy»
polega na tym, »e zaobserwowali±my okre±lony zestaw danych
P (θ|X )
wyznaczany rozkªad
a posteriori, tj.
1,
X.
warunkowy
wzgl¦dem zaobserwowanych danych
P (θ) rozkªad a priori
P (X |θ) funkcja wiarygodno±ci danych X przy zaªo»eniu
parametru o warto±ci θ
mianownik nie zale»y od θ i peªni rol¦ staªej skaluj¡cej
6 / 23
Metody klasy MCMC
Przykªad: rozkªady brzegowe
a posteriori
w modelu regresji
liniowej
7 / 23
Metody klasy MCMC
Highest posterior density interval (HPDI)
8 / 23
Metody klasy MCMC
Porównania modeli
Caªkuj¡c licznik wzoru Bayesa otrzymujemy wiarygodno±¢ brzegow¡ modelu.
Iloraz wiarygodno±ci brzegowej dwóch modeli to tzw.
czynnik Bayesa.
Skala Jereysa (1961, The theory of
Kass i Raftery (1995, Bayes factors,
probability)
Journal of the American Statistical
Association)
BF
< 100
100
− 100.5
100.5
101
− 101
− 101.5
101.5
− 102
> 102
interpretacja
negative (supports
BF
M2 )
barely worth mentioning
substantial
strong
very strong
decisive
1
−3
interpretacja
not worth more than a
bare mention
3
20
− 20
− 150
> 150
positive
strong
very strong
9 / 23
Metody klasy MCMC
Rozkªady predykcyjne
p (yh |y ) =
¯
p (yτ , θ|y ) dθ =
¯
p (yτ |θ, y ) p (θ|y ) dθ
Θ
Θ
Dalsze post¦powanie zale»y od tego, czy:
yτ
jest niezale»ne od
y
(pierwszy czynnik);
znana jest funkcja g¦sto±ci parametrów
a posteriori
(drugi
czynnik).
W modelu regresji liniowej o rozkªadzie
a priori
N-G oba warunki s¡
speªnione.
10 / 23
Metody klasy MCMC
Plan prezentacji
1
2
3
Metody klasy MCMC
4
11 / 23
Metody klasy MCMC
Ubogi materiaª empiryczny mo»e zosta¢ wzmocniony wiedz¡
priori
a
w sformalizowany sposób.
Uniwersalne instrumentarium do wnioskowania statystycznego,
niezale»ne od rozkªadu skªadnika losowego.
Przydatne w szeroko rozumianym zarz¡dzaniu ryzykiem
(pozwalaj¡ na wyra»anie i efektywn¡ aktualizacj¦ rozkªadów
predykcyjnych o ró»nych ksztaªtach).
12 / 23
Metody klasy MCMC
Plan prezentacji
1
2
3
Metody klasy MCMC
4
13 / 23
Metody klasy MCMC
Efekty zastosowania metod numerycznych
Bardzo rzadko mo»emy otrzyma¢ analitycznie funkcj¦ g¦sto±ci a
posteriori, z której potraliby±my losowa¢. Tym samym problematyczne
jest wyznaczenie (i) brzegowych g¦sto±ci a posteriori, (ii) wiarygodno±ci
brzegowej modelu, (iii) rozkªadów predykcyjnych.
1
Metody numeryczne powinny prowadzi¢ do otrzymania wyników
S -krotnego
losowania z rozkªadu
wynikami (oznaczmy je
a posteriori.
θ (1) , θ (2) , ..., θ (S) )
Dysponuj¡c tymi
mo»emy m.in.
naszkicowa¢ histogram rozkªadów brzegowych pojedynczych
parametrów i przedziaªy ufno±ci HPDI.
2
Mo»emy równie» oszacowa¢ warto±¢ oczekiwan¡ dowolnej funkcji
parametrów
g (θ)
jako
1
S
S
P
s=1
g θ (s) .
Istnieje wiele metod numerycznych. Najpopularniejsz¡ metod¡ klasy
Monte Carlo Markov chain) jest algorytm
MCMC (
Metropolisa-Hastingsa.
14 / 23
Metody klasy MCMC
Algorytm Metropolisa-Hastingsa przypadek ogólny
Rozwa»my wektor parametrów
g¦sto±ci
a posteriori p (θ|y ).
θ = (θ1 , θ2 , ..., θK )
o nieznanej
Nie znamy równie» rozkªadów
warunkowych jednego parametru wzgl¦dem pozostaªych.
1
2
Wybieramy wektor startowy
Losujemy kandydata
kandydatów,
3
4
q θ|θ
(0)
θ
∗
θ (0) = (θ1 , θ2 , ..., θK ).
korzystaj¡c z g¦sto±ci generuj¡cej
.
Obliczamy
prawdopodobie«stwo akceptacji kandydata,
α θ ∗ , θ (0) .

θ ∗
θ (1) =
θ (0)
z prawdopodobie ństwem α θ ∗ , θ (0)
z prawdopodobie ństwem 1 − α θ ∗ , θ (0)
5
Powtarzamy kroki 1-4 z wektorem startowym
6
Powtarzamy sekwencj¦
S
θ (1) .
razy.
15 / 23
Metody klasy MCMC
g¦sto±ci
θ = (θ1 , θ2 , ..., θK )
o nieznanej
1
2
Losujemy kandydata
kandydatów,
3
4
q θ|θ
(0)
θ
∗
θ (0) = (θ1 , θ2 , ..., θK ).
.
Obliczamy
α θ ∗ , θ (0) .

θ ∗
θ (1) =
θ (0)
5
6
S
θ (1) .
razy.
15 / 23
Metody klasy MCMC
g¦sto±ci
θ = (θ1 , θ2 , ..., θK )
o nieznanej
1
2
Losujemy kandydata
kandydatów,
3
4
q θ|θ
(0)
θ
∗
θ (0) = (θ1 , θ2 , ..., θK ).
.
Obliczamy
α θ ∗ , θ (0) .

θ ∗
θ (1) =
θ (0)
5
6
S
θ (1) .
razy.
15 / 23
Metody klasy MCMC
g¦sto±ci
θ = (θ1 , θ2 , ..., θK )
o nieznanej
1
2
Losujemy kandydata
kandydatów,
3
4
q θ|θ
(0)
θ
∗
θ (0) = (θ1 , θ2 , ..., θK ).
.
Obliczamy
α θ ∗ , θ (0) .

θ ∗
θ (1) =
θ (0)
5
6
S
θ (1) .
razy.
15 / 23
Metody klasy MCMC
g¦sto±ci
θ = (θ1 , θ2 , ..., θK )
o nieznanej
1
2
Losujemy kandydata
kandydatów,
3
4
q θ|θ
(0)
θ
∗
θ (0) = (θ1 , θ2 , ..., θK ).
.
Obliczamy
α θ ∗ , θ (0) .

θ ∗
θ (1) =
θ (0)
5
6
S
θ (1) .
razy.
15 / 23
Metody klasy MCMC
g¦sto±ci
θ = (θ1 , θ2 , ..., θK )
o nieznanej
1
2
Losujemy kandydata
kandydatów,
3
4
q θ|θ
(0)
θ
∗
θ (0) = (θ1 , θ2 , ..., θK ).
.
Obliczamy
α θ ∗ , θ (0) .

θ ∗
θ (1) =
θ (0)
5
6
S
θ (1) .
razy.
15 / 23
Metody klasy MCMC
Algorytm MH g¦sto±¢ generuj¡ca kandydatów
W ogólnym przypadku zakªadamy, »e jest zale»na od bie»¡cego
punktu
θ (s) .
Najcz¦stsz¡ implementacj¡
jest
losujemy
ε∼N θ
(s)
,Σ
Random Walk
MH, gdzie
i rozwa»amy kandydata:
θ ∗ = θ (s) + ε
16 / 23
Metody klasy MCMC
Algorytm MH prawdopodobie«stwo akceptacji
1
Poniewa»
q
α
to funkcja umowna, korzystanie z niej bez dodatkowych
korekt nie gwarantuje nam uzyskania sekwencji losowa« przybli»aj¡cych
rozkªad
1
a posteriori.
Algorytm bez korekt zbyt cz¦sto pozostaje w obszarach o wysokiej
g¦sto±ci
2
a posteriori.
W zwi¡zku z tym musimy go skorygowa¢, by dostatecznie dobrze
zwiedzi¢ caª¡ dziedzin¦ parametrów.
2
Korekta polega na nieakceptowaniu wszystkich kandydatów wylosowanych
na podstawie g¦sto±ci
q.
W przypadku braku akceptacji, kolejnym
elementem ªa«cucha jest kopia poprzedniego.
1
Ogólny wzór na prawdopodobie«stwo akceptacji zale»y od g¦sto±ci
posteriori (p )
a
oraz g¦sto±ci generuj¡cej kandydatów (q ) dla
(s)
∗
wektorów: poprzedniego (θ ) oraz kandydata (θ ).
2
Random Walk : tylko od p, ale
p (θ ∗ |y )
α θ ∗ , θ (0) = min p θ(s−1) |y , 1
(
)
W implementacji
nie
q
17 / 23
Metody klasy MCMC
Algorytm MH prawdopodobie«stwo akceptacji
1
Poniewa»
q
α
to funkcja umowna, korzystanie z niej bez dodatkowych
korekt nie gwarantuje nam uzyskania sekwencji losowa« przybli»aj¡cych
rozkªad
1
a posteriori.
Algorytm bez korekt zbyt cz¦sto pozostaje w obszarach o wysokiej
g¦sto±ci
2
a posteriori.
W zwi¡zku z tym musimy go skorygowa¢, by dostatecznie dobrze
zwiedzi¢ caª¡ dziedzin¦ parametrów.
2
Korekta polega na nieakceptowaniu wszystkich kandydatów wylosowanych
na podstawie g¦sto±ci
q.
W przypadku braku akceptacji, kolejnym
elementem ªa«cucha jest kopia poprzedniego.
1
Ogólny wzór na prawdopodobie«stwo akceptacji zale»y od g¦sto±ci
posteriori (p )
a
oraz g¦sto±ci generuj¡cej kandydatów (q ) dla
(s)
∗
wektorów: poprzedniego (θ ) oraz kandydata (θ ).
2
Random Walk : tylko od p, ale
p (θ ∗ |y )
α θ ∗ , θ (0) = min p θ(s−1) |y , 1
(
)
W implementacji
nie
q
17 / 23
Metody klasy MCMC
Algorytm MH α
versus
q
Miar¡ jako±ci wyników jest m.in. ±rednie prawdopodobie«stwo akceptacji
ᾱ.
Okazuje si¦, »e optymalne warto±ci
ᾱ ∈ [0, 2; 0, 4].
Dostatecznie niskie
prawdopodobie«stwo akceptacji oznacza, »e dziedzina g¦sto±ci
posteriori
ᾱ
a
zostaªa dobrze wyeksplorowana.
to jednak warto±¢ wynikowa i nie mo»emy jej wprost wybra¢. Zale»y
ona przede wszystkim od doboru g¦sto±ci generuj¡cej kandydatów
W przypadku
q.
Random Walk MH , sprowadza si¦ to do
odpowiedniego ustalenia wariancji kroku
Relacj¦ mi¦dzy
ᾱ
a
Σ
ε,
czyli
Σ.
nale»y zbada¢ w ramach dodatkowej
procedury iteracyjnej.
(0)
Zaczynamy w niej od Σ
= c (0) · . W przypadku zbyt wysokiego
(0)
ᾱ zbyt cz¦sto akceptujemy, a wi¦c jeste±my zbyt konserwatywni w
(1)
zwiedzaniu dziedziny, czyli powinnismy ustali¢ c
> c (0) .
I
18 / 23
Metody klasy MCMC
Rozrzedzanie i zwielokrotnienie ªa«cucha
Aby unikn¡¢ efektu silnej autokorelacji w wygenerowanej sekwencji
θ (1) , θ (2) , ..., θ (S)
decydujemy si¦ czasami na jej rozrzedzanie
thinning), czyli wybór co m-tego elementu.
(
Eliminacja autokorelacji jest istotna, bo pozwala (i) pracowa¢ z
równie dªugimi ªa«cuchami ale o lepszej zawarto±ci
informacyjnej, (ii) uªatwia kalkulacj¦ miar zwi¡zanych z
diagnostyk¡ zbie»no±ci ªa«cucha (o tym nast¦pnym razem).
Zasadno±¢ tego zabiegu jest jednak czasami przedmiotem
kontrowersji w literaturze.
Cz¦sto decydujemy si¦ na u»ycie wi¦kszej liczby ªa«cuchów ni» tylko
jeden (to równie» przydaje si¦ w diagnostyce zbie»no±ci MCMC).
19 / 23
Metody klasy MCMC
Plan prezentacji
1
2
3
Metody klasy MCMC
4
20 / 23
Metody klasy MCMC
Podstawowe programy i pakiety
Nie istniej¡ na razie pakiety umo»liwiaj¡ce w peªni ogólne
wnioskowanie bayesowskie przeprowadzane wyª¡cznie za
pomoc¡ R.
Istniej¡ce pakiety do symulacji rozkªadu
a posteriori
s¡
interfejsami do programów zewn¦trznych, takich jak:
rstan )
STAN (
BUGS / WinBUGS / JAGS (
runjags, dclone, ...)
LaplacesDemon
R2WinBUGS, rjags, R2jags,
Na podstawie gotowych ªa«cuchów mo»emy wnioskowa¢ z
u»yciem pakietu
coda.
Istniej¡ równie» pakiety umo»liwiaj¡ce szybk¡ estymacj¦ wielu
modeli specjalnych (
MCMCpack, BMR, gEcon, ...).
21 / 23
Metody klasy MCMC
Analiza z u»yciem BUGS/JAGS
Istnieje wiele funkcji, które pozwalaj¡ próbkowa¢ z rozkªadu
posteriori:
a
jags.model + jags.samples (pakiet jags)
jags / jags2 / jags.parallel (pakiet R2jags)
jags.t / jags.part (pakiet dclone)
Posªu»ymy si¦ funkcj¡ jags.parallel z R2jags, której atutem
jest wzgl¦dna szybko±¢.
Niestety, darwinistyczna natura R nie pomaga w szybkim i
wiarygodnym zorientowaniu si¦ w dost¦pnych narz¦dziach... :)
22 / 23
Metody klasy MCMC
Praca z rjags / R2jags
1
Deniujemy nasz model w j¦zyku BUGS, jako funkcj¦ w R
(wiersze 46-56 towarzysz¡cego kodu).
2
Zapisujemy nasz model w pliku zewn¦trznym (polecenie
write.model z pakietu R2WinBUGS, wiersz 59).
3
Nadajemy R dost¦p do JAGS (wiersz 66; je»eli
zainstalowali±my JAGS sami, wówczas ten krok nale»y
pomin¡¢).
4
Uruchamiamy symulator a posteriori (70-79).
5
Mo»emy wyznaczy¢ ±redni¡ i dowoln¡ inn¡ statystyk¦
posteriori,
a
HPDI, numeryczny bª¡d standardowy.
6
Nale»y równie» zbada¢ zbie»no±¢ i korelacje w ªa«cuchach.
7
Porównania modeli mo»emy dokona¢ za pomoc¡ DIC
(deviance
information criterion).
23 / 23

Wykład specjalny dla SKN Ekonometrii

Transkrypt

Podobne dokumenty

Istnienie średnich czasowych oraz ich interpretacja fizyczna Prof. dr

Prof. dr hab. Władysław Welfe

lista tytułów w pdf

25 lat ekonometrii finansowej

Zadanie 1 (Metoda odrzucania)

1. Zmienna losowa S ma zªo»ony rozkªad Poissona CPoiss(10,p

Zadanie 3 - Uniwersytet Warszawski