Testowanie i nakładanie restrykcji nierówności na znak parametrów

Transkrypt

Wprowadzenie
Porównanie modeli: restrykcje w postaci nierówno±ci
Estymacja z uwzgl¦dnieniem restrykcji w postaci nierówno±ci
Ekonometria Bayesowska
Wykªad 8: Restrykcje w postaci nierówno±ci
Andrzej Torój
1 / 21
Wprowadzenie
Plan wykªadu
1
Wprowadzenie
2
3
2 / 21
Wprowadzenie
Plan prezentacji
1
Wprowadzenie
2
3
3 / 21
Wprowadzenie
Podej±cie klasyczne a bayesowskie
Rozwa»my model regresji liniowej:
yt = β0 + β1 x1,t + β2 x2,t + εt
Gdy INTERESUJE NAS, CZY β1 > b1 (lub np.
β1 > b ∧ β2 > b2 ):
w podej±ciu klasycznym: sprawdzamy, czy nierówno±¢
speªniona punktowo oraz czy punkt b1 (lub (b1 , b2 )) znajduje
si¦ poza przedziaªem (elips¡) ufno±ci
w podej±ciu bayesowskim: mo»emy wyznaczy¢
prawdopodobie«stwo a posteriori speªnienia nierówno±ci i
odpowiedni iloraz szans a posteriori
Gdy WIEMY, »e β1 > b1 :
w podej±ciu klasycznym: pozostaj¡ nam nieliniowe
transformacje parametrów, które wymuszaj¡ speªnienie
nierówno±ci, ale równocze±nie nastr¦czaj¡ trudno±ci
numerycznych i utrudniaj¡ wnioskowanie statystyczne
w podej±ciu bayesowskim: mo»emy uwzgl¦dni¢ nierówno±¢
jako informacj¦ a priori
4 / 21
Wprowadzenie
yt = β0 + β1 x1,t + β2 x2,t + εt
β1 > b ∧ β2 > b2 ):
4 / 21
Wprowadzenie
yt = β0 + β1 x1,t + β2 x2,t + εt
β1 > b ∧ β2 > b2 ):
4 / 21
Wprowadzenie
Plan prezentacji
1
Wprowadzenie
2
3
5 / 21
Wprowadzenie
Iloraz szans
a posteriori
Rozwa»my model regresji liniowej: yt = xt β + εt
Rozwa»amy zestaw J restrykcji liniowych w postaci
nierówno±ci: R β ≥ r
gdzie: β k×1 ,
R J×k , r J×1 , r (R ) = J .
Rozwa»my dwa konkurencyjne modele:
M1 : model pierwszy ze speªnionym zestawem restrykcji
Rβ ≥ r
M2 : model drugi, w którym przynajmniej jedna restrykcja nie
jest speªniona
Iloraz szans a posteriori:
PO12 =
P(M1 |y )
P(M2 |y )
=
p(R β≥r |y )
1−p(R β≥r |y )
6 / 21
Wprowadzenie
Iloraz szans
a posteriori
gdzie: β k×1 ,
R J×k , r J×1 , r (R ) = J .
Rβ ≥ r
jest speªniona
PO12 =
P(M1 |y )
P(M2 |y )
=
p(R β≥r |y )
1−p(R β≥r |y )
6 / 21
Wprowadzenie
Iloraz szans
a posteriori
gdzie: β k×1 ,
R J×k , r J×1 , r (R ) = J .
Rβ ≥ r
jest speªniona
PO12 =
P(M1 |y )
P(M2 |y )
=
p(R β≥r |y )
1−p(R β≥r |y )
6 / 21
Wprowadzenie
Iloraz szans
a posteriori
gdzie: β k×1 ,
R J×k , r J×1 , r (R ) = J .
Rβ ≥ r
jest speªniona
PO12 =
P(M1 |y )
P(M2 |y )
=
p(R β≥r |y )
1−p(R β≥r |y )
6 / 21
Wprowadzenie
Prawdopodobie«stwo restrykcji w modelu N-G
Wiemy, »e w modelu N-G wektor β ma wielowymiarowy
rozkªad t β, s 2 U , v .
Za pomoc¡ odpowiedniego twierdzenia ªatwo ustali¢ rozkªad
wektora R β .
Twierdzenie
Je»eli β k×1 ∼ t β, s 2 U , v , a macierz
(R β)J×1 ∼ t R β, s 2 RUR T , v
R J×k
jest nielosowa, to
Wówczas p (R β ≥ r |y ) mo»na ªatwo wyznaczy¢ korzystaj¡c z
powy»szego rozkªadu t.
7 / 21
Wprowadzenie
Zadanie
Wró¢my do modelu popytu na benzyn¦ (zaj¦cia 4).
Wyznaczmy ilorazy szans a posteriori dla modelu bez restrykcji
i modelu, w którym:
1
2
3
elastyczno±¢ cenowa popytu jest ujemna;
elastyczno±¢ cenowa popytu dla obu dóbr komplementarnych
(nowe i u»ywane samochody) jest ujemna;
wszystkie elastyczno±ci cenowe s¡ ujemne, a elastyczno±¢
dochodowa dodatnia.
8 / 21
Wprowadzenie
Zadanie - wskazówka
Dystrybuanta rozkªadu t: pmvt
β1 < 0, β2 < 0, β
3 <

 0, β4> 0:
1
β1



 
1

  β2  < 



1
β3  
−1
β4

0
0 

0 
0
9 / 21
Wprowadzenie
Plan prezentacji
1
Wprowadzenie
2
3
10 / 21
Wprowadzenie
Autorzy
Niniejszy materiaª opracowano na podstawie tekstu autorstwa
mgra Bartosza Olesi«skiego...
...oraz bazy danych autorstwa
Macieja Iwi«skiego.
11 / 21
Wprowadzenie
Przykªad
Rozwa»amy model hedoniczny wyceny samochodów marki
BMW. Logarytm ceny zostanie uzale»niony od nast¦puj¡cych
zmiennych:
rok produkcji (produkcja);
moc silnika (moc, jako ln);
przebieg (przebieg, jako ln);
fakt, »e samochód jest bezwypadkowy (bezwypadkowy,
zmienna binarna);
fakt, »e samochód sprzedawany przez pierwszego wªa±ciciela
(wlasciciel, zmienna binarna);
rodzaj paliwa (paliwo: 1 je»eli diesel, zmienna binarna);
automatyczna skrzynia biegów (skrzynia: 1 je»eli wyst¦puje,
zmienna binarna).
12 / 21
Wprowadzenie
Analiza metodami klasycznymi
Importujemy zbiór danych.
W jaki sposób poszczególne zmienne powinny si¦ co do
kierunku przekªada¢ na cen¦ pojazdu?
Szacujemy parametry równania regresji liniowej za pomoc¡
KMNK.
Czy wyniki estymacji koresponduj¡ ze sformuªowanymi
wcze±niej hipotezami?
13 / 21
Wprowadzenie
Analiza bayesowska rozkªady
Zmienna
produkcja
moc
przebieg
bezwypadkowy
wlasciciel
paliwo
skrzynia
staªa
precyzja
a priori
(1)
Parametr Wiedza a priori G¦sto±¢ a priori
β1
β2
β3
β4
β5
β6
β7
β0
h
>0
>0
<0
>0
>0
>0
>0
>0
IR +
IR +
IR −
IR +
IR +
IR +
IR +
IR
gamma
14 / 21
Wprowadzenie
a priori
(2)
Wiedza o znakach parametrów chcemy traktowa¢ jako jedyn¡ informacj¦
a priori.
Ma ona zast¡pi¢, a nie uzupeªni¢ wiedz¦
a priori,
któr¡ mieli±my
pracuj¡c z rozkªadem N-G, tj. wielowymiarowy rozkªad normalny
a priori.
a
Warto zaznaczy¢, »e w modelu N-G skrajnie nieinformacyjny rozkªad
priori
przyjmuje posta¢:
p (β, h) ∝
1
h
h ∈ R +, β ∈ R k
,
Sk¡d to wiemy?
a priori z zerow¡ liczebno±ci¡ hipotetycznej
+ k = 0), tym samym zerow¡ sum¡ kwadratów
oraz U → ∞ (niesko«czenie wysoka wariancja a
Rozwa»my rozkªad
pierwszej próby (v
reszt (v s
priori
i
2
= 0)
U −1 → 0).
Ze wzorów z wykªadu 4 wiemy, »e w takim ukªadzie
−1
T
2
2
=
, v̄ = N oraz v s = v̂ ŝ .
U
X X
Wówczas
β
β̄ = β̂ ,
pozostaje bez znaczenia, a powy»sze wyniki mo»na
uzyska¢, mno»¡c g¦sto±¢ próbkow¡ wªa±nie przez g¦sto±¢
1
proporcjonaln¡ do h :
h
p (β, h)
∝
exp
− 2h β − β
T
U −1
β−β
i
h
a priori
2 −1 exp
v +k
− 2h v s 2
15 / 21
Wprowadzenie
a priori
(2)
Wiedza o znakach parametrów chcemy traktowa¢ jako jedyn¡ informacj¦
a priori.
Ma ona zast¡pi¢, a nie uzupeªni¢ wiedz¦
a priori,
któr¡ mieli±my
pracuj¡c z rozkªadem N-G, tj. wielowymiarowy rozkªad normalny
a priori.
a
Warto zaznaczy¢, »e w modelu N-G skrajnie nieinformacyjny rozkªad
priori
przyjmuje posta¢:
p (β, h) ∝
1
h
h ∈ R +, β ∈ R k
,
Sk¡d to wiemy?
a priori z zerow¡ liczebno±ci¡ hipotetycznej
+ k = 0), tym samym zerow¡ sum¡ kwadratów
oraz U → ∞ (niesko«czenie wysoka wariancja a
Rozwa»my rozkªad
pierwszej próby (v
reszt (v s
priori
i
2
= 0)
U −1 → 0).
Ze wzorów z wykªadu 4 wiemy, »e w takim ukªadzie
−1
T
2
2
=
, v̄ = N oraz v s = v̂ ŝ .
U
X X
Wówczas
β
β̄ = β̂ ,
pozostaje bez znaczenia, a powy»sze wyniki mo»na
uzyska¢, mno»¡c g¦sto±¢ próbkow¡ wªa±nie przez g¦sto±¢
1
proporcjonaln¡ do h :
h
p (β, h)
∝
exp
− 2h β − β
T
U −1
β−β
i
h
a priori
2 −1 exp
v +k
− 2h v s 2
15 / 21
Wprowadzenie
a priori
(3)
W modelu N-G ze skranie nieinformacyjnym rozkªadem a
priori:
p (β, h) ∝ h1 ,
h ∈ R +, β ∈ R k
Nasza dodatkowa wiedza o ograniczeniach dla parametrów
skutkuje nast¦puj¡c¡ postaci¡ rozkªadu a priori:
Niech B = {β ∈ R : β1 , β2 , β4 , β5 , β6 , β7 > 0 β3 < 0}
p (β, h) ∝ h1 ·IB ,
h ∈ R +, β ∈ R k
Nast¡piªo zaw¦»enie dziedziny o zbiory, którym w modelu N-G
przypisywali±my niezerow¡ g¦sto±¢ a priori.
Powtórzenie dotychczasowych rozumowa« w prosty sposób
prowadzi do uzyskania wyra»enia proporcjonalnego do g¦sto±ci
brzegowej a posteriori dla β :
p (β|y ) ∝ ft β|β, s 2 U , v ·IB
16 / 21
Wprowadzenie
a priori
(3)
priori:
p (β, h) ∝ h1 ,
h ∈ R +, β ∈ R k
p (β, h) ∝ h1 ·IB ,
h ∈ R +, β ∈ R k
p (β|y ) ∝ ft β|β, s 2 U , v ·IB
16 / 21
Wprowadzenie
a priori
(3)
priori:
p (β, h) ∝ h1 ,
h ∈ R +, β ∈ R k
p (β, h) ∝ h1 ·IB ,
h ∈ R +, β ∈ R k
p (β|y ) ∝ ft β|β, s 2 U , v ·IB
16 / 21
Wprowadzenie
Metody numeryczne
Jak dot¡d posªugiwali±my si¦ wyprowadzeniami analitycznymi,
aby znale¹¢ np. warto±¢ oczekiwan¡ lub wariancj¦ parametru a
posteriori. Jak ju» wiemy, to mo»liwe w nielicznych
przypadkach.
W ogólnym przypadku si¦gamy do metod numerycznych, które
odwzorowuj¡ S -krotne losowanie wektora parametrów z
rozkªadu a posteriori (θ (1) , θ (2) , ..., θ (S) ). Dysponuj¡c takimi
wynikami losowania, mo»emy:
Naszkicowa¢ histogram.
Oszacowa¢ warto±¢ oczekiwan¡ dowolnej funkcji parametrów
S
P
g (θ) jako S1
g θ (s) .
s=1
Dzi± poznamy pierwsz¡ z nich: importance sampling.
Jest stosunkowo prosta i nadaje si¦ dobrze do rozwa»anego
problemu.
17 / 21
Wprowadzenie
Metody numeryczne
przypadkach.
S
P
g (θ) jako S1
g θ (s) .
s=1
problemu.
17 / 21
Wprowadzenie
Metody numeryczne
przypadkach.
S
P
g (θ) jako S1
g θ (s) .
s=1
problemu.
17 / 21
Wprowadzenie
Importance sampling
Twierdzenie: importance sampling
Niech q (θ) oznacza znan¡ funkcj¦ g¦sto±ci, z której mo»emy
losowa¢ S -krotnie wektor θ (θ (1) , θ (2) , ..., θ (S) ), i której dziedzina
zawiera dziedzin¦ nieznanej funkcji g¦sto±ci a posteriori p (θ|y ).
Wówczas istnieje funkcja
S
P
p θ=θ(s) |y
w (θ (s) )g (θ (s) )
(
)
(s)
gdzie
w
θ
=
ĝS = s=1 P
S
q (θ=θ (s) )|
(s)
w (θ )
s=1
zbiegaj¡ca do warto±ci oczekiwanej a posteriori g (θ) wraz ze
wzrostem S .
W teorii: metoda bardzo uniwersalna.
W praktyce: trudna do stosowania, gdy» daje sensowne wyniki
jedynie w przypadku, gdy q (θ) stanowi pewne przybli»enie
p (θ|y ).
18 / 21
Wprowadzenie
Zastosowanie
importance sampling
(1)
Niech q(β (s) ) = ft β (s) |β, s 2 U , v , czyli funkcja q b¦dzie
g¦sto±ci¡ brzegow¡ a posteriori wektora β w modelu N-G ze
skrajnie nieinformacyjnym rozkªadem a posteriori.
Dla ka»dego wyniku losowania (s) mo»liwe s¡ wówczas dwa
przypadki:
p (β (s) |y )
ft (β (s) |β,s 2 U ,v )·IB
w β (s)
=
=
=
(s)
q (β (
ft (β (s) |β,s 2 U ,v )
)
1 dla β (s) ∈ B
= IB =
0 dla β (s) ∈
/B
Oznacza to, »e licz¡c warto±¢ oczekiwan¡ i wariancj¦ a
posteriori powinni±my u±redni¢ wszystkie wyniki losowania,
które speªniaj¡ narzucone restrykcje (tzn. nale»¡ do zbioru B ),
a pozostaªe przypadki odrzuci¢.
19 / 21
Wprowadzenie
Zastosowanie
importance sampling
(2)
Oznacza to równie», »e funkcja g¦sto±ci a posteriori jest
modykacj¡ jej odpowiednika w modelu N-G, z nast¦puj¡cymi
ró»nicami:
jej dziedzin¡ jest zbiór B ,
g¦sto±¢ jest przeskalowana w taki sposób, by caªkowa¢ si¦ do 1
1
(staª¡ skaluj¡c¡ mo»emy wyznaczy¢ jako p(R β≥
r |y ) lub
oszacowa¢ jako odwrotno±¢ odsetka wylosowanych obserwacji
nale»¡cych do B ).
20 / 21
Wprowadzenie
Zadania domowe
1. Zaproponuj post¦powanie sprawdzaj¡ce, który z modeli regresji
liniowej: klasyczny z parametrami oszacowanymi KMNK czy
bayesowski z restrykcjami a priori naªo»onymi na znaki lepiej
prognozuje ceny BMW.
2. Przeprowad¹ analiz¦ bayesowsk¡ modelu popytu na paliwa z
uzasadnionymi ekonomicznie restrykcjami nierówno±ciowymi
naªo»onymi a priori.
21 / 21

Testowanie i nakładanie restrykcji nierówności na znak parametrów

Transkrypt

Podobne dokumenty

dr Marian Maciejewski - Filologia polska UAM w Kaliszu

WYNIKI KONTROLI WŁAŚCIWOŚCI ANTYPOŚLIZGOWEJ Metoda

Santorini - Koupelny JaS

Zadania na Zaj¦cia Wyrównawcze z Matematyki Zestaw nr 2

klucz - egzaminy.edu.pl

Spis treści

WYNIKI KONTROLI WŁAŚCIWOŚCI ANTYPOŚLIZGOWYCH Metoda

Bambus mix beige