slajdy 7 - Czaj.org

Mikroekonometria
7
Mikołaj Czajkowski
Wiktor Budziński
Testowanie hipotez

4 podstawowe testy

Przedział ufności




Test LR – iloraz wartości funkcji największej wiarygodności


Czy restrykcja prowadzi do istotnego pogorszenia LL?
Test Walda


Parametry mają asymptotyczny rozkład normalny
Znamy błąd standardowy
Czy parametr jest statystycznie różny od k (np. od 0)?
Czy estymator z restrykcjami nadal jest statystycznie istotny?
Test LM – test mnożników Lagrange’a



Czy estymator z restrykcjami jest blisko maksimum LL?
Więc, czy nachylenie funkcji LL w punkcie restrykcji jest bliskie 0?
Inaczej – czy gradient dla estymatora z restrykcjami jest bliski 0?
czaj.org
Hipotezy proste, hipotezy złożone


Hipotezą prostą nazywamy hipotezę w postaci np.: H 01 : β1 = 0
Hipotezą złożoną natomiast: H 01 : β1 = 0, H 02 : β 2 = 0, , H 0K : β K = 0

Testowanie osobno kilku hipotez prostych nie jest równoważne
testowaniu jednej hipotezy złożonej



Np. jeśli statystyki testowe dla hipotez prostych są od siebie
niezależne, to jeśli poziom istotności (p-stwo popełnienia błędu I
rodzaju) jest równe α dla każdej z hipotez prostych to dla hipotezy
K
złożonej wynosi ono: α * = 1 − (1 − α ) → 1
Różnicę α * − α nazywa się obciążeniem Lovella
Wybór modelu lepiej opierać o hipotezy złożone
czaj.org
Testowanie hipotez
czaj.org
Istotność parametrów

Istotność parametrów
z=


A nie t-studenta jak w regresji liniowej i MNK
H0: Parametr = β0


σˆ βˆ
Błędy standardowe z AVC
Wartość krytyczna z rozkładu standardowego normalnego


βˆ − β 0
Duże wartości absolutne statystyki z (małe p-value) => parametr jest
istotnie różny od β0 (np. od 0) na zadanym poziomie istotności
W NLOGIT – wyniki podawane automatycznie po estymacji dla
każdego parametru
czaj.org
Test LR

LR test


LR – likelihood ratio
Iloraz wartości funkcji największej wiarygodności
(
LR = −2 ln LˆR − ln LˆU

Nakładamy jakieś restrykcje na parametry




R i U – restricted, unrestricted (test tylko dla modeli zagnieżdżonych)
Model z restrykcjami zawsze jest nie lepszy niż model bez restrykcji, a
więc LR > 0
Wartość krytyczna z rozkładu chi-kwadrat z liczbą stopni swobody
równą liczbie restrykcji (w formie równań)
H0: Restrykcje nie pogarszają istotnie modelu


)
Duże wartości statystyki LR (małe p-value) – odrzucamy restrykcje (bo
istotnie pogarszają model)
Wymaga estymacji modelu bez i z ograniczeniami
czaj.org
Przykład – eko-jabłka c.d.
1.
2.
Czy każdy parametr jest istotny na poziomie 5%? 1%?
Czy wszystkie parametry łącznie są istotne?
MODEL
CALC
MODEL
CALC
CALC
3.


;
;
;
;
;
;
;
... $ model bez restrykcji
lu = logl$
... $ model z restrykcjami
lr = logl$
list
chisq = 2*(lu-lr)
1-chi(chisq,r)$
►
Jeśli wartość < α,
to można odrzucić
hipotezę, że
restrykcje nie
pogarszają
istotnie modelu
Porównaj twój wynik z tym raportowanym przez
NLOGIT po estymacji
Można zastosować do dowolnych zagnieżdżonych modeli
Podobny do testu F z regresji liniowej
czaj.org
Test Walda

Test Walda
 Idea: jeśli X  MVN J ( μ , Σ ) to ( X − μ )′ Σ −1 ( X − μ )  χ J2
 Jeśli E ( X ) = μ to wyrażenie ma rozkład chi-kwadrat z J stopniami

swobody
Jeśli E ( X ) ≠ μ to wyrażenie ma niecentralny rozkład chi-kwadrat


Dla zbioru restrykcji H0: c ( θ ) = q



Leży na prawo => daje większe wartości statystyki
Jeśli są prawdziwe, to θ̂ powinien je spełniać
Jeśli nie, to c θˆ − q będzie dalej od 0
()
Statystyka testu Walda
( ( ) )(
( ( ) )) ( c (θˆ ) − q)  χ
′
W = c θˆ − q AVC c θˆ − q
−1
2
J
czaj.org
Test Walda


Intuicyjnie – czy estymator z restrykcjami nadal jest
statystycznie istotny?
H0: Restrykcje nie pogarszają istotnie modelu


Duże wartości statystyki W (małe p-value) – odrzucamy restrykcje (bo
istotnie pogarszają model)
Nie wymaga estymacji modelu z ograniczeniami

Choć trzeba wyznaczyć AVC dla estymatora z restrykcjami

()
()
 ∂c θˆ
AVC c θˆ − q =
AVC θˆ 
 ∂θˆ ′
∂θˆ ′

∧
(() )
∂c θˆ
∧
()
Działa dla nieliniowych restrykcji

′



Dla liniowych R′θ = q prościej
)(
′
W = R′θˆ − q R′AVC θˆ  R
(
) (R′θˆ − q)
−1
czaj.org
Test Walda
 Jeśli c ( θˆ ) = q jest pojedynczą restrykcją – test Walda działa
tak samo jak statystyka z i test przedziału ufności
H1 : θ ≠ θ 0
H0 : θ = θ 0
) =z
W = ( (θˆ − θ ) − 0 ) AVC ( (θˆ − θ ) − 0 ) ( (θˆ − θ ) − 0 )
AVC (θˆ )
−1
0


0
2
0
2
z=
θˆ − θ 0
σˆθˆ
Statystyka W ma rozkład chi-kwadrat z 1 stopniem swobody,
czyli rozkład kwadratu statystyki standardowej normalnej
Wada: test nie jest niewrażliwy na sformułowanie restrykcji


0
(
=
θˆ − θ
Np. dla przetestowania, czy β (1 − γ ) = q jest równe q można
testować β (1 − γ ) − q = 0 lub β − q (1 − γ ) = 0 – mają różne AVC
Zaleta: nie wymaga dodatkowych założeń o rozkładach
(jak statystyki LR i LM)
czaj.org
Przykład – eko-jabłka c.d.
Czy ceny zwykłych jabłek
i eko-jabłek mają tę samą
siłę oddziaływania
(choć w przeciwną stronę)?
Czy cena eko-jabłek ma
inny wpływ na mężczyzn
niż na kobiety?
1.
2.



Zbadaj wykorzystując test LR
Zbadaj wykorzystując test Walda
MODEL
; ...
; test: x1 + x2 = c $
? p-value tego, że x1 + x2 – c
? różne of zera
WALD
; fn1 = b_x1 + b_x2 – c $
WALD
; start = b
; var = varb
(; labels = ...)
; fn1 = b1 – b2 – c $
Wymuszanie równości lub określonej wartości parametrów
MODEL
; ...
; rst: b1, b2, b2, 0, b5, ... $
czaj.org
Test LM

Test LM


Test mnożników Lagrange’a (Lagrange Multiplier)
Idea: maksymalizujemy funkcję LL z ograniczeniami (restrykcjami) c θˆ − q = 0



∂ ln L∗ ( θ )
∂θ
∂ ln L∗ ( θ )
∂λ


(() )
ˆ −q
Funkcja Lagrange’a: ln L ( θ ) = ln L ( θ ) + λ ′ c θ
λ – wektor mnożników Lagrange’a
Rozwiązanie:
∗
=
()
∂ ln L ( θ )  ∂c ( θ ) ′
+
 λ=0
∂θ
 ∂θ′ 
()
= c θˆ − q = 0
Jeśli restrykcje są uzasadnione, wartość funkcji LL nie powinna się istotnie
pogorszyć => drugi składnik w wyrażeniu na pochodne funkcji LL po θ
(a dokładniej λ) będzie mały – na tym polega test
Inaczej – gradient funkcji LL dla wektora z restrykcjami będzie mały
czaj.org
Test LM

Statystyka testu LM
−1
 N
′  N

 N

′
LM = g′Vg =   gi X i    E ( −hi ) X i X i    gi X i 
 i =1
  i =1
  i =1




Nie wymaga estymacji modelu bez ograniczeń


Gdzie g – macierz pierwszych pochodnych (gradient) modelu bez
restrykcji, wyznaczonych dla wektora parametrów z restrykcjami, a V –
macierz AVC (dla bardziej skomplikowanych modeli – może być
estymator macierzy AVC (np. BHHH), zamiast wartości oczekiwanej)
Test ma rozkład chi-kwadrat z liczbą stopni swobody równą liczbie
restrykcji
Choć trzeba wyznaczyć gradient dla wektora parametrów bez restrykcji
H0: Restrykcje nie pogarszają istotnie modelu

Duże wartości statystyki LM (małe p-value) – odrzucamy restrykcje (bo
istotnie pogarszają model)
czaj.org
Przykład – eko-jabłka c.d.
Przeprowadź LM test tego, że łącznie:
1.


Wpływ ceny eko-jabłek i zwykłych jabłek jest, co do wartości
bezwzględnej, taki sam
Dochód gospodarstwa domowego nie ma znaczenia
Implementacja w NLOGIT:
► Przygotuj wektor parametrów z ograniczeniami
► Dokonaj estymacji modelu bez restrykcji, wykorzystując wektor z
restrykcjami jako punkt startowy; ogranicz liczbę iteracji do 0
(co automatycznie wywoła test LM)

Wprowadzenie ograniczeń liniowych do modelu:
MODEL

; ...
; CML: x1 + x2 = z, 0.3*x3 + x5 - 0.3 = 0 $
Ustawienie wartości startowych i maksymalnej liczby iteracji:
MODEL
; ...
; start = <wektor>
; maxit = <skalar>$
CALC
; list; 1 – chi(lmstat,k)$
czaj.org
Testowanie hipotez – zastosowania
Test homogeniczności podprób

Test homogeniczności podprób
 liczba grup

χ = 2   LLn − LLcała próba 
 n =1

2


1.
Statystyka testu ma rozkład chi-kwadrat z liczbą stopni
swobody równą (liczbie parametrów) * (liczbie grup – 1)
To samo można uzyskać dodając do modelu interakcje
parametrów ze zmiennymi binarnymi dla grup i testując ich
łączną istotność (np. wykorzystując testy LR, LM lub Walda)
Sprawdź, czy mężczyźni mają inne preferencje niż
kobiety, jeśli chodzi o decyzje dotyczące zakupu ekojabłek
czaj.org
Testowanie hipotez – zastosowania
Testy homoskedastyczności

Testy homoskedastyczności (stała wariancja składnika
losowego)


Mogą wyłapywać także inne problemy (np. błędną specyfikację
modelu), ich moc jest zatem wątpliwa
Można je zaimplementować dodając zmienne objaśniające ε
(co zrobimy dopiero w przyszłości…) i wykorzystać jeden ze
znanych testów dla modeli zagnieżdżonych (LR, LM, Wald)
czaj.org
Niepoprawność założeń modelu binarnego – skutki

W modelach regresji liniowej:



y = β′X + γ′Z + ε
Pominięte zmienne (Z) – o ile X i Z nie są ortogonalne, lub γ = 0
– estymator β jest obciążony
Heteroskedastyczność – o ile ε nie jest homoskedastyczny
(wariancja składnika losowego nie jest równa dla różnych
obserwacji) – estymator OLS jest nadal nieobciążony i zgodny,
ale jest nieefektywny
W modelach binarnych


Pominięte zmienne – nawet jeśli pominięte zmienne są
nieskorelowane z tymi uwzględnionymi w modelu – estymator
ML nie jest zgodny
Heteroskedastyczność – estymator ML nie jest zgodny

A to problem, bo dane mikro często są heteroskedastyczne
czaj.org
Test specyfikacji

Testy specyfikacji (istotność pominiętych zmiennych)


Dość łatwe w implementacji gdy modele zagnieżdżone
Dla modeli niezagnieżdżonych



H0: W modelu powinny być wykorzystane inne zmienne
y* = β′X + ε vs. y* = γ′Z + ε
Test Vuonga
Dla probit – test Davidsona-MacKinnona
czaj.org
Test Vuonga – dla niezagnieżdżonych modeli



Mamy dwa rywalizujące, niezagnieżdżone modele, oba
oszacowane ML (LL0, LL1)
Oba mogą być błędne – test pozwala sprawdzić, który jest
bliższy 'prawdy' (zakładamy, że prawdziwy model istnieje)
Zakładamy, że obserwacje w próbie (odchylenia) są
warunkowo niezależne

Li – indywidualny wkład każdej obserwacji do funkcji L
 ln L =

N
 ln L
i =1
i
Typowy test LR (jeśli modele byłyby zagnieżdżone)
N
N
i =1
i =1
LR = −2 ( LL1 − LL0 ) = −2 (ln Li ,1 − ln Li ,0 ) = −2 mi = −2Nmi

Wtedy

N
i =1
mi < 0 , bo LL1 – model z restrykcjami (więc LL1 < LL0)
czaj.org
Test Vuonga – dla niezagnieżdżonych modeli


Jeśli modele niezagnieżdżone –  i =1 mi nie musi być <0
Kryterium informacyjne Kullbacka-Leiblera
N

Mierzy dystans (w sensie wartości funkcji LL) między
prawdziwym h (Yi |X i , α ) , a innym modelem f (Yi |X i , β )
KLIC = E (ln h ( Yi |X i , α )|h jest prawdziwe ) − E (ln f ( Yi |X i , β )|h jest prawdziwe )

Oczywiście nie znamy h ( Yi |X i , α ) , ale możemy porównać
różnicę KLIC dwóch modeli:
KLIC1 − KLIC 0 = E (ln f ( Yi |X i , β )|h jest prawdziwe ) − E (ln g ( Yi |X i , γ )|h jest prawdziwe )


Niepotrzebna znajomość 'prawdziwego' modelu
Przypomina statystykę LR, ale bez *-2 i teraz może wyjść <0
czaj.org
Test Vuonga – dla niezagnieżdżonych modeli

Test Vuonga wykorzystuje różnicę KLIC dla 2 modeli,
opisując zachowanie następującej statystyki:
V=



►
►
►
1 N

N   mi 
 N i =1  ,
1 N
2
( mi − m )

N i =1
mi = ln Li ,1 − ln Li ,0
D
→ N ( 0,1)
Jeśli oba modele są ekwiwalentne, to V ⎯⎯
a. s.
Jeśli 1 jest 'lepszy' to V ⎯⎯
→ +∞
a. s.
Jeśli 0 jest 'lepszy' to V ⎯⎯
→ −∞
Duża liczba dodatnia (>1,96) => model 1 lepszy
Duża liczba ujemna (<-1,96) => model 0 lepszy
Wartość pomiędzy – wynik niejednoznaczny
czaj.org
Test Vuonga – przykład
1.
Przetestuj, czy dla modelowania zakupu eko-jabłek
bardziej poprawny jest model logit czy probit
MODEL
CREATE
MODEL
CREATE
CREATE
CALC
;
;
;
;
;
;
;
... $
li0 = logl_obs$
... $
li1 = logl_obs$
mi = li1 – li0$
list
vtest = sqr(n)*xbr(mi)/sdv(mi)$
Jeśli modele mają różną liczbę parametrów:
► Korekta Schwarza (1978) oparta na BIC – dodać wyrażenie
► (p/2)*log(n) - (q/2)*log(n)
► Gdzie p,q – liczba parametrów w modelach 0 i 1
czaj.org
Inne testy dla probit*
Test specyfikacji Davidsona-MacKinnona



Porównuje 2 alternatywne (niezagnieżdżone) specyfikacje dla probit
Wartość krytyczna ze standardowego rozkładu normalnego
Może dawać sprzeczne rezultaty
 Jak to zrobić w NLOGIT?
NAMELIST; x = <lista zmiennych objaśniających>
; z = <lista innych zmiennych objaśniających>$
PROBIT ; Lhs = y
; Rhs = x$
CREATE ; xbeta = x’b
; fx = N01(xbeta)
; px = Phi(xbeta)
; v = Sqr(px*(1-px))
; dev = (y - px) / v
; xv = fx*xbeta / v $
PROBIT ; Lhs = y
; Rhs = z $
CREATE ; pz = Phi(z’b)
► I sprawdzić p-value
; test = (px - pz) / v $
dla 'test'
czaj.org
REGRESS; Lhs = dev ; Rhs = xv,test$
Inne testy dla probit*
Test poprawności założenia o rozkładzie normalnym probit

Test poprawności założenia o rozkładzie normalnym dla
modelu probit (Bera, Jarque i Lee, 1984)

Porównuje 3 i 4 moment zmiennej z ich wartością oczekiwaną,
przy założeniu normalności rozkładu
 N φi ( β′X i ) (Yi − Φ i ( β′X i ) )
′
X i , m3i , m4 i )′  ×
LM =  
(
 i =1 Φ i ( β′X i ) (1 − Φ i ( β′X i ) )



−1
2
N
 N

φi ( β′X i )
′

X i , m3i , m4 i ) ( X i , m3i , m4 i ) E ( −hi ) X i X i′  ×
(
 i =1 Φ i ( β′X i ) (1 − Φ i ( β′X i ) )

i =1


 N φi ( β′X i ) (Yi − Φ i ( β′X i ) )

′

( X , m3i , m4 i ) 
 i =1 Φ i ( β′X i ) (1 − Φ i ( β′X i ) ) i



Na szczęście implementacja nie jest taka straszna:
czaj.org
Inne testy dla probit*
Test poprawności założenia o rozkładzie normalnym probit

Test poprawności założenia o rozkładzie normalnym dla
modelu probit (Bera, Jarque i Lee, 1984)

Jak to zrobić w NLOGIT?
NAMELIST; x = one,...$
PROBIT ; lhs = y
 Jak to zrobić w NLOGIT?
; rhs = x$
CREATE ; ai = b'x
; fi = Phi(ai)
; dfi = N01(ai)
; di = (y-fi) * dfi /(fi*(1-fi))
; ci = dfi^2 /(fi*(1-fi))
; m3i = -1/2*(ai^2-1)
; m4i = 1/4*(ai*(ai^2+3))$
NAMELIST; z = x,m3i,m4i$
MATRIX ; List
; LM = di’z * <z'[ci]z> * z'di$
►
I sprawdzić p-value
dla statystyki LM
(czy można odrzucić
hipotezę
normalności)
czaj.org
Praca domowa ME.7
Posłuż się dowolnie wybranym zbiorem danych i dla
wybranych przez siebie (ale nieprzetestowanych na
zajęciach) hipotez zastosuj następujące testy :
1.






2.

Test przedziału ufności
LR test
Test Walda
LM test
Test Vuonga
Test homogeniczności podprób
Zinterpretuj uzyskane wyniki
Do przygotowania w grupach dwuosobowych
czaj.org
2015-11-11 22:15:18