slajdy 7 - Czaj.org
Transkrypt
slajdy 7 - Czaj.org
Mikroekonometria 7 Mikołaj Czajkowski Wiktor Budziński Testowanie hipotez 4 podstawowe testy Przedział ufności Test LR – iloraz wartości funkcji największej wiarygodności Czy restrykcja prowadzi do istotnego pogorszenia LL? Test Walda Parametry mają asymptotyczny rozkład normalny Znamy błąd standardowy Czy parametr jest statystycznie różny od k (np. od 0)? Czy estymator z restrykcjami nadal jest statystycznie istotny? Test LM – test mnożników Lagrange’a Czy estymator z restrykcjami jest blisko maksimum LL? Więc, czy nachylenie funkcji LL w punkcie restrykcji jest bliskie 0? Inaczej – czy gradient dla estymatora z restrykcjami jest bliski 0? czaj.org Hipotezy proste, hipotezy złożone Hipotezą prostą nazywamy hipotezę w postaci np.: H 01 : β1 = 0 Hipotezą złożoną natomiast: H 01 : β1 = 0, H 02 : β 2 = 0, , H 0K : β K = 0 Testowanie osobno kilku hipotez prostych nie jest równoważne testowaniu jednej hipotezy złożonej Np. jeśli statystyki testowe dla hipotez prostych są od siebie niezależne, to jeśli poziom istotności (p-stwo popełnienia błędu I rodzaju) jest równe α dla każdej z hipotez prostych to dla hipotezy K złożonej wynosi ono: α * = 1 − (1 − α ) → 1 Różnicę α * − α nazywa się obciążeniem Lovella Wybór modelu lepiej opierać o hipotezy złożone czaj.org Testowanie hipotez czaj.org Istotność parametrów Istotność parametrów z= A nie t-studenta jak w regresji liniowej i MNK H0: Parametr = β0 σˆ βˆ Błędy standardowe z AVC Wartość krytyczna z rozkładu standardowego normalnego βˆ − β 0 Duże wartości absolutne statystyki z (małe p-value) => parametr jest istotnie różny od β0 (np. od 0) na zadanym poziomie istotności W NLOGIT – wyniki podawane automatycznie po estymacji dla każdego parametru czaj.org Test LR LR test LR – likelihood ratio Iloraz wartości funkcji największej wiarygodności ( LR = −2 ln LˆR − ln LˆU Nakładamy jakieś restrykcje na parametry R i U – restricted, unrestricted (test tylko dla modeli zagnieżdżonych) Model z restrykcjami zawsze jest nie lepszy niż model bez restrykcji, a więc LR > 0 Wartość krytyczna z rozkładu chi-kwadrat z liczbą stopni swobody równą liczbie restrykcji (w formie równań) H0: Restrykcje nie pogarszają istotnie modelu ) Duże wartości statystyki LR (małe p-value) – odrzucamy restrykcje (bo istotnie pogarszają model) Wymaga estymacji modelu bez i z ograniczeniami czaj.org Przykład – eko-jabłka c.d. 1. 2. Czy każdy parametr jest istotny na poziomie 5%? 1%? Czy wszystkie parametry łącznie są istotne? MODEL CALC MODEL CALC CALC 3. ; ; ; ; ; ; ; ... $ model bez restrykcji lu = logl$ ... $ model z restrykcjami lr = logl$ list chisq = 2*(lu-lr) 1-chi(chisq,r)$ ► Jeśli wartość < α, to można odrzucić hipotezę, że restrykcje nie pogarszają istotnie modelu Porównaj twój wynik z tym raportowanym przez NLOGIT po estymacji Można zastosować do dowolnych zagnieżdżonych modeli Podobny do testu F z regresji liniowej czaj.org Test Walda Test Walda Idea: jeśli X MVN J ( μ , Σ ) to ( X − μ )′ Σ −1 ( X − μ ) χ J2 Jeśli E ( X ) = μ to wyrażenie ma rozkład chi-kwadrat z J stopniami swobody Jeśli E ( X ) ≠ μ to wyrażenie ma niecentralny rozkład chi-kwadrat Dla zbioru restrykcji H0: c ( θ ) = q Leży na prawo => daje większe wartości statystyki Jeśli są prawdziwe, to θ̂ powinien je spełniać Jeśli nie, to c θˆ − q będzie dalej od 0 () Statystyka testu Walda ( ( ) )( ( ( ) )) ( c (θˆ ) − q) χ ′ W = c θˆ − q AVC c θˆ − q −1 2 J czaj.org Test Walda Intuicyjnie – czy estymator z restrykcjami nadal jest statystycznie istotny? H0: Restrykcje nie pogarszają istotnie modelu Duże wartości statystyki W (małe p-value) – odrzucamy restrykcje (bo istotnie pogarszają model) Nie wymaga estymacji modelu z ograniczeniami Choć trzeba wyznaczyć AVC dla estymatora z restrykcjami () () ∂c θˆ AVC c θˆ − q = AVC θˆ ∂θˆ ′ ∂θˆ ′ ∧ (() ) ∂c θˆ ∧ () Działa dla nieliniowych restrykcji ′ Dla liniowych R′θ = q prościej )( ′ W = R′θˆ − q R′AVC θˆ R ( ) (R′θˆ − q) −1 czaj.org Test Walda Jeśli c ( θˆ ) = q jest pojedynczą restrykcją – test Walda działa tak samo jak statystyka z i test przedziału ufności H1 : θ ≠ θ 0 H0 : θ = θ 0 ) =z W = ( (θˆ − θ ) − 0 ) AVC ( (θˆ − θ ) − 0 ) ( (θˆ − θ ) − 0 ) AVC (θˆ ) −1 0 0 2 0 2 z= θˆ − θ 0 σˆθˆ Statystyka W ma rozkład chi-kwadrat z 1 stopniem swobody, czyli rozkład kwadratu statystyki standardowej normalnej Wada: test nie jest niewrażliwy na sformułowanie restrykcji 0 ( = θˆ − θ Np. dla przetestowania, czy β (1 − γ ) = q jest równe q można testować β (1 − γ ) − q = 0 lub β − q (1 − γ ) = 0 – mają różne AVC Zaleta: nie wymaga dodatkowych założeń o rozkładach (jak statystyki LR i LM) czaj.org Przykład – eko-jabłka c.d. Czy ceny zwykłych jabłek i eko-jabłek mają tę samą siłę oddziaływania (choć w przeciwną stronę)? Czy cena eko-jabłek ma inny wpływ na mężczyzn niż na kobiety? 1. 2. Zbadaj wykorzystując test LR Zbadaj wykorzystując test Walda MODEL ; ... ; test: x1 + x2 = c $ ? p-value tego, że x1 + x2 – c ? różne of zera WALD ; fn1 = b_x1 + b_x2 – c $ WALD ; start = b ; var = varb (; labels = ...) ; fn1 = b1 – b2 – c $ Wymuszanie równości lub określonej wartości parametrów MODEL ; ... ; rst: b1, b2, b2, 0, b5, ... $ czaj.org Test LM Test LM Test mnożników Lagrange’a (Lagrange Multiplier) Idea: maksymalizujemy funkcję LL z ograniczeniami (restrykcjami) c θˆ − q = 0 ∂ ln L∗ ( θ ) ∂θ ∂ ln L∗ ( θ ) ∂λ (() ) ˆ −q Funkcja Lagrange’a: ln L ( θ ) = ln L ( θ ) + λ ′ c θ λ – wektor mnożników Lagrange’a Rozwiązanie: ∗ = () ∂ ln L ( θ ) ∂c ( θ ) ′ + λ=0 ∂θ ∂θ′ () = c θˆ − q = 0 Jeśli restrykcje są uzasadnione, wartość funkcji LL nie powinna się istotnie pogorszyć => drugi składnik w wyrażeniu na pochodne funkcji LL po θ (a dokładniej λ) będzie mały – na tym polega test Inaczej – gradient funkcji LL dla wektora z restrykcjami będzie mały czaj.org Test LM Statystyka testu LM −1 N ′ N N ′ LM = g′Vg = gi X i E ( −hi ) X i X i gi X i i =1 i =1 i =1 Nie wymaga estymacji modelu bez ograniczeń Gdzie g – macierz pierwszych pochodnych (gradient) modelu bez restrykcji, wyznaczonych dla wektora parametrów z restrykcjami, a V – macierz AVC (dla bardziej skomplikowanych modeli – może być estymator macierzy AVC (np. BHHH), zamiast wartości oczekiwanej) Test ma rozkład chi-kwadrat z liczbą stopni swobody równą liczbie restrykcji Choć trzeba wyznaczyć gradient dla wektora parametrów bez restrykcji H0: Restrykcje nie pogarszają istotnie modelu Duże wartości statystyki LM (małe p-value) – odrzucamy restrykcje (bo istotnie pogarszają model) czaj.org Przykład – eko-jabłka c.d. Przeprowadź LM test tego, że łącznie: 1. Wpływ ceny eko-jabłek i zwykłych jabłek jest, co do wartości bezwzględnej, taki sam Dochód gospodarstwa domowego nie ma znaczenia Implementacja w NLOGIT: ► Przygotuj wektor parametrów z ograniczeniami ► Dokonaj estymacji modelu bez restrykcji, wykorzystując wektor z restrykcjami jako punkt startowy; ogranicz liczbę iteracji do 0 (co automatycznie wywoła test LM) Wprowadzenie ograniczeń liniowych do modelu: MODEL ; ... ; CML: x1 + x2 = z, 0.3*x3 + x5 - 0.3 = 0 $ Ustawienie wartości startowych i maksymalnej liczby iteracji: MODEL ; ... ; start = <wektor> ; maxit = <skalar>$ CALC ; list; 1 – chi(lmstat,k)$ czaj.org Testowanie hipotez – zastosowania Test homogeniczności podprób Test homogeniczności podprób liczba grup χ = 2 LLn − LLcała próba n =1 2 1. Statystyka testu ma rozkład chi-kwadrat z liczbą stopni swobody równą (liczbie parametrów) * (liczbie grup – 1) To samo można uzyskać dodając do modelu interakcje parametrów ze zmiennymi binarnymi dla grup i testując ich łączną istotność (np. wykorzystując testy LR, LM lub Walda) Sprawdź, czy mężczyźni mają inne preferencje niż kobiety, jeśli chodzi o decyzje dotyczące zakupu ekojabłek czaj.org Testowanie hipotez – zastosowania Testy homoskedastyczności Testy homoskedastyczności (stała wariancja składnika losowego) Mogą wyłapywać także inne problemy (np. błędną specyfikację modelu), ich moc jest zatem wątpliwa Można je zaimplementować dodając zmienne objaśniające ε (co zrobimy dopiero w przyszłości…) i wykorzystać jeden ze znanych testów dla modeli zagnieżdżonych (LR, LM, Wald) czaj.org Niepoprawność założeń modelu binarnego – skutki W modelach regresji liniowej: y = β′X + γ′Z + ε Pominięte zmienne (Z) – o ile X i Z nie są ortogonalne, lub γ = 0 – estymator β jest obciążony Heteroskedastyczność – o ile ε nie jest homoskedastyczny (wariancja składnika losowego nie jest równa dla różnych obserwacji) – estymator OLS jest nadal nieobciążony i zgodny, ale jest nieefektywny W modelach binarnych Pominięte zmienne – nawet jeśli pominięte zmienne są nieskorelowane z tymi uwzględnionymi w modelu – estymator ML nie jest zgodny Heteroskedastyczność – estymator ML nie jest zgodny A to problem, bo dane mikro często są heteroskedastyczne czaj.org Test specyfikacji Testy specyfikacji (istotność pominiętych zmiennych) Dość łatwe w implementacji gdy modele zagnieżdżone Dla modeli niezagnieżdżonych H0: W modelu powinny być wykorzystane inne zmienne y* = β′X + ε vs. y* = γ′Z + ε Test Vuonga Dla probit – test Davidsona-MacKinnona czaj.org Test Vuonga – dla niezagnieżdżonych modeli Mamy dwa rywalizujące, niezagnieżdżone modele, oba oszacowane ML (LL0, LL1) Oba mogą być błędne – test pozwala sprawdzić, który jest bliższy 'prawdy' (zakładamy, że prawdziwy model istnieje) Zakładamy, że obserwacje w próbie (odchylenia) są warunkowo niezależne Li – indywidualny wkład każdej obserwacji do funkcji L ln L = N ln L i =1 i Typowy test LR (jeśli modele byłyby zagnieżdżone) N N i =1 i =1 LR = −2 ( LL1 − LL0 ) = −2 (ln Li ,1 − ln Li ,0 ) = −2 mi = −2Nmi Wtedy N i =1 mi < 0 , bo LL1 – model z restrykcjami (więc LL1 < LL0) czaj.org Test Vuonga – dla niezagnieżdżonych modeli Jeśli modele niezagnieżdżone – i =1 mi nie musi być <0 Kryterium informacyjne Kullbacka-Leiblera N Mierzy dystans (w sensie wartości funkcji LL) między prawdziwym h (Yi |X i , α ) , a innym modelem f (Yi |X i , β ) KLIC = E (ln h ( Yi |X i , α )|h jest prawdziwe ) − E (ln f ( Yi |X i , β )|h jest prawdziwe ) Oczywiście nie znamy h ( Yi |X i , α ) , ale możemy porównać różnicę KLIC dwóch modeli: KLIC1 − KLIC 0 = E (ln f ( Yi |X i , β )|h jest prawdziwe ) − E (ln g ( Yi |X i , γ )|h jest prawdziwe ) Niepotrzebna znajomość 'prawdziwego' modelu Przypomina statystykę LR, ale bez *-2 i teraz może wyjść <0 czaj.org Test Vuonga – dla niezagnieżdżonych modeli Test Vuonga wykorzystuje różnicę KLIC dla 2 modeli, opisując zachowanie następującej statystyki: V= ► ► ► 1 N N mi N i =1 , 1 N 2 ( mi − m ) N i =1 mi = ln Li ,1 − ln Li ,0 D → N ( 0,1) Jeśli oba modele są ekwiwalentne, to V ⎯⎯ a. s. Jeśli 1 jest 'lepszy' to V ⎯⎯ → +∞ a. s. Jeśli 0 jest 'lepszy' to V ⎯⎯ → −∞ Duża liczba dodatnia (>1,96) => model 1 lepszy Duża liczba ujemna (<-1,96) => model 0 lepszy Wartość pomiędzy – wynik niejednoznaczny czaj.org Test Vuonga – przykład 1. Przetestuj, czy dla modelowania zakupu eko-jabłek bardziej poprawny jest model logit czy probit MODEL CREATE MODEL CREATE CREATE CALC ; ; ; ; ; ; ; ... $ li0 = logl_obs$ ... $ li1 = logl_obs$ mi = li1 – li0$ list vtest = sqr(n)*xbr(mi)/sdv(mi)$ Jeśli modele mają różną liczbę parametrów: ► Korekta Schwarza (1978) oparta na BIC – dodać wyrażenie ► (p/2)*log(n) - (q/2)*log(n) ► Gdzie p,q – liczba parametrów w modelach 0 i 1 czaj.org Inne testy dla probit* Test specyfikacji Davidsona-MacKinnona Porównuje 2 alternatywne (niezagnieżdżone) specyfikacje dla probit Wartość krytyczna ze standardowego rozkładu normalnego Może dawać sprzeczne rezultaty Jak to zrobić w NLOGIT? NAMELIST; x = <lista zmiennych objaśniających> ; z = <lista innych zmiennych objaśniających>$ PROBIT ; Lhs = y ; Rhs = x$ CREATE ; xbeta = x’b ; fx = N01(xbeta) ; px = Phi(xbeta) ; v = Sqr(px*(1-px)) ; dev = (y - px) / v ; xv = fx*xbeta / v $ PROBIT ; Lhs = y ; Rhs = z $ CREATE ; pz = Phi(z’b) ► I sprawdzić p-value ; test = (px - pz) / v $ dla 'test' czaj.org REGRESS; Lhs = dev ; Rhs = xv,test$ Inne testy dla probit* Test poprawności założenia o rozkładzie normalnym probit Test poprawności założenia o rozkładzie normalnym dla modelu probit (Bera, Jarque i Lee, 1984) Porównuje 3 i 4 moment zmiennej z ich wartością oczekiwaną, przy założeniu normalności rozkładu N φi ( β′X i ) (Yi − Φ i ( β′X i ) ) ′ X i , m3i , m4 i )′ × LM = ( i =1 Φ i ( β′X i ) (1 − Φ i ( β′X i ) ) −1 2 N N φi ( β′X i ) ′ X i , m3i , m4 i ) ( X i , m3i , m4 i ) E ( −hi ) X i X i′ × ( i =1 Φ i ( β′X i ) (1 − Φ i ( β′X i ) ) i =1 N φi ( β′X i ) (Yi − Φ i ( β′X i ) ) ′ ( X , m3i , m4 i ) i =1 Φ i ( β′X i ) (1 − Φ i ( β′X i ) ) i Na szczęście implementacja nie jest taka straszna: czaj.org Inne testy dla probit* Test poprawności założenia o rozkładzie normalnym probit Test poprawności założenia o rozkładzie normalnym dla modelu probit (Bera, Jarque i Lee, 1984) Jak to zrobić w NLOGIT? NAMELIST; x = one,...$ PROBIT ; lhs = y Jak to zrobić w NLOGIT? ; rhs = x$ CREATE ; ai = b'x ; fi = Phi(ai) ; dfi = N01(ai) ; di = (y-fi) * dfi /(fi*(1-fi)) ; ci = dfi^2 /(fi*(1-fi)) ; m3i = -1/2*(ai^2-1) ; m4i = 1/4*(ai*(ai^2+3))$ NAMELIST; z = x,m3i,m4i$ MATRIX ; List ; LM = di’z * <z'[ci]z> * z'di$ ► I sprawdzić p-value dla statystyki LM (czy można odrzucić hipotezę normalności) czaj.org Praca domowa ME.7 Posłuż się dowolnie wybranym zbiorem danych i dla wybranych przez siebie (ale nieprzetestowanych na zajęciach) hipotez zastosuj następujące testy : 1. 2. Test przedziału ufności LR test Test Walda LM test Test Vuonga Test homogeniczności podprób Zinterpretuj uzyskane wyniki Do przygotowania w grupach dwuosobowych czaj.org 2015-11-11 22:15:18