Modele regresji cz III

4/12/2016
Sprawdzanie założeń przyjętych o modelu
(etap IIIC przyjętego schematu modelowania regresyjnego)
1. Szum
2. Założenie niezależności zakłóceń modelu
- autokorelacja składnika losowego - test Durbina - Watsona
3. Założenie stałości momentów rozkładu zakłóceń modelu
- modele homo- i heteroskedastyczne. Test Harrisona-McCabe’a
4. Normalność rozkładu zakłóceń - test Jarque-Bera
Szum
Pomiar (wyodrębnienie) poszczególnych składowych systematycznych szeregu
następuje poprzez jego dekompozycję. Prawidłowo przeprowadzona dekompozycja
powinna zakończyć się wyodrębnieniem szumu - "czysto" losowego składnika, który
nie wykazuje żadnych tendencji czy regularności. Proces wyodrębniania szumu
nazywamy filtracją.
Formalnie szum to stacjonarny proces stochastyczny Z1, Z2,..., Zn,... o przyrostach
niezależnych. W praktyce na ogół zadowalamy się stacjonarnością w szerszym
sensie, tzn. niezmienniczością momentów pierwszego i drugiego rzędu ze względu na
przesuniecie w czasie.
Szum nazywamy białym, jeśli zmienne losowe Zi, i=1,2,… mają rozkład normalny o
stałych (takich samych) momentach.
1
4/12/2016
Przypomnienie
Proces stochastyczny jest procesem o przyrostach niezależnych jeśli
dla dowolnych t1, t2,..., tn , przyrosty (zmienne losowe):
Zt2 - Zt1, Zt3 - Zt2, … , Ztn - Ztn-1
są niezależne
Proces stacjonarny w węższym sensie (strictly stationary process ):
dla dowolnych t1, t2,..., tn oraz k rozkład wektora
(Zt1, Zt2,..., Ztn )
jest identyczny z rozkładem wektora
(Zt1+k, Zt2+k,..., Ztn+k)
Proces stacjonarny w szerszym sensie (weakly stationary process):
Momenty drugiego rzędu są niezmiennicze ze względu na przesunięcie.
Zachodzi to wtedy tylko wtedy, gdy
E(Zt)= m = constans
Var(Zt)= σ 2 = constans
cov(Zt,Zt+k)=R(k)
Karty kontrolne w badaniu szumu
1. Karta obserwacji
2. Karta
(karta średnich)
3. Karta s
(karta odchyleń standardowych)
4. Karta R
(karta rozstępów)
Przykłady w pakiecie Mathematica
2
4/12/2016
Weryfikacja hipotezy losowości odchyleń
Hipoteza zerowa: Obserwowane wartości mają losowe odchylenia od średniej
Hipoteza alternatywna: odchylenia obserwowanych wartości od średniej wykazują
regularność
Opis testu:
Obliczamy reszty tj: odchylenia wartości od ich średniej.
Szeregujemy reszty według czasu
Resztom dodatnim przypisujemy znak „+”, resztom ujemnym „−”.
Reszty równe 0 odrzucamy!
Otrzymujemy w ten sposób ciąg typu: − − + + + − + − + + − + + + − − − −
Obliczmy liczbę serii występujących w otrzymanym ciągu. Serią jest ciąg takich samych
znaków (także jednoelementowy)
Odczytujemy z tablic dla testu serii i danego poziomu istotności wartość krytyczną N*
(zależy ona od liczby znaków „+” i liczby znaków „–” .
Hipotezę zerową odrzucamy, jeśli liczba serii Ns jest mniejsza od N*.
Wartości kwantyli dla testu serii dla małych prób
3
4/12/2016
Przybliżone wartości kwantyli dla testu serii dla dużych prób można obliczyć z wzoru
Hipotezę o liniowości modelu odrzucamy, gdy liczba serii jest mniejsza od wartości
kwantyla kα gdzie α jest poziomem istotności testu
Testy w weryfikacji przyjętych założeń
2. Założenie niezależności zakłóceń modelu - autokorelacja zakłóceń
Model:
Y = β1X1+ β2X2+ ...+ βkXk+Z
Autokorelacja zakłóceń (proces autokorelacji pierwszego rzędu):
Zi+1 = ρ Zi+ V,
i=1,2,....,n-1
ρ - współczynnik autokorelacji , |ρ |<1
V - zmienna losowa o średniej 0 i skończonej wariancji
Autokorelacja występuje często, gdy model szacujemy na podstawie szeregów czasowych
4
4/12/2016
Testy w weryfikacji przyjętych założeń
2. Założenie niezależności zakłóceń modelu - autokorelacja zakłóceń
Model z wyrazem wolnym: Y = β1+ β2X2 + ...+ βkXk+ Z
ρ =0
Hipoteza zerowa:
Hipoteza alternatywna:
ρ≠0
( brak autokorelacji)
( autokorelacja występuje)
Test Durbina - Watsona
Krok 1 Estymujemy parametry modelu.
Krok 2 Obliczmy reszty w oszacowanym modelu : e1,e2,...,en
Krok 3 Wyznaczamy wartość statystyki testowej
Testy w weryfikacji przyjętych założeń
2. Założenie niezależności zakłóceń modelu - autokorelacja zakłóceń
Test Durbina - Watsona
Schemat podejmowania decyzji:
dL oraz du - wartości krytyczne wyznaczane z tablic
d ≤ dL
dL < d < dU
dU < d < 4 - dU
Hipotezę zerową odrzucamy
brak decyzji
Nie ma podstaw do odrzucenia hipotezy zerowej
4-dU ≤ d ≤ 4-dL brak decyzji
4-dL < d
Hipotezę zerową odrzucamy
5
4/12/2016
Test Durbina – Watsona: Wartości krytyczne dL oraz dU dla poziomu istotności α = 0.05:
Testy w weryfikacji przyjętych założeń
3. Założenie stałości momentów rozkładu zakłóceń modelu
- modele homo- i heteroskedastyczne. Test Harrisona-McCabe’a
Model nazywamy heteroskedastycznym, jeżeli składniki losowe dla
poszczególnych obserwacji mają różne wariancje. Jeśli wariancje są takie same
dla każdej obserwacji model nazywamy homoskedastycznym
Heteroskedastyczność składnika losowego pojawia sie czesto, gdy szacujemy
model na podstawie danych przekrojowych lub przekrojowo-czasowych
Formułujemy hipotezy.
Hipoteza zerowa:
Hipoteza alternatywna:
σi = const
σi ≠ const
i=1,2,....,n
(model homoskedastyczny)
( model heteroskedastyczny)
6
4/12/2016
Testy w weryfikacji przyjętych założeń
3. Założenie stałości momentów rozkładu zakłóceń modelu
- modele homo- i heteroskedastyczne.
Test Harrisona-McCabe’a
Krok 1 Estymujemy parametry modelu : Y = β1X1+ β2X2+ ...+ βkXk + Z
Krok 2 Obliczamy reszty w oszacowanym modelu i porządkujemy je od
najmniejszej do największej : e1,e2,...,en
Krok 3 Wyznaczamy wartość statystyki testowej
gdzie m jest środkowym numerem obserwacji (dla n parzystego przyjmujemy m=n/2)
Uwaga: musi być spełniony warunek: n>2k
Testy w weryfikacji przyjętych założeń
3. Założenie stałości momentów rozkładu zakłóceń modelu
- modele homo- i heteroskedastyczne.
Test Harrisona-McCabe’a
Krok 4 Dla przyjętego poziomu istotności a odczytujemy z tablic rozkładu F-Snedecora
wartości: F1 dla stopni swobody (n-m) i (m-k ) oraz F2 dla stopni
swobody (n-m-k ) i m.
Krok 5 Wyznaczamy wartości krytyczne bL oraz dU dla poziomu istotności α :
Schemat podejmowania decyzji:
b ≤ bL
bL < b < dU
dU ≤ b
Hipotezę zerową odrzucamy
brak decyzji
Nie ma podstaw do odrzucenia hipotezy zerowej
7
4/12/2016
Testy w weryfikacji przyjętych założeń
4. Normalność rozkładu zakłóceń
Test Jarque-Bera
Hipoteza zerowa:
Składnik losowy Z ma rozkład normalny
Hipoteza alternatywna: Składnik losowy Z ma rozkład inny niż normalny
Krok 1 Estymujemy parametry modelu : Y = β1X1+ β2X2+ ...+ βkXk + Z
Krok 2 Obliczamy reszty w oszacowanym modelu : e1,e2,...,en
Krok 3 Obliczamy
Testy w weryfikacji przyjętych założeń
4. Normalność rozkładu zakłóceń
Test Jarque-Bera
Statystyka testowa:
Zbiór krytyczny:
gdzie χ1-α jest kwantylem rzędu 1-α z rozkładu χ2 o dwóch stopniach swobody,
α jest przyjętym poziomem istotności testu
8
4/12/2016
Testy w weryfikacji przyjętych założeń
4. Normalność rozkładu zakłóceń
Uwaga: Jeśli pakiety które wykorzystujemy umożliwiają weryfikacje założnia o
normalności rozkładu zakłóceń za pomocą testu Shapiro-Wilka, to go
wykorzystujemy! Jest to test mocniejszy od testu Jarque-Bera
Uwaga: A jakie są konsekwencje niespełnienia poszczególnych założeń?
9