wariancji kowariancji dodatnio określona

Prace z Ekonometrii
Autor:
Autor: Michał Serwa pod redakcją
prof. dr hab. inż. Jacka Mercika
Temat:
Alternatywne metody estymowania parametrów modeli liniowych
- inne metody regresji.
1
Rozwiązanie:
Problem estymacji parametrów liniowych modeli ekonometrycznych
w warunkach niespełnienia pewnych założeń
KMNK ( klasycznej metody najmniejszych kwadratów ) takich jak:
- brak autokorelacji odchyleń losowych
- stałość wariancji odchyleń losowych
- nielosowy charakter zmiennych objaśniających
przejawia się w zastosowaniu innych metod estymacji – metod regresji.
Generalnie możemy stwierdzić, że metody te opierają się na KMNK,
KMNK
lecz ich specyfika opiera się na uwzględnieniu niespełnionych założeń podanych
wyżej.
2
§1. Uogólniona metoda najmniejszych
najmniejszych kwadratów.
Powyższą metodę stosujemy podczas procesu szacowania parametrów modeli
liniowych w przypadku niespełnienia założeń dotyczących:
stałości wariancji odchyleń losowych lub braku autokorelacji odchyleń
losowych danego modelu.
Zauważmy, że macierz wariancji i kowariancji odchyleń losowych ma wtedy
postać:
V
D 2 ( ε ) = σ 2V
, gdzie:
- dowolna dodatnio określona macierz symetryczna stopnia
oraz
σ2
n
- nieznany stały parametr
Wektor estymatorów ( ocen ) parametrów strukturalnych rozpatrywanego
modelu liniowego określony jest wzorem:
a = ( X T V −1 X ) X TV −1 y
−1
.
3
Zauważmy, że powyższy wektor możemy otrzymać w następujący sposób:
1. Dobieramy macierz wagową
P
tak by spełniony był warunek:
V −1 = PT P
, a następnie wyznaczamy ważone obserwacje zmiennych za pomocą
wzorów:
y∗ = Py
,
X ∗ = PX
2. Wyznaczamy wektor wartości ocen ( estymatorów ) parametrów
strukturalnych modelu liniowego postaci: a = ( X X ) X y .
Jak łatwo zauważyć zastosowanie uogólnionej metody najmniejszych
T
∗
−1
∗
T
∗
∗
kwadratów zależy w szczególności od znajomości macierzy V ,
która nie jest dana odgórnie.
Przy zaistnieniu niestałości wariancji odchyleń losowych modelu macierz
jest macierzą diagonalną postaci:
 v1 0
0 v
2
V =
⋯ ⋯

0 0
0
⋯ 0 
⋱ ⋯

⋯ vn 
⋯
4
V
wtedy macierz odwrotna do macierzy
1
0
v
1

1

0

−1
v2
V =
⋯ ⋯

0 0

określona jest wzorem:
V

0


⋯ 0

⋱ ⋯

1
⋯
vn 
⋯
W takim razie odpowiadająca macierzy
V
macierz wagowa
przedstawia
P
się formułą:





P=





1
v1
0
⋯
0
1
v2
⋯
0
0
⋱

0 


0 

0 

1 
vn 
Przyjmując najprostsze założenia przyjmujemy, że wariancja odchyleń
losowych jest proporcjonalna do wybranej zmiennej objaśniającej
wtedy elementy macierzy
V
wynoszą:
vt = xt
5
dla
t = 1, 2,..., n
.
X
,
Wartości
mogą być również zastąpione przez moduły reszt modelu
vt
oszacowanego na podstawie danych pierwotnych za pomocą KMNK
w ten sposób, że:
vt = et
dla
t = 1, 2,..., n
.
W przypadku autokorelacji odchyleń losowych zakładamy najczęściej, że ciąg
elementów {ε } podlega procesowi autoregresji pierwszego rzędu:
t
dla
ε t = ρε t −1 + ηt
t = 1, 2,..., n
Otrzymujemy wtedy, że:
, gdzie:
ρt = ρ τ
ρ <1
.
oraz macierz
V
stanowi macierz
współczynników autokorelacji odchyleń losowych postaci:
 1

ρ
V =
⋯
 n −1
ρ
ρ
1
ρ2
ρ
⋯
⋯
ρ
n−2
ρ n −3
⋯ ρ n −1 

⋯ ρ n−2 
⋯ ⋯ 

⋯
1 
oraz macierz odwrotna do tej macierzy ma postać:
6
−ρ
0
⋯ 0 0 0
 1

− ρ 1 + ρ 2

−ρ
⋯ 0 0 0


2


0
−
1
+
⋯
0
0
0
ρ
ρ
1
V −1 =
,
2 
⋯
⋯
⋯ ⋯ ⋯ ⋯ 
1− ρ  ⋯
 0
0
0
⋯ −ρ 1 + ρ 2 −ρ 


0
0
⋯ 0 −ρ 1 
 0
natomiast macierz wagowa
 1− ρ 2

 −ρ
 0
P=
 ⋯

 0
 0
P
określona jest wzorem:
0 0
⋯ 0 0
1 0
⋯ 0 0
−ρ 1
⋯ 0 0
⋯ ⋯ ⋯ ⋯ ⋯
0 0 ⋯ −ρ 1
0 0 ⋯ 0 −ρ
Estymator ( ocenę )
r
0 

0 
0 

⋯

0
1 
współczynnika autokorelacji
ρ
wyznaczamy
n −1
na podstawie wzoru:
r=
( n − k − 1) ∑ et et +1
t =1
n
( n − 1) ∑ e
t =1
gdzie:
∧ et
t =1,2,..., n
,
2
t
- reszty modelu estymowanego metodą najmniejszych kwadratów.
Wariancja odchyleń losowych szacowana jest za pomocą wzoru:
Se2 =
1
eT V −1e
n − k −1
oraz macierz wariancji i kowariancji:
D 2 ( a ) = Se2 ( X TV −1 X )
−1
.
7
§2. Metoda różniczki zupełnej.
zupełnej.
Metoda powyższa ma zastosowanie do estymowania ( szacowania ) parametrów
modeli liniowych, gdy występuje autokorelacja odchyleń losowych pierwszego
rzędu. Stosując tę metodę, zakładamy, że współczynnik autokorelacji
pierwszego rzędu jest równy jedności.
Schemat postępowania w tej metodzie przedstawia się następująco:
1. Zmienne pierwotne danego modelu są przekształcane za pomocą
następujących wzorów:
∧ ∆yt = yt − yt −1
t =1,2,..., n
∧
∧ ∆xti = xti − xt −1,i
t = 2,3,..., n i = 0,1,..., k
Za pomocą KMNK estymujemy ( szacujemy ) parametry strukturalne
modelu:
∆Y = α1∆X 1 + α 2 ∆X 2 + ... + α k ∆X k + ∆ε
wykorzystując wzór postaci:
a∆ = ( ∆X T ∆X ) ∆X T ∆y
−1
8
Składowe podanego wektora są ocenami ( estymatorami ):
parametrów strukturalnych:
Estymator
a0
α1 , α 2 ,..., α k
wyrazu wolnego
α0
a1 , a2 ,..., ak
.
wyznaczamy ze wzoru:
k
a0 = y − ∑ ai xi
i =1
.
Wariancja odchyleń losowych szacowana jest według formuły:
Se2 =
n
1
et2
∑
n − k − 1 t =1
, gdzie:
∧ et
t =1,2,..., n
- reszty modelu ze zmiennymi pierwotnymi
Estymatorem ( oszacowaniem ) macierzy wariancji i kowariancji ocen
parametrów strukturalnych jest macierz:
gdzie:
∆X 1
D 2 ( a ) = Se2 ( ∆X 1T ∆X 1 )
−1
,
- macierz pierwszych różnic zmiennych objaśniających,
w której pierwsza kolumna to jedynki.
9
Zauważmy, że metoda różniczki zupełnej stanowi szczególny przypadek
metody Cochrana – Orcutta.
Z tą różnicą, że w metodzie Cochrana – Orcutta
posługujemy się różnicami bieżących wartości zmiennych i wartości z okresów
poprzednich ważonych współczynnikami autokorelacji odchyleń losowych,
natomiast w metodzie różniczki zupełnej działamy na różnicach pierwotnych
wartości zmiennych z sąsiednich jednostek czasu.
§3. Metoda zmiennych instrumentalnych.
Podczas procesu szacowania ( estymowania ) parametrów liniowego modelu
ekonometrycznego z losowymi zmiennymi objaśniającymi wykorzystujemy
metodę zmiennych instrumentalnych.
10
Poszukujemy w tym celu takich zmiennych:
Z1 , Z 2 ,..., Z k
nazywanych
zmiennymi instrumentalnymi, które są silnie skorelowane z odpowiednimi
zmiennymi objaśniającymi:
X 1 , X 2 ,..., X k
i w czasie estymacji modelu zastępują
oryginalne zmienne objaśniające.
Zauważmy, że macierz obserwacji zmiennych instrumentalnych ma postać:
1
1
Z =
⋯

1
z11
z21
⋯
zn1
⋯ z1k 
z22 ⋯ z2 k 
⋯ ⋯ ⋯

zn 2 ⋯ znk 
z12
.
Wektor ocen ( estymatorów ) parametrów strukturalnych modelu otrzymany
metodą zmiennych instrumentalnych dany jest wzorem:
Wariancja resztowa ma postać:
Se2 =
1
eT e
n − k −1
a = (ZT X ) ZT y
−1
.
, natomiast estymator macierzy
wariancji i kowariancji ocen parametrów strukturalnych określony jest wzorem:
D 2 ( a ) = Se2 ( Z T X )
−1
( Z Z )( Z X ) .
T
T
−1
11
§4. Metoda największej
największej wiarygodności.
Podana metoda stanowi jedną z najbardziej uniwersalnych metod estymacji
( szacowania ) parametrów strukturalnych różnych klas rozpatrywanych modeli
ekonometrycznych.
Przyjmując założenie dotyczące normalności rozkładu odchyleń losowych
konstruujemy funkcję wiarygodności postaci:
 ε Tε 
 1 
L∗ = 
exp
− 2 

 σ 2π 
 2σ 
n
ε
.
Logarytmując powyższą funkcję otrzymujemy, że:
n
1
ln L∗ = − ln ( 2πσ 2 ) − 2 ε T ε = L
2
2σ
Niech:
ε Tε = y − Xα
.
wtedy mamy:
n
1
T
L = − ln ( 2πσ 2 ) − 2 ( y − X α ) ( y − X α )
2
2σ
Po zróżniczkowaniu ostatniej zależności względem wektora
α
i przyrównaniu otrzymanych wyrażeń do zera otrzymujemy, że:
12
i parametru
.
σ2
1

2X T ( y − Xα ) = 0
2

2σ

− n ⋅ 1 + 1 ⋅ 1 ( y − X α )T ( y − X α ) = 0
 2 σ 2 2 σ 4
Po rozwiązaniu podanego układu równań mamy:
estymatory ( oceny )
αˆ = ( X T X ) X T y
−1
Zauważmy, że estymator
α̂
oraz
1
n
σˆ e2 = eT e
.
jest równy co do wartości parametrowi
α
otrzymanemu za pomocą KMNK
Stąd zależność między oceną wariancji odchyleń losowych
szacowanego metodą największej wiarygodności.
W takim razie:
σˆ e2 =
n − k −1 2
Se
n
.
13
σˆ e2
modelu