macierz symetryczna

Standardowy model liniowy i
klasyczna metoda najmniejszych kwadratów
W konstrukcji modelu ekonometrycznego wiele
zależy od realizacji etapu związanego z estymacją
parametrów strukturalnych. Szacowanie parametrów
modelu ekonometrycznego sprowadza się do
przypisywania nieokreślonym liczbowo parametrom
konkretnych wartości liczbowych. Szacowanie to
powinno być przeprowadzone w taki sposób, aby
zapewniło najlepsze dopasowanie modelu do danych
empirycznych.
Powszechnie wykorzystywaną metodą
szacowania parametrów liniowych modeli
ekonometrycznych:
Y=α0 + α1X1 + … + αkXk + ε
jest klasyczna metoda najmniejszych kwadratów.
Idea tej metody sprowadza się do takiego
wyznaczenia wartości ocen a0, a1,…, ak parametrów
strukturalnych α0, α1,…, αk, że suma kwadratów
odchyleń zaobserwowanych wartości zmiennej
objaśnianej od jej wartości teoretycznych obliczonych z
modelu była najmniejsza. Warunek ten zapisuje się
następująco:
n
n
2
t
S
e
t 1
yt
1 X t1
0
...
2 Xt2
t 1
k X tk
2
min
gdzie et(ut) (t=1,2,…,n) – odchylenie empirycznych
wartości zmiennej objaśniającej od jej wartości
teoretycznych nazywane resztami modelu:
et
przy czym:

yt
a0
yt

yt ,
a1 xt1 ... ak xtk .
Zastosowanie klasycznej metody najmniejszych
kwadratów wymaga przyjęcia następujących założeń:




postać modelu jest liniowa względem parametrów
(lub sprowadzalna do liniowej),
zmienne objaśniające są wielkościami nielosowymi,
zmienne są niezależne i wolne od współliniowości,
czyli nie występuje między zmiennymi dokładna
zależność liniowa,
składnik losowy ε nie jest skorelowany ze zmiennymi
objaśniającymi,
 E(ε)=0, czyli składniki losowe dla wszystkich
obserwacji mają wartości oczekiwane równe zeru.
Konsekwencją tego jest bardzo ważna interpretacja
liczbowa parametru αi. Oszacowana wartość liczbowa
parametru αi informuje o ile wzrośnie (lub zmniejszy
się) przeciętna wartość zmiennej objaśnianej Y, gdy
przy nie zmienionych wartościach innych zmiennych
objaśniających wartość zmiennej objaśniającej Xi
wzrośnie o jednostkę,
 E(εεT)=σ2I. Założenie to można podzielić na dwie
części. Po pierwsze mówi ono, że E(εt2)=σ2 dla
wszystkich t, co jest założeniem o jednorodności
(stałości) wariancji składnika losowego (o
homoscedastyczności składnika losowego).
Jednorodna wariancja implikuje, że dyspersja
(rozrzut) łącznego wpływu zmiennych nie
uwzględnionych w modelu nie zmienia się w czasie.
Po drugie oznacza, że E(εs,εt)=0 (kowariancja jest
równa 0) dla wszystkich s≠t, co jest założeniem o nie
skorelowaniu składników losowych. Konsekwencją
tego założenia jest fakt, że rozkład składnika
losowego jest dla wszystkich obserwacji, taki sam i
nie zależy od zmiennych objaśniających, a zatem
wielkość w dowolnym momencie (okresie) nie ma
żadnej wartości informacyjnej z uwagi na rozkład w
innych momentach (okresach),
 rz(X)=k+1≤n. Założenie to stanowi warunek
konieczny dla jednoznacznego określenia
estymatorów Klasyczną Metodą Najmniejszych
Kwadratów.
Liniowy model ekonometryczny z jedną zmienną
objaśniającą ma ogólną postać:
Wartości ocen a0 oraz a1 parametrów strukturalnych α0
oraz α1 otrzymuje się w tym wypadku z warunku:
Wyznaczamy pochodne cząstkowe funkcji S i
porównujemy je do zera, gdyż warunkiem koniecznym
na to, aby funkcja dwóch zmiennych przyjęła wartość
minimalną, są zerowe wartości poszczególnych
pochodnych cząstkowych względem obu zmiennych.
Ostatecznie otrzymujemy układ równań:
Przekształcając drugie równanie mamy:
Podstawiając jednocześnie do pierwszego równania
w miejsce a0 otrzymujemy:
W wyniku rozwiązania układu równań normalnych
otrzymujemy ostatecznie następujące wzory na a0 i a1:
gdzie
oraz
oznaczają średnie arytmetyczne
zmiennych Y i X. Wzór na ocenę a ma jeszcze inną
postać.
Rozpatrzmy osobno mianownik i licznik:
Licznik:
Mianownik:
Stąd:
Wartość oceny a parametru α informuje, o ile
jednostek zmieni się wartość zmiennej objaśnianej Y,
jeśli wartość zmiennej objaśniającej X zmieni się o
jednostkę.
Specyficznym modelem liniowym z jedną
zmienną objaśniającą jest liniowy model tendencji
rozwojowej (trend liniowy) o postaci:
gdzie t oznacza zmienną czasową.
Wzory na oceny parametrów strukturalnych
trendu liniowego są podobne do poprzednich, z tym, że
zamiast zmiennej X występuje zmienna czasowa t tzn.:
W przypadku modelu liniowego z jedną zmienną
objaśniającą oprócz zapisu algebraicznego możemy
również stosować zapis macierzowy wartości oszacowań
parametrów strukturalnych tzn.
Zwróćmy uwagę, że:
Teraz odwróćmy macierz XTX:
Warto zauważyć, że w przypadku macierzy
symetrycznej macierz dopełnień równa jest
transponowanej macierzy dopełnień.
Parametry liniowego modelu ekonometrycznego
szacujemy analogicznie jak w przypadku modelu z
jedną zmienną objaśniającą, wyznaczając minimum:
n
n
2
t
S
e
t 1
yt
a0 a1 xt1 a2 xt 2 ... ak xtk
2
min .
t 1
Dalsze obliczenia wygodniej jest prowadzić w
zapisie macierzowym. Liniowy model ekonometryczny
można wtedy przedstawić w postaci:
Y = Xα + ε,
gdzie:
y1
y2
y
X

yi

yn
1
1

1

1
- wektor obserwacji zmiennej objaśniającej,
x11
x21

xi1

xn1
x12
x22

xi 2

xn 2






x1 j
x2 j

xij

xnj






x1k
x2 k

xik

xnk
- macierz obserwacji zmiennych
objaśniających,
0
1
1
2

- wektor parametrów,
j

k

i

k
- wektor składników
losowych.
Ocenę a wektora parametrów α znajduje się
przez zminimalizowanie funkcji
ƒ(a)=(y-Xa)T(y-Xa)
Po zróżniczkowaniu względem wektora a i po
rozwiązaniu równania okazuje się, że funkcja ƒ osiąga
minimum w punkcie
a=(XTX) -1XTy
przy założeniu, że det(XTX)≠0
Wektora a jest nazywany wektorem ocen
parametrów α. Po oszacowaniu model zapisuje się
zwykle w postaci

yt a0 a1 xt1 ... a j xtj ... ak xtk ,

gdzie y - wartości teoretyczne zmiennej objaśnianej Y.
Po oszacowaniu otrzymujemy – wspomniane już
wcześniej - tzw. reszty modelu, czyli różnice między
rzeczywistymi a teoretycznymi wartościami zmiennej
objaśnianej. Reszta odpowiadająca i-tej obserwacji
wyraża się więc wzorem
et
yt

yt ,
(t 1,2,...,n).
Ocena wariancji składnika losowego wyraża się wzorem
n
et2
2
e
s
t 1
n k 1
1
y T y y T Xa
n k 1
gdzie k – oznacza liczbę zmiennych objaśniających.
Wielkość ta określa się często jako wariancję
resztową, a jej pierwiastek kwadratowy mówi, o ile
przeciętnie odchylają się poszczególne obserwacje
zmiennej objaśnianej od ich wartości teoretycznych
oszacowanych na podstawie modelu.
Macierz wariancji i kowariancji ocen
parametrów szacuje się na podstawie wzoru
2
D a
2
e
T
s X X
1
.
W macierzy tej na głównej przekątnej są wariancje
ocen parametrów V(aj) dla j=1, 2, …, n. Wielkości
S aj
V (a j )
są standardowymi błędami szacunku parametrów. S(aj)
informuje, o ile jednostek wartość oceny aj różni się od
rzeczywistej wartości parametru αj.