O odpornym estymatorze wariancji w modelu

O odpornym estymatorze wariancji w modelu liniowym
Ryszard Zieliński, Wojciech Zieliński
1. Wstęp. Sformułowanie zagadnienia
Rozważamy model liniowy y = Xβ+ε, w którym y ′ = (y1 , . . . , yn ) jest wektorem obserwacji, β ′ = (β1 , . . . , βk )
jest wektorem (nieznanych) współczynników regresji, X = (xij ), i = 1, . . . , n, j = 1, . . . , k, k < n, jest daną
macierzą rzędu r (macierzą planu eksperymentu) oraz ε′ = (ε1 , . . . , εn ) jest wektorem „zakłóceń”: εi są
niezależnymi zmiennymi losowymi o jednakowym rozkładzie mającym cztery pierwsze momenty centralne
µp , p = 1, 2, 3, 4 (σ 2 = µ2 ). Zakładamy przy tym, że Eεi = 0 oraz że γ2 = µ4 /σ 4 − 3 = γ20 , gdzie γ20 jest
ustaloną liczbą (wiadomo, że zawsze γ2 ≥ −2).
Zadanie polega na skonstruowaniu takiego estymatora wariancji σ 2 , którego wariancja zmieniałaby się
możliwie mało, gdy kurtoza γ2 modelowego rozkładu ulega zmianie i przebiega pewien przedział (γ 2 , γ 2 ),
γ 2 ≤ γ20 ≤ γ 2 .
Przypadek modeli gaussowskich (εi ma rozkład normalny, γ20 = 0) był rozważany już w 1931 roku przez Pearsona [5] i później w licznych pracach, np. w 1953 roku przez Boxa [1] i w 1955 roku przez Boxa i Andersena
[2]. W pracach tych koncentrowano uwagę na badaniu konsekwencji zakłóceń modelu gaussowskiego polegających na zmianie kurtozy γ2 , przy czym konsekwencje te opisywano za pomocą zmian rozmiaru różnych
testów (testu t Studenta, testu F Snedecora i licznych testów służących do porównywania wariancji). Obszerny przegląd tych badań oraz oryginalne wyniki przedstawione zostały w 1982 roku w pracy Nürnberga [4].
W niniejszej pracy ograniczamy się do rozważania konsekwencji polegających na tym, że w wyniku zmiany
kurtozy może zmienić się wariancja estymatora (w wyniku tego może również ulec zmianie moc i rozmiar
testów oraz poziom ufności przedziałów ufności, opartych na wariancji). W naszych rozważaniach założenie o
normalności rozkładu nie jest potrzebne. Ograniczymy się do badania estymatorów postaci y ′ Ay, gdzie - bez
straty ogólności - A jest macierzą symetryczną, i efektywnie wyznaczymy najbardziej odporny, ze względu na
zmianę wariancji, estymator wariancji w tej klasie. Interesujące jest, że jeżeli y1 , . . . , yn jest ciągiem niezależnych obserwacji o jednakowym rozkładzie, to okazuje się, że takim estymatorem jest standardowy estymator
s2 .
Formalnie zagadnienie można opisać w następujący sposób. Niech a oznacza wektor utworzony z przekątnej
macierzy A, tzn. niech a = diagA. Wtedy
Ey ′ Ay = σ 2 trA + β ′ X ′ AXβ
V ary ′ Ay = σ 4 (γ2 a′ a + 2trA2 ) + 4σ 2 β ′ X ′ A2 Xβ + 4µ3 β ′ X ′ Aa.
(1)
Wzorując się na koncepcji odporności z pracy [7] opiszemy odporność estymatora y ′ Ay za pomocą wielkości
sup
γ ≤γ20 ≤γ 2
2
V ary ′ Ay −
inf
γ ≤γ20 ≤γ 2
V ary ′ Ay = (γ 2 − γ 2 )a′ a,
2
wtedy zadanie sprowadza się do znalezienia estymatora y ′ Ay o minimalnym a′ a. Bez żadnych ograniczeń
na macierz A (a więc na estymator) otrzymujemy trywialne rozwiązanie a = 0; są to jednak estymatory
bezsensowne, gdyż wówczas Ey ′ Ay = β ′ X ′ AXβ. Ograniczymy więc zbiór rozważanych macierzy A do klasy
A macierzy symetrycznych takich, że
∀β, X
∀β, X
Ey ′ Ay = σ 2
(nieobciążoność estymatora),
′
(y − Xβ) A(y − Xβ) = y ′ Ay
(niezmienniczość estymatora).
Ze wzorów (1) wynika, że A ∈ A wtedy i tylko wtedy, gdy A jest macierzą symetryczną spełniającą warunki
trA = 1,
AX = 0.
Ostatecznie zadanie brzmi: znaleźć macierz A ∈ A, dla której a′ a osiąga minimum.
1
(2)
2. Charakteryzacja zbioru A
Niech m = dimKerX ′ . Wykażemy, że A ∈ A wtedy i tylko wtedy, gdy
A = B/trB,
gdzie
B=
m ∑
m
∑
(3)
βij (bi b′j + bj b′i )
i=1 j=1
dla pewnej bazy b1 , . . . , bm przestrzeni KerX oraz pewnych rzeczywistych βij .
Dostateczność warunku jest oczywista. Wykażemy jego konieczność. Niech A ∈ A. Z warunków (2) wynika,
że A = B/trB, gdzie B jest dowolną macierzą symetryczną taką, że BX = 0. Ale wtedy
B = y1 b′1 + · · · + ym b′m
(4)
dla pewnej bazy b1 , . . . , bm przestrzeni KerX ′ i dla pewnych wektorów y1 , . . . , ym ∈ Rn . Ponieważ macierz B
′
ma być symetryczna, więc musi być również spełniony warunek B ′ X = 0. Ponieważ B ′ = b1 y1′ + · · · + bm ym
,
′
więc y1 , . . . , ym muszą również należeć do KerX . Zatem
yi = β1i b1 + · · · + βmi bm
dla pewnych βij . Stąd otrzymujemy
B=
m
∑
(i = 1, . . . , m)
βij bi b′j .
i,j=1
bi b′j ,
Ponieważ układ macierzy
βij = βji i stąd postać (3).
Uwaga.
(i, j = 1, . . . , m) jest liniowo niezależny, więc z warunku B = B ′ otrzymujemy
1) Jeżeli r = k = n, to A jest zbiorem pustym;
2) jeżeli r = n − 1, to A jest zbiorem jednoelementowym;
3) jeżeli r < n − 2, to A zawiera nieskończenie wiele elementów.
Dowód uwagi.
Ad 1) Jedyną macierzą spełniającą AX = 0 jest A = 0. Wówczas jednak nie zachodzi trA = 1.
Ad 2) Jeżeli r = n − 1, to m = 1 i wtedy jedyną macierzą postaci (3) jest A = b1 b′1 /b′1 b1 .
Ad 3) Jeżeli r ≤ n − 2, to m > 2. Niech b1 , b2 ∈ KerX ′ będą wektorami liniowo niezależnymi. Jeżeli A1 oraz
A2 są macierzami skonstruowanymi tak jak A w Ad 2), odpowiednio dla b1 i b2 , to A1 ∈ A , A2 ∈ A oraz
każda wypukła kombinacja liniowa tych macierzy należy do A.
3. Estymator najbardziej odporny
Niech r ≤ n − 2. Zadanie wyznaczenia estymatora najbardziej odpornego będziemy rozwiązywali w dwóch
etapach: najpierw wyznaczymy przekątną a0 = (a01 , . . . , a0n ) estymatora najbardziej odpornego, a następnie
wyznaczymy macierz A tego estymatora. Jeżeli B ma postać (3), to
diagB =
m ∑
m
∑
βij δij ,
i=1 j=1
gdzie δij = diag(bi b′j + bj b′i ). Niech d będzie liczbą liniowo niezależnych wektorów δij (i = 1, . . . , m; j =
i, . . . , m). Oczywiście liczba d nie zależy od wyboru bazy b1 , . . . , bm . Wyznaczenie przekątnej a0 sprowadza
się do wyznaczenia, w przestrzeni liniowej rozpiętej przez wektory δij (i = 1, . . . , m; j = i, . . . , m), wektora
2
∑ 0
∑
a0 = (a01 , . . . , a0n ), dla którego
ai = 1 oraz (a0i )2 = min. Jak wiadomo, zadanie to ma zawsze dokładnie
jedno rozwiązanie.
Niech ∆ będzie macierzą, której kolumnami są wektory δij (i = 1, . . . , m; j = i, . . . , m) i niech β ′ =
(β11 , . . . , β1m , . . . , βm1 , . . . , βmm ). Zadanie wyznaczenia macierzy A postaci (3) dla estymatora najbardziej
odpornego sprowadza się teraz do wyznaczenia rozwiązań β równania
∆β = a0 .
(5)
Niech AR ⊂ A oznacza zbiór macierzy A takich, że diagA = a0 . Ponieważ macierze A ∈ AR są jednoznacznie
wyznaczone przez rozwiązania β równania (5), więc w przypadku d = 12 m(m + 1) zbiór AR jest jednoelementowy, a w przeciwnym przypadku, tzn. gdy d < 12 m(m+1), zawiera on nieskończenie wiele elementów. Każda
z macierzy A ∈ AR wyznacza najbardziej odporny estymator y ′ Ay wariancji σ 2 . Spośród tych estymatorów
możemy wybrać optymalny w sensie jakiegoś dodatkowego kryterium, np. kryterium minimalnej wariancji.
4. Minimalizacja wariancji w klasie AR
Niech d < 12 m(m + 1). Wyznaczenie w klasie AR estymatora o minimalnej wariancji sprowadza się do
rozwiązania zadania
trA2 = min!, AX = 0, trAVi = a0i , i = 1, . . . , n,
(i,i)
(v)
gdzie Vi = (δk,m )m,k=1,...,n , δu
aii = α).
jest deltą Kroneckera (warunek trAVi = α jest równoważny warunkowi
Rozwiązanie tak sformułowanego zadania podane jest w monografii Rao [6], §1.6.3(ii). Rozwiązaniem jest
macierz
A∗ = (a∗ij ), i, j = 1, . . . , n,
gdzie
a∗ij =
n
∑
λp qip qpj ,
Q = (qij ) = I − X(X ′ X)− X ′ ,
p=1
oraz λ = (λ1 , . . . , λn ) jest rozwiązaniem układu równań liniowych
n
∑
2
λp qpj
= a0j ,
j = 1, . . . , n.
p=1
5. Porównanie ze standardowym estymatorem wariancji
W ogólnym przypadku estymator y ′ A∗ y nie musi pokrywać się ze standardowym estymatorem wariancji
związanym z macierzą
1
S=
(I − X(X ′ X)− X ′ );
n−r
przykład podajemy niżej. Estymatory te pokrywają się na przykład wtedy, gdy przekątna macierzy S ma
postać ( n1 , . . . , n1 )′ . Wynika to stąd, że taka macierz S jest macierzą o minimalnym kwadracie normy śladu
∑
a2ii w klasie macierzy A = (aij ) ∈ A i ponadto estymator z macierzą S jest estymatorem nieobciążonym
o minimalnej wariancji (dowód tego faktu można znaleźć np. w [3], §8.19).
Jako wniosek otrzymujemy, że w przypadku, gdy y1 , . . . , yn są niezależnymi zmiennymi losowymi o tym
samym rozkładzie, najbardziej odporny estymator o minimalnej wariancji pokrywa się z estymatorem standardowym
1 ∑
(yi − ȳ)2 .
s2 =
n−1
Odnotujmy, że wtedy
2
γ2
)σ 4
V ars2 = ( +
n
n−1
3
oraz funkcja odporności jest równa
1
n (γ 2
− γ 2 ).
W szczególności wynika stąd bardzo ważny wniosek, że zaobserwowanych przez Pearsona (1931) i badanych
przez Boxa (1953), Boxa i Andersena (1955), Nur̈nberga (1982) i innych niestabilności testów na porównywanie wariancji nie da się usunąć przez oparcie statystyki testowej na bardziej odpornym estymatorze wariancji
postaci y ′ Ay.
6. Przykład
[
1 0 0
Niech X =
1 1 1
′
]
0
. Wówczas
0

0
0
 0 1/4
S=
0 −1/4
0
0

0
0
−1/4
0 
,
1/4
0
0
1/2

0
0
 0 1/3
A∗ = 
0 −1/3
0
0

0
0
−1/3 0 

1/3
0
0
1/3
oraz σ −4 V ary ′ Sy = 38 γ2 + 1, σ −4 V ary ′ A∗ y = 13 γ2 + 54 . Funkcja odporności dla tych estymatorów wynosi,
odpowiednio, 38 (γ 2 − γ 2 ) oraz 13 (γ 2 − γ 2 ).
Prace cytowane
[1] G.E.P. Box, Non-normality and tests on variances, Biometrika 40 (1953),318-335.
[2] G.E.P. Box, S.L. Andersen, Permutation theory in the derivation of robust criteria and the study of
departures from assumptions, J.Roy. Statist. Society, Ser. B 17 (1955), 1-34.
[3] D.R. Cox, D.V. Hinkley, Problems and solutions in theoretical statistics, Chapman and Hall, London,
John Wiley and Sons, New York 1978
[4] G. Nürnberg, Beitrage zur Versuchsplannung fur die Schatzung von Varianzkomponenten und Rubustheitsuntersuchungen zum Vergleich zweier Varianzen, Probleme der angewandten Statistik 6 (1982).
[5] E.S. Pearson, The analysis of variance in cases of non-normal variation, Biometrika 23 (1931),114-135.
[6] C.R. Rao, Modele liniowe statystyki matematycznej, PWN, Warszawa 1982.
[7] R. Zieliński, O mierzeniu odporności statystyk, Matematyka stosowana, XII (1978), 71-76.
4