Odporna estymacja komponentów wariancyjnych Wojciech Zieliński

Odporna estymacja komponentów wariancyjnych
Wojciech Zieliński
Wstęp
Jednym z podstawowych zagadnień statystycznych w modelach liniowych
jest estymacja nieznanych paPK
2
2
rametrów σ12 , . . . , σK
rozkładu wektora losowego y takiego, że Covy =
i=1 σi Ti , gdzie Ti są pewnymi
znanymi macierzami nieujemnie określonymi. Parametry te noszą nazwę komponentów wariancyjnych. Jako
estymatory przyjmuje się formy kwadratowe wektora y, kryteriami są zaś zwykle obciążenie oraz wariancja
estymatora. Jeżeli wektor losowy y ma rozkład normalny, to teoria powyższego zagadnienia jest bardzo dobrze znana, a praktyka często sprowadza się do stosowania gotowych programów komputerowych. Ponieważ
jednak model gaussowski jest modelem raczej wyidealizowanym i w praktycznych zastosowaniach rozkład
obserwacji y może być inny niż normalny, stajemy przed pytaniem, na ile różne interesujące nas własności
tych rutynowych postępowań statystycznych (estymatorów i testów) zmieniają się, gdy faktyczny rozkład
odbiega od rozkładu normalnego.
To zagadnienie jest znane od dawna w statystyce i znane są również różne metody postępowania w takich sytuacjach. Na przykład, czasami stosuje się różne transformacje wektora y tak, żeby zmienne losowe uzyskane
w wyniku tych transformacji miały rozkłady normalne i żeby można było wtedy skorzystać z rozwiązań dla
modelu gaussowskiego. Czasami po prostu rezygnuje się z założeń o rozkładzie i korzysta z różnych metod
nieparametrycznych.
W niniejszej pracy podejmuję zagadnienie ilościowej oceny zmian różnych własności procedur statystycznych
opracowanych dla modelu gaussowskiego, gdy rozkład obserwacji różni się od tego rozkładu modelowego.
Uwagę koncentruję na problemie estymacji komponentów wariancyjnych, a za interesującą mnie własność
estymatorów przyjmuję ich wariancję. Główne wyniki dotyczą konstrukcji kwadratowych, nieobciążonych
estymatorów komponentów wariancyjnych, niezmienniczych ze względu na pewną grupę przesunięć, których
wariancja jest mało wrażliwa na odstępstwa od normalności. Jest to tzw. problem odporności estymatorów
w sensie stabilności wariancji.
W podstawowym rozdziale 2 podaję definicję estymatora odpornego. Podane są tam również warunki konieczne i dostateczne istnienia estymatorów odpornych. Okazuje się, że w wielu sytuacjach istnieje nieskończenie wiele różnych estymatorów odpornych. Wykorzystuję to w ten sposób, że spośród nich wybieram
estymator o minimalnej wariancji. Ponadto podaję tam charakteryzację modeli, w których niezmienniczy
estymator nieobciążony o minimalnej wariancji w modelu normalnym jest zarazem estymatorem odpornym.
Rozdział 3 poświęcony jest zastosowaniom wyników uzyskanych w rozdziale 2. Znajduje się tam szczegółowe
omówienie odpornej estymacji wariancji w modelach z jednym komponentem wariancyjnym; jest rozważany
szczegółowo model jednoczynnikowej analizy wariancji w układzie stałym i mieszanym, a w końcu podany jest
przykład modelu, w którym estymator odporny o minimalnej wariancji jest inny niż estymator nieobciążony
o minimalnej wariancji w modelu normalnym.
Ostatni rozdział zawiera kilka problemów otwartych, które są przedmiotem moich badań.
W pierwszym rozdziale znajduje się krótki przegląd metod estymacji komponentów wariancyjnych w modelach normalnych. Nie poruszono tu jednak zagadnień, które nie są bezpośrednio związane z tematem
niniejszej pracy, np. problem nieujemnej estymacji oraz estymacji bayesowskiej. Podano natomiast krótki
przegląd dotychczasowych wyników związanych z zagadnieniem estymacji odpornej.
Problemy stabilności procedur statystycznych opartych na estymatorach wariancji pojawiły się już w pracach Pearsona (1931), Boxa (1953) oraz Boxa i Andersena (1955). Obszerny przegląd literatury na ten temat
można znaleźć u Niürnberga (1982). Prezentowane w pracy podejście do zagadnień odpornej estymacji komponentów wariancyjnych po raz pierwszy zostało zastosowane do przypadku modeli z jednym komponentem
wariancyjnym w pracy R. Zielińskiego i W. Zielińskiego (1985). Tak zwane ”podejście bezwspółrzędniowe”
w tym problemie po raz pierwszy zastosowano w pracy W. Zielińskiego (1986). Przykłady różnych modeli
można znaleźć w pracy W. Zielińskiego (1985).
W niniejszej rozprawie w systematyczny sposób przedstawione są moje wyniki opublikowane w pracach: W.
Zieliński (1985, 1986) oraz R. Zieliński i W. Zieliński (1985). Uzupełniam je wynikami na temat związku
estymatorów nieobciążonych o minimalnej wariancji w modelu normalnym z estymatorami odpornymi (tw.
2.4) oraz szczegółową analizą odporności w modelu jednoczynnikowej analizy wariancji (rozdz. 3).
1
1. Zagadnienie estymacji komponentów wariancyjnych.
Rozważamy model liniowy
y = Xβ + e,
(1.1)
p
gdzie X jest znaną macierzą o wymiarach
PKn × 2p, β - wektorem w R , e wektorem losowym o rozkładzie
2
2 0
N (0, T (σ)), σ = (σ1 , . . . , σK ) , T (σ) = i=1 σi Ti , Ti są znanymi macierzami nieujemnie określonymi (w
PK
dalszych rozdziałach struktura wektora e będzie dokładniej wyspecyfikowana). Niech f 0 σ = i=1 fi σi2 będzie
liniową funkcją komponentów wariancyjnych. Zadnie polega na znalezieniu kwadratowego estymatora y 0 Ay
dla tej funkcji.
W niniejszym krótkim przeglądzie zagadnień estymacji komponentów wariancyjnych będą nas interesowały
dwa kierunki. Pierwszy z nich to estymacja w modelach normalnych, drugi zaś to zagadnienie takiej estymacji w modelach normalnych, którą można przenieść również na przypadek modeli niegaussowskich, czyli
zagadnienie estymacji odpornej na odstępstwa od normalności modelu.
1.1. Estymacja w modelach gaussowskich. Jedną z pierwszych prac dotyczących estymacji komponentów
wariancyjnych jest praca Hendersona (1953). Podane tam trzy metody estymacji znane są jako metody Hendersona. Polegają one na znalezieniu niezależnych zmiennych losowych y 0 A1 y, . . . , y 0 AK y oraz rozwiązaniu
2
układu równań powstałych przez przyrównanie wartości oczekiwanych do aktualnych
względem σ12 , . . . , σK
0
2
obserwacji: Ey Ai y = y 0 Ai y, i = 1, . . . , K. Otrzymane rozwiązania σ̂1 , . . . , σ̂K
traktuje się jako estymatory
odpowiednich komponentów wariancyjnych. Uzyskane tą drogą estymatory są nieobciążone i cała uwaga
koncentruje się wokół konstrukcji takich właśnie estymatorów. Ponieważ estymator nieobciążony nie jest
wyznaczony jednoznacznie, powstał problem wyboru spośród nich estymatora optymalnego według jakiegoś
dodatkowego kryterium. W 1971 roku Rao zaproponował jako kryterium normę kAkV = trAV AV , gdzie V
jest pewną dodatnio określoną macierzą. Otrzymany tą drogą estymator nosi nazwę MINQUE - minimum
norm quadratic unbiased estimator. Okazuje się, że jeżeli V = Covy, to MINQUE jest estymatorem nieobciążonym o minimalnej wariancji. Wiele szczegółowych wyników uzyskanych przy tym podejściu do estymacji
można znaleźć w pracach Searle (1971), Corbeil i Searle (1976), Kleffe (1977), Rao i Kleffe (1980), Humak
(1984) oraz w najnowszej pracy przeglądowej Gnota (1986).
Ponieważ pewne transformacje wyjściowego modelu liniowego (1.1) nie zmieniają wartości komponentów
2
i przestrzeni wartości oczekiwanych wektora y, wydaje się naturalnym ograniczenie
wariancyjnych σ12 , . . . , σK
klasy rozważanych estymatorów do estymatorów niezmienniczych na te transformacje. Dokładniej: jeżeli g
jest dowolnym wektorem z przestrzeni generowanej przez kolumny macierzy X - oznaczamy tę przestrzeń
przez R(X) - to Cov(y + g) = Covy i E(y + g) ∈ R(X). W tej sytuacji naturalne wydaje się żądanie, aby
estymator y 0 Ay spełniał warunek
(y + g)0 A(y + g) = y 0 Ay,
∀g ∈ R(X).
Takie estymatory będziemy nazywać krótko estymatorami niezmienniczymi. Ponieważ dla każdego g ∈ R(X)
istnieje wektor β ∈ Rp taki, że g = Xβ, więc estymator y 0 Ay jest niezmienniczy wtedy i tylko wtedy, gdy
AX = 0.
Podstawowym zagadnieniem estymacji niezmienniczej jest znalezienie maksymalnego niezmiennika, tzn. przekształcenia liniowego t = M y ∈ Rs , s ≤ n spełniającego warunki:
1. M y = M (y + g), ∀g ∈ R(X);
2. jeżeli M y1 = M y2 , to y1 − y2 ∈ R(X).
W literaturze rozważane są różne przekształcenia M . Najczęściej przyjmuje się M = I − XX + , gdzie X +
jest odwrotnością Moore’a-Penrose’a macierzy X. Przekształcenie to jest rzutem ortogonalnym na N (X) =
{a ∈ Rp : Xa = 0}. W dalszym ciągu będziemy posługiwali się właśnie tą macierzą M . Inne maksymalne
niezmienniki można znaleźć np. w pracach: Kleffe (1976) oraz Olsen i in. (1976).
Zagadnienie niezmienniczej i nieobciążonej estymacji funkcji liniowych komponentów wariancyjnych szczegółowo badał Seely (1971b). Charakteryzację zbioru G funkcji komponentów wariancyjnych, które są nieobciążenie i niezmienniczo estymowalne, sformułował on w postaci następującego lematu:
LEMAT 1.1. Funkcja f 0 σ ∈ G wtedy i tylko wtedy, gdy f ∈ R(G), gdzie G = (trM Ti M Tj )i,j=1,...,K .
Przy założeniu, że jedna z macierzy T1 , . . . , TK , powiedzmy TK = I, Seely podał także warunek konieczny i
dostateczny na to, aby dla każdej funkcji f 0 σ ∈ G istniał estymator jednostajnie najlepszy i niezmienniczy,
2
tzn. estymator o jednostajnie, względem σ, minimalnej wariancji, która w modelu gaussowskim wyraża się
wzorem
V ary 0 Ay = 2trAT (σ)AT (σ).
(1.2)
LEMAT 1.2. Niech TK = I i niech E = sp{M T1 M, . . . , M TK M }. Dla każdej funkcji z G istnieje jednostajnie
najlepszy estymator niezmienniczy wtedy i tylko wtedy, gdy przestrzeń E spełnia warunek:
V ∈ E ⇒ V 2 ∈ E.
Pod przestrzeń E spełniającą warunek podany w lemacie 1.2 Seely nazwał przestrzenią kwadratową.
1.2. Estymacja w modelach niegaussowskich i estymacja odporna. W przypadku gdy rozkład modelowy nie
jest rozkładem normalnym, w wariancji kwadratowego estymatora y 0 Ay pojawia się człon będący funkcją
kurtozy rozkładu modelowego (dokładna postać wariancji w modelu niegaussowskim podana jest w rozdziale
2, wzór 2.1). Zatem, wariancja estymatora optymalnego w modelu normalnym zmienia się i powstaje pytanie,
czy w modelu niegaussowskim estymator ten jest nadal estymatorem nieobciążonym o minimalnej wariancji,
a jeżeli nie, to jak wygląda estymator optymalny w modelu niegaussowskim.
Problem charakteryzacji modeli, w których estymator optymalny przy założeniu normalności nie traci własności optymalności, gdy rozkład nie jest normalny, postawiony był przez Hsu (1938) i nosi nazwę problemu
Hsu. Zagadnieniem tym zajmowali się m.in. Attiqullah (1962 a,b), Drygas i Hupet (1977), Drygas (1980),
Kleffe (1975), Kleffe i Zolner (1978), Anderson i in. (1984). Przegląd wyników można znaleźć np. w podręcznikach Seber (1977) i Rao (1982).
W modelach niegaussowskich, nie będących rozwiązaniami problemu Hsu, możliwe jest znalezienie estymatorów o mniejszej wariancji niż wariancja estymatora optymalnego. Hirano (1973) oraz Singh i in. (1973)
zaproponowali pewną modyfikację standardowego estymatora wariancji zależną od kurt ozy rozkładu modelowego. Inną propozycją jest estymator typu ”jacknife” (Arvesen i Schmitz 1970).
Przykładem modelu będącego rozwiązaniem problemu Hsu jest model, w którym składowe y1 , . . . , yn wektora y są niezależnymi zmiennymi losowymiPo tym samym rozkładzie, powiedzmy F . Scheffe (1959) pokazał,
1
że najlepszy estymator wariancji s2 = n−1
(yi − ȳ)2 ma, po odpowiednim unormowaniu rozkład asymptotycznie normalny N (0, 1 + γ2 (F )/2), gdzie γ2 (F ) = µ4 (F )/µ22 (F ) − 3 jest kurtozą rozkładu F (µi (F ) oznacza
i-ty moment centralny tego rozkładu). W konsekwencji otrzymujemy na przykład, że asymptotyczny rozmiar
testu chi-kwadrat na poziomie istotności 0.05 dla hipotezy H : σ 2 = 1 zależy od kurtozy rozkładu F :
γ2 (F )
rozmiar testu
−1.5
9 × 10−5
−1
0
0.0006 0.05
1
7
0.11 0.36
Podobne zachowanie się rozmiaru testu F Snedecora dla testowania hipotezy o równości dwóch wariancji zauważył Pearson (1931), natomiast Box (1953) oraz Box i Andersen (1955) obliczyli zmiany asymptotycznego
rozmiaru testu Bartletta dla testowania hipotezy o równości k wariancji:
γ2 (F )
2
0
−1
k=2
0.166
0.05
0.0056
k = 20
0.718
0.05
0.0004
W tej sytuacji wydaje się sensowne poszukiwanie takich estymatorów wariancji, których wariancja jest mało
czuła na zmiany kurtozy rozkładu modelowego. Po raz pierwszy badanie zmian wariancji kwadratowego
estymatora wariancji, będących konsekwencją zmiany rozkładu modelowego, było przeprowadzone w pracy
R. Zieliński i W. Zieliński (1985). Podano tam estymatory, których wariancja jest najbardziej stabilna przy
zmianach rozkładu w modelu z jednym komponentem wariancyjnym. Wyniki tej pracy przedstawione są w
§3.1. W niniejszej pracy problem poszukiwania estymatorów o wariancji najbardziej stabilnej przy zmianach
rozkładu zostanie rozszerzony na liniowe funkcje komponentów wariancyjnych.
Inne podejście do odpornej estymacji wariancji prezentuje Huber (1981). Interesuje się on estymacją odchylenia standardowego jako parametru skali w rozkładzie normalnym. W tym podejściu rozważa się problem
3
estymacji parametru skali λ rozkładu Fλ (x) = F (x/λ). Przypuśćmy, że zamiast rozkładu F mamy pewien
rozkład z rodziny Pε = {G : G = (1 − ε)F + εH : H jest dowolnym rozkładem}. (jest to tak zwany model błędów grubych). Poszukuje się takich estymatorów parametru λ, których asymptotyczne obciążenie
lub/i asymptotyczna wariancja są małe dla wszystkich rozkładów z Pε . Estymatorów poszukuje się wśród
M -estymatorów (estymatory typu największej wiarogodności), L-estymatorów (liniowe kombinacje statystyk
pozycyjnych) lub R-estymatorów (estymatory rangowe). Obszerny wykład na temat tego zagadnienia można
znaleźć w monografii Hubera (1981), szczegółowe wyniki zaś np. w pracach Schoemaker i Hettmansperger
(1982) i Lax (1985). Rychlik (1986) podał estymatory parametru skali, których asymptotyczne obciążenie
w sensie mediany jest najmniejsze dla wszystkich rozkładów z Pε . To bardzo ogólne podejście do estymacji
wariancji nie jest jednak przedmiotem moich zainteresowań w niniejszej pracy.
2. Odporna estymacja komponentów wariancyjnych
PK
2.1. Sformułowanie zagadnienia. Rozważamy model liniowy (1.1), gdzie e =
i=1 Wi ξi , Wi są znanymi
macierzami o wymiarach n × ni takimi, że Wi WI0 = Ti , ξi = (ξi1 . . . , ξini )0 , i = 1, . . . , K są wektorami
losowymi takimi, że Eξi = 0, Eξi ξi0 = σi2 Ini oraz Eξi ξj0 = 0 dla i 6= j.
Niech Fij będzie rozkładem zmiennej losowej ξij takim, że kurtoza γ2 (Fij ) = γ2i ∈ [γ 2i , γ 2i ]. Oznaczmy przez
P
F łączny rozkład zmiennych losowych (ξ1 , . . . , ξK ) na RN (N =
ni ). Niech PΓ = {Fγ : γ ∈ Γ} będzie
rodziną rozkładów indeksowaną parametrem γ ∈ Γ = [γ 21 , γ 21 ] × · · · × [γ 2K , γ 2K ]. Załóżmy, że Γ jest zbiorem
w Rk zawierającym zero. Przy tych założeniach wariancja niezmienniczego estymatora y 0 Ay ma postać:
V ary 0 Ay =
K
X
σi4 γ2i a0i ai + 2trAT (σ)AT (σ),
(2.1)
i=1
gdzie ai jest wektorem utworzonym z diagonalnych elementów macierzy Wi0 AWi , i = 1, . . . , K (ai =
diag(Wi0 AWi )). Zauważmy, że jeżeli F jest rozkładem normalnym, to (2.1) redukuje się do (1.2).
Dla zadanej funkcji f 0 σ poszukujemy takiego estymatora, którego wariancja zmienia się możliwie mało,
gdy rozkład F przebiega zbiór Γ. Wzorując się na koncepcji odporności z pracy R. Zielińskiego (1983),
zdefiniujemy dla danego estymatora y 0 Ay funkcję odporności
rA (σ) = sup V ary 0 Ay − inf V ary 0 Ay =
Fγ ∈PΓ
Fγ ∈PΓ
K X
γ 2i − γ 2i σi4 a0i ai .
(2.2)
i=1
DEFINICJA 2.1. Estymator y 0 Ay funkcji f 0 σ nazywamy odpornym, jeżeli Ey 0 Ay = f 0 σ oraz rA (σ) ≤
rB (σ) dla wszystkich σ oraz wszystkich B takich, że Ey 0 By = f 0 σ.
W trzeciej części niniejszego rozdziału problem poszukiwania estymatorów odpornych jest sprowadzony do
problemu poszukiwania estymatorów nieobciążonych o ”minimalnej wariancji” oraz są podane warunki istnienia estymatorów odpornych. Okazuje się, że w wielu modelach dla danej funkcji komponentów wariancyjnych
istnieje nieskończenie wiele estymatorów odpornych i spośród nich można wybrać estymator o minimalnej
wariancji. Zagadnienie istnienia estymatorów odpornych o minimalnej wariancji (które nazywam najlepszymi
estymatorami odpornymi) rozważane jest w części czwartej. Część piąta poświęcona jest badaniu, kiedy estymator nieobciążony o minimalnej wariancji w modelu normalnym jest estymatorem odpornym. Druga część
bieżącego rozdziału ma charakter pomocniczy i zawiera wszystkie te fakty z ogólnej teorii modeli liniowych,
które zostały wykorzystane w dalszej części pracy.
Ponieważ interesuje nas niezmiennicza estymacja komponentów wariancyjnych, więc tam gdzie to będzie
wygodniej, obok modelu wyjściowego
K
X
Y = Xβ +
Wi ξi ,
(2.3)
i=1
będziemy rozważać model zredukowany
t=
K
X
i=1
4
Ui ξi ,
(2.4)
dla maksymalnego niezmiennika opisanego w §1.1 t = M y, gdzie Vi = M Wi oraz M = I − XX + .
Ponieważ estymator kwadratowy względem y jest niezmienniczy wtedy i tylko wtedy, gdy jest funkcją maksymalnego niezmiennika t, problem niezmienniczej i kwadratowej estymacji w modelu (2.3) redukuje się do
problemu estymacji kwadratowej w modelu (2.4).
2.2. Definicje, oznaczenia i lematy. W latach siedemdziesiątych Seely i Zyskind (Seely (1970a, b), (1971), Seely
i Zyskind (1971)) zauważyli, że problem kwadratowej estymacji komponentów wariancyjnych można sprowadzić do pewnego problemu estymacji liniowej. Rozważali oni zmienną losową Z = yy 0 przyjmującą wartości w
przestrzeni liniowej Mn macierzy symetrycznych stopnia n z iloczynem skalarnym (A, B) = trAB. Wówczas
estymator kwadratowy y 0 Ay można zapisać jako estymator liniowy (A, Z). Ogólnie: dla zmiennej losowej Z
o wartościach w skończenie wymiarowej przestrzeni liniowej K z iloczynem skalarnym (·, ·) zadanie polega na
liniowej estymacji liniowej funkcji wartości oczekiwanej EZ. Prace Seely’ego i Zyskinda dały początek tzw.
podejściu bezwspółrzędniowemu (coordinate free approach), które to podejście jest stosowane w niniejszej
pracy. W związku z tym wprowadzimy pewne definicje i lematy przydatne w dalszych rozważaniach.
Niech Z będzie zmienną losową o wartościach w skończenie wymiarowej przestrzeni K z iloczynem skalarnym (·, ·). Niech K0 będzie podprzestrzenią liniową przestrzeni K. Niech E będzie przestrzenią liniową
rozpiętą przez wartości oczekiwane zmiennej losowej Z oraz niech Θ będzie stożkiem wypukłym nieujemnie
określonych i samosprzężonych operatorów liniowych działających z K w K (zazwyczaj przyjmuje się, że Θ
jest stożkiem rozpiętym przez operatory kowariancji CovZ). Dla danego A ∈ K niech g = (A, EZ) będzie
funkcją liniową wartości oczekiwanej EZ. Poszukujemy estymatora funkcji g w klasie estymatorów liniowych (B, Z). Funkcję g będziemy nazywali K0 -estymowalną, jeżeli istnieje B ∈ K0 takie, że E(B, Z) = g.
Estymator (B, Z), B ∈ K0 , funkcji g będziemy nazywali (K0 , Θ) najlepszym estymatorem funkcji g, jeżeli
dla każdego C ∈ K0 takiego, że E(C, Z) = g mamy (B, ΓB) ≤ (C, ΓC) dla wszystkich Γ ∈ Θ. Estymator
(B, Z) nazywamy (K0 , Θ)-najlepszym, jeżeli jest on (K0 , Θ)-najlepszym estymatorem swojej wartości oczekiwanej. Zauważmy, że jeżeli Θ jest zbiorem operatorów kowariancji wektora Z, to pojęcie (K0 , Θ)-najlepszego
estymatora jest równoważne pojęciu estymatora nieobciążonego o jednostajnie
T minimalnej wariancji.
Operator Ψ ∈ Θ nazywamy operatorem maksymalnym w Θ, jeżeli N (Ψ) = Γ∈Θ N (Γ), gdzie N (Γ) oznacza
jądro operatora Γ. Jeżeli w zbiorze Θ istnieje operator dodatnio określony, to jest on operatorem maksymalnym. Istnienie operatora maksymalnego w każdym wypukłym zbiorze samosprzężonych operatorów
nieujemnie określonych udowodnił LaMotte (1977).
Niech K0 oraz K1 będą dwiema podprzestrzeniami liniowymi przestrzeni K i niech Bi = {A ∈ Ki :
(A, Z) jest estymatorem (Ki , Θ) − najlepszym}, i = 0, 1. Podamy kilka lematów charakteryzujących najlepsze estymatory.
LEMAT 2.1. Niech A ∈ K0 . Estymator (A, Z) jest (K0 , Θ)-najlepszym wtedy i tylko wtedy, gdy ΓA ∈ E +K0
dla każdego Γ ∈ Θ.
Dowód. Jest to wersja znanego lematu Lehmanna-Scheffego (por. Gnot i in. (1980)).
Następujący lemat podaje charakteryzację modeli, w których dla wszystkich funkcji K0 -estymowalnych istnieją estymatory najlepsze.
LEMAT 2.2. Dla każdej K0 -estymowalnej funkcji istnieje (K0 , Θ)-najlepszy estymator wtedy i tylko wtedy,
gdy
Γ K0 ∩ Ψ−1 (E + K0⊥ ) ⊆ E + K0⊥ dla wszystkich Γ ∈ Θ.
Dowód. Lemat pochodzi z pracy Gnota i in. (1980), gdzie podano jego dowód.
Powyższy lemat odgrywa podstawową rolę w dalszych rozważaniach.
Następujący lemat podaje postać zbioru Bi przy założeniu, że dla każdej Ki -estymowalnej funkcji istnieje
(Ki , Θ))-najlepszy estymator, i = 0, 1.
LEMAT 2.3. Przypuśćmy, że warunki lematu 2.2 są spełnione dla K0 i K1 . Wówczas Bi = Ki ∩Ψ−1 (E +Ki⊥ ),
i = 0, 1.
5
T
T
Dowód. Na mocy lematu 2.1 mamy Bi = Ki ∩ Γ∈Θ Γ−1 (E + Ki⊥ ). Równość Ki ∩ Γ∈Θ Γ−1 (E + Ki⊥ ) =
Ki ∩ Ψ−1 (E + Ki⊥ ) wynika z dowodu twierdzenia 3.1 w pracy Gnota i in. (1980).
Poniższy lemat podaje warunki przy których każdy (K1 , Θ)-najlepszy estymator jest jednocześnie (K0 , Θ)najlepszym, gdy K0 ⊆ K1 .
LEMAT 2.4. Jeżeli K0 ⊆ K1 , to B1 ⊆ B0 wtedy i tylko wtedy, gdy B1 ⊆ K0 .
Dowód. Przypuśćmy, że B1 ⊆ B0 . Ponieważ na mocy lematu 2.2 B0 ⊆ K0 , więc B1 ⊆ K0 . Niech teraz B1 ⊆ K0 .
Z lematu 2.2 B1 ⊆ Ψ−1 (E + K1⊥ ), więc wobec założenia, że K0 ⊆ K1 mamy B0 ⊆ Ψ−1 (E + K0⊥ ), czyli
B1 ⊆ K0 ∩ Ψ−1 (E + K0⊥ ) = B0 .
Wyniki przedstawione w niniejszym paragrafie wykorzystuję w zagadnieniach kwadratowej estymacji komponentów wariancyjnych w modelu (2.4) (niezmienniczej, kwadratowej estymacji w modelu (2.3)) w następujący
0
sposób. Jako zmienną losową
K jest przestrzenią Mn macierzy symetrycznych stopP 2 Z przyjmuję tt . Wtedy
0
0
nia n. Ponieważ Ett =
σi VP
i , gdzie Vi = Ui Ui , więc E = sp{V1 , . . . , VK }. Interesuje nas estymacja funkcji
f 0 σ, czyli funkcji (A, Ett0 ) =
σi2 trAVi . Estymatory t0 At przyjmują postać (A, tt0 ).
2.3. Twierdzenie o istnieniu estymatorów odpornych. W niniejszym paragrafie zajmujemy się problemem
istnienia estymatorów odpornych w sensie definicji 2.1. Na mocy wzorów (2.1) i (2.2), macierz A ∈ Mn taka,
że t0 At jest odpornym estymatorem funkcji f 0 σ jest rozwiązaniem następującego zagadnienia optymalizacyjnego:
znaleźć A ∈ Mn minimalizującą, jednostajnie względem σ,
rA (σ) =
K
X
(γ 2i − γ 2i )σi4 a0i ai ,
i=1
przy warunku
Et0 At = f 0 σ,
gdzie ai = diag(Ui0 AUi ) = diag(Wi0 M AM Wi ).
Niech P będzie rzutem ortogonalnym na podprzestrzeń macierzy diagonalnych, tzn. dla A = (aij )i,j=1,...,n

a11
.
P (A) =  ..
0
···
···

0
.. 
.
.
ann
Korzystając z własności śladu macierzy, możemy zapisać:
a0i ai = trP (Ui0 AUi )P (Ui0 AUi ) = trUi0 AUi P (Ui0 AUi ) = trAUi P (Ui0 AUi )Ui0 = (AΦi A),
gdzie Φi jest odwzorowaniem liniowym z Mn w Mn zdefiniowanym wzorem Φi A = Ui P (Ui0 AUi )Ui0 . Niech
PK
Φ(σ) = i=1 (γ 2i − γ 2i )σi4 Φi . Wtedy
rA (σ) =
K
X
(γ 2i − γ 2i )σi4 a0i ai = (A, Φ(σ)A).
i=1
Poszukiwanie odpornego estymatora dla funkcji f 0 σ w modelu (2.4) sprowadza się zatem do następującego
problemu:
6
znaleźć macierz A ∈ Mn taką, że
(A, Φ(σ)A) = min! dla wszystkich σ,
Et0 At = f 0 σ.
(2.5)
Nas interesują warunki, przy których dla każdej funkcji estymowalnej w modelu (2.4) istnieje estymator
odporny. Niech Θ = {Φ(σ) : σi2 ≥ 0, i = 1, . . . , K}.
LEMAT 2.5. W zbiorze Θ istnieje operator maksymalny.
Dowód. Zbiór Θ jest wypukły. Dla każdego A ∈ Mn mamy
(A, Φ(σ)A) =
K
X
(A, (γ 2i − γ 2i )σi4 Φi A),
i=1
a ponieważ (A, Φi A) = a0i ai ≥ 0, więc każdy operator Φ(σ) jest nieujemnie określony. Dla dowolnych A, B ∈
Mn mamy
(A, Φi B) = trAUi P (Ui0 BUi )Ui0 = trP (Ui0 AUi )P (Ui0 BUi ) = trUi P (Ui0 AUi )Ui0 B = (Φi A, B), i = 1, . . . , K,
czyli każdy operator Φ ∈ Θ jest samosprzężony. Zatem na mocy cytowanego w §2.2 wyniku LaMotta w Θ
istnieje operator maksymalny.
Niech Ψ będzie operatorem maksymalnym w Θ. Przyjmując K0 = K w lemacie 2.2, otrzymujemy następujące
twierdzenie.
TWIERDZENIE 2.1. Dla każdej funkcji estymowalnej w modelu (2.4) istnieje estymator odporny wtedy
i tylko wtedy, gdy
ΓΨ−1 (E) ⊆ E dla wszystkich Γ ∈ Θ.
2.4. Twierdzenie o istnieniu najlepszych estymatorów odpornych. Twierdzenie 2.1 podaje warunki konieczne
i dostateczne, przy których dla każdej funkcji estymowalnej istnieje estymator odporny. Pojawia się pytanie,
czy te estymatory odporne są określone jednoznacznie. Następujący lemat podaje rozwiązanie tego problemu.
LEMAT 2.6. Jeżeli dla pewnej funkcji estymowalnej istnieje estymator odporny, to jest on wyznaczony
jednoznacznie wtedy i tylko wtedy, gdy N ∩ E ⊥ = {0}.
Dowód. (Konieczność). Przypuśćmy, że istnieje niezerowy element X ∈ N ∩ E ⊥ . Niech (A, tt0 ) będzie estymatorem odpornym. Wtedy E(A + X, tt0 ) = E(A, tt0 ) oraz (A + X, Γ(A + X)) = (A, ΓA) dla wszystkich
Γ ∈ Θ, czyli (A + X, tt0 ) jest również estymatorem odpornym.
(Dostateczność). Niech (A, tt0 ) oraz (B, tt0 ) będą dwoma odpornymi estymatorami tej samej funkcji komponentów wariancyjnych. Zatem A − B ∈ E ⊥ . Ponieważ (A, tt0 ) oraz (B, tt0 ) są odporne, więc na mocy lematu
2.1 (z K0 = K) mamy (A, Γ(A − B))
T = (B, Γ(A − B)) = 0 dla każdego Γ ∈ Θ. Stąd (A − B, Γ(A − B)) = 0
dla każdego Γ ∈ Θ, czyli A − B ∈ Γ∈Θ N (Γ) = N (Ψ). W konsekwencji A = B.
W niniejszym paragrafie rozważamy przypadek, gdy warunki lematu 2.6 nie są spełnione, Wówczas, jeżeli dla
pewnej funkcji estymowalnej istnieje estymator odporny, to jest on określony niejednoznacznie. Spośród nich
można wybrać estymator ”najlepszy” według dodatkowego kryterium. Za kryterium przyjmujemy wariancję
i najlepszym estymatorem odpornym nazywać będziemy estymator odporny o minimalnej wariancji.
Niech AR oznacza pod przestrzeń liniową wszystkich estymatorów odpornych. Niech GR ⊆ G oznacza zbiór
wszystkich odpornie estymowalnych funkcji: f 0 σ ∈ GR wtedy i tylko wtedy, gdy istnieje A ∈ AR takie, że
Et0 At = f 0 σ.
PK
Niech f 0 σ ∈ GR . Ponieważ dla wszystkich odpornych estymatorów funkcji f 0 σ wielkość i=1 (γ 2i −γ 2i )σi4 a0i ai
jest taka sama, więc zgodnie ze wzorem (2.1) najlepszy estymator odporny, jeżeli istnieje, ma postać t0 At,
gdzie A ∈ Mn jest rozwiązaniem następującego problemu
7
(
trAV (σ)AV (σ) = min!
Et0 At = f 0 σ,
A ∈ AR .
dla wszystkich σ,
Dla zadanej macierzy T niech ΣT będzie operatorem liniowym, odwzorowującym Mn w siebie, danym
wzorem ΣT A = T AT . Niech V = {ΣV (σ) : σi2 ≥ 0, i = 1, . . . , K}. Łatwo zauważyć, że - podobnie jak Θ zbiór V jest wypukłym stożkiem samosprzężonych operatorów nieujemnie określonych. Oznaczmy przez Σ
operator maksymalny w V.
Następujące twierdzenie podaje warunki konieczne i dostateczne na to, aby dla każdej funkcji z GR istniał
najlepszy estymator odporny.
TWIERDZENIE 2.2. Dla każdej funkcji odpornie estymowalnej istnieje najlepszy estymator odporny
wtedy i tylko wtedy, gdy
⊥
Γ AR ∩ Σ−1 (E + A⊥
R ) ⊆ E + AR
dla wszystkich Γ ∈ V.
Dowód. Twierdzenie jest wersją lematu 2.2 z K0 = AR oraz Θ = V.
W modelu (2.3) sformułowanym w §2.1 często przyjmuje się, że WK = I (TK = I). Wtedy ξK interpretuje
się jako wektor błędów losowych obserwacji y i oznacza standardowo przez e. Jeżeli WK = I, to twierdzenie
2.2 można zapisać w równoważnej postaci.
TWIERDZENIE 2.3. Niech Q oznacza rzut ortogonalny na podprzestrzeń AR . Dla każdej funkcji z GR
istnieje najlepszy estymator odporny wtedy i tylko wtedy, gdy podprzestrzeń sp{QV1 Q, . . . , QVK Q} jest
kwadratowa, gdzie Vi = M Wi Wi0 M .
Dowód. Twierdzenie to jest adaptacją lematu 1.2 do przypadku, w którym najlepszych estymatorów poszukujemy w zbiorze {y 0 Ay : A ∈ AR }.
2.5. Porównanie z estymatorem standardowym. Załóżmy, że w modelu (2.4) wektory ξi , i = 1, . . . , K, mają
rozkłady normalne, WK = I (VK = M ), a przestrzeń E = sp{V1 , . . . , VK } jest kwadratowa. Wówczas
na mocy lematu 1.2 dla każdej estymowalnej funkcji komponentów wariancyjnych f 0 σ istnieje estymator
najlepszy. Oznaczmy ten estymator przez t0 AfS t i nazwijmy go estymatorem standardowym. Można pokazać,
że AfS ∈ E dla każdej estymowalnej funkcji f 0 σ (por. Gnot (1986)). Podane niżej twierdzenie orzeka, w jakich
modelach dla każdej funkcji estymowalnej estymator standardowy jest jednocześnie najlepszym estymatorem
odpornym. Jest to szersza wersja lematu 4 z pracy W. Zielińskiego (1986).
TWIERDZENIE 2.4. Niech WK = I i niech E będzie podprzestrzenią kwadratową. Następujące warunki
są równoważne:
(i) dla każdej funkcji estymowalnej w modelu (2.4) estymator standardowy jest najlepszym estymatorem
odpornym;
(ii) E ⊆ AR ;
(iii) Φi Vj ∈ E dla i, j = 1, . . . , K.
Dowód. Dowodzimy równoważności warunków (i) oraz (ii) korzystając z lematów przedstawionych w §2.2.
Połóżmy tam K1 = Mn , K0 = AR oraz Θ = V. Wówczas B1 jest zbiorem estymatorów standardowych, B0
jest zaś zbiorem najlepszych estymatorów odpornych. Na mocy lematu 2.4 mamy B1 ⊆ B0 wtedy i tylko
wtedy, gdy B1 ⊆ AR . Ale na mocy lematu 2.3 i założenia WK = I mamy B1 = E.
Dowodzimy (i) ⇔ (iii). Każdy estymator standardowy jest najlepszym estymatorem odpornym wtedy i tylko
wtedy, gdy jest (Mn , Θ)-najlepszym dla Θ zdefiniowanego w §2.3. Ponieważ B1 = E, z lematu 2.1 wynika,
że (i) jest równoważny z warunkiem
ΦA ∈ E
∀A ∈ E, ∀Φ ∈ V.
Z definicji Φ oraz E wynika, że powyższy warunek jest równoważny (iii).
8
3. Zastosowania
W niniejszym rozdziale przedstawimy kilka przykładów zastosowań ogólnej teorii estymatorów odpornych
z rozdziału 2. Model z jednym komponentem wariancyjnym (§3.1) jest klasycznym modelem liniowym z
problemem estymacji wariancji błędu. Model jednoczynnikowej analizy wariancji (§3.2) stanowi punkt wyjścia
dla wielu rozważań teoretycznych związanych z wnioskowaniem statystycznym, a zarazem jest jednym z
modeli najpowszechniej stosowanych w praktyce przyrodniczej, technicznej i ekonomicznej. W paragrafie
3.3 przedstawiony jest model z dwoma komponentami wariancyjnymi, w którym standardowy estymator
nieobciążony o minimalnej wariancji nie jest estymatorem odpornym.
3.1. Model z jednym komponentem wariancyjnym. Rozważamy model y = Xβ + ξ, w którym Eξ = 0,
Eξξ 0 = σ 2 In . Zadanie estymacji liniowej funkcji wariancji sprowadza się teraz do estymacji wielkości cσ 2 dla
c ∈ R. Korzystając z wyników rozdziału 2 pokażemy, że w tym modelu istnieje najlepszy estymator odporny
oraz znajdziemy explicite jego postać.
W rozważanym modelu przestrzeń rozpięta na wartościach oczekiwanych tt0 dla t = M y jest postaci E =
{aM : a ∈ R}. Zbiór określony w paragrafie 2.3 jest teraz generowany przez jeden operator postaci ΦA =
M P (M AM )M , który jest operatorem maksymalnym w Θ. Warunek podany w twierdzeniu 2.1 jest oczywiście
spełniony, zatem dla każdej funkcji estymowalnej (w tym przypadku dla każdej funkcji postaci cσ 2 ) istnieje
estymator odporny. Podprzestrzeń V zdefiniowana w paragrafie 2.4 ma postać V = {ΣaM : a ∈ R}, a
operatorem maksymalnym w tym zbiorze jest ΣM . Z postaci operatora ΣaM widać, że dla wszystkich a ∈ R+
zachodzi
⊥
⊥
ΣaM AR ∩ Σ−1
M (E + AR ) ⊆ E + AR ,
czyli dla każdej funkcji wariancji istnieje najlepszy estymator odporny.
W rozważanym modelu y = Xβ + ξ można efektywnie wyznaczyć najlepszy estymator odporny dla σ 2
(R. Zieliński i W. Zieliński (1985)). Funkcja odporności estymatora y 0 Ay przyjmuje w tym modelu postać
rA (σ) = (γ 2 − γ 2 )σ 4 a0 a, gdzie a = diagA. Zadanie polega na znalezieniu macierzy A minimalizującej rA (σ)
przy warunku niezmienniczości AX = 0 i warunku nieobciążoności trA = 1. W istocie rzeczy, jest to zadanie
znalezienia przekątnej a macierzy; polega ono na znalezieniu najkrótszego, w sensie normy euklidesowej,
wektora w odpowiedniej rozmaitości liniowej. Jak wiadomo, zadanie takie ma zawsze rozwiązanie; oznaczmy
to rozwiązanie przez a0 = (a01 , . . . , a0n )0 . Każda macierz A taka, że diagA = a0 oraz AX = 0, wyznacza
pewien estymator odporny wariancji.
Macierz AR najlepszego estymatora odpornego jest rozwiązaniem następującego zadania:
wyznaczyć macierz A ∈ Mn taką, że

 trA2 = min!,
AX = 0,

trAWi = a0i , i = 1, . . . , n,
(i,i)
(u)
gdzie Wi = (δk,m )k,m=1,...,n δv jest deltą Kroneckera (warunek trAWi = a0i jest równoważny warunkowi
aii = a0i ).
Rozwiązaniem tego zadania jest macierz (por. Rao (1982) §1.6.3 (ii))
AR = (aR
ij )i,j=1,...,n ,
gdzie aR
ij =
równań:
Pn
p=1
λp mip mpj , M = (mij ) = I − XX + , natomiast λ = (λl , . . . , λn ) jest rozwiązaniem układu
n
X
λp m2jp = a0j ,
j = 1, . . . , n.
p=1
W ten sposób zadanie wyznaczenia najlepszego estymatora odpornego w konkretnym modelu y = Xβ + ξ
sprowadza się praktycznie do wyznaczenia macierzy M i rozwiązania powyższego układu równań względem
λ.
9
Na mocy twierdzenia 2.4, skonstruowany wyżej najlepszy estymator odporny jest estymatorem standardowym
wtedy i tylko wtedy, gdy M P (M )M = aM dla pewnego a ∈ R. Warunek ten jest równoważny jednemu z
dwóch następujących warunków:
(a) rząd M = 1 (tzn. rząd X = n − 1);
(b) rząd M > 1 oraz wszystkie niezerowe elementy przekątnej macierzy M są sobie równe.
3.2. Model jednoczynnikowej analizy wariancji. Model jednoczynnikowej analizy wariancji ma postać
yij = µ + αi + eij , j = 1, . . . , ni , i = 1, . . . , k,
gdzie µ jest ”średnią ogólną”, αi jest ”efektem i-tego poziomu czynnika”, yij jest j-tą obserwacją na i-tym
poziomie czynnika, eij jest zaś błędem losowym związanym z tą obserwacją. Zakładamy, że Eeij = 0,
Ee2ij = σ 2 oraz Eeij eml = 0 dla i 6= m lub j 6= l. Wyróżniamy dwie wersje tego modelu: model stały, w
którym αi są nieznanymi parametrami, oraz model mieszany (zwany także modelem losowym), w którym αi
są zmiennymi losowymi takimi, że Eαi = 0, Eαi = τ 2 , i = 1, . . . , k, Eαi αj = 0 dla i 6= j oraz Eαi ejm = 0
dla wszystkich i, j, m. Model stały jest modelem z jednym komponentem wariancyjnym, natomiast model
mieszany jest modelem z dwoma komponentami wariancyjnymi.
W dalszych rozważaniach o modelu jednoczynnikowej analizy wariancji będziemy używali następujących
oznaczeń:
1n - wektor złożony z n jedynek;
Jn = 1n 10n - macierz złożona z samych jedynek;
A ⊗ B - iloczyn kroneckerowski macierzy A i B;
dla macierzy A1 , . . . , An , niech (por. LaMotte (1973))


A1 · · · 0
.
.. 
D(Ai ) =  ..
.
.
0 · · · An
.
3.2.1. Model stały. W standardowym zapisie y = Xβ + e modelu stałego mamy X = (1N ..D(1ni )), gdzie
.
P
N=
ni oraz (A..B) oznacza macierz blokową o podmacierzach A i B.
Macierz M rzutu na N (X) ma postać
1
Jni .
M = IN − D
ni
Macierz standardowego estymatora wariancji σ 2 ma postać
1
M.
N −k
Z tw. 2.4 wynika, że estymator standardowy jest odporny wtedy i tylko wtedy, gdy diagM = cIN dla
pewnego c. Powyższy warunek jest spełniony wtedy i tylko wtedy, gdy n1 = · · · = nk tzn. gdy model jest
zrównoważony.
W ogólnym przypadku, korzystając z metody przedstawionej w paragrafie 3.1, można wyznaczyć macierz
AR najlepszego estymatora odpornego dla σ 2 . Ma ona postać
1
AR = D
(ni Ini − Jni ) .
N (ni − 1)
AS =
Dla porównania wpływu kurtozy rozkładu składowych wektora błędu e na wariancję obu estymatorów yAS y
i yAR y, można łatwo - na podstawie wzoru 2.1 - obliczyć, że
σ −4 V ary 0 AS y =
σ
−4
k
X
γ2
1
(ni − 1)2
+
,
2
(N − k) i=1
ni
N −k
k
γ2
1 X n2i
V ary AR y =
+ 2
.
N
N i=1 ni − 1
0
10
Wykres obu tych wielkości w przypadku modelu niezrównoważonego (n1 = 19, n2 = 3) przedstawiono na
rysunku.
............V
................
................
................
................
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
..
................
........................................V
................
.........................................
.........................................................
............................................
..............................................................
....0.0507
......................................... ..........................0.05
................
................
................
ary 0 AS y
ary 0 AR y
γ2
−2
Rys. 1
Większą stabilność wariancji estymatora odpornego uzyskano tu kosztem zwiększenia jego wariancji w wyjściowym modelu gaussowskim (γ2 = 0).
3.2.2. Model mieszany. W standardowym zapisie (2.3) modelu mieszanego mamy X = 1N , W1 = D(1ni ) oraz
W2 = IN . Przy założeniu normalności LaMotte (1973, 1976) pokazał, że dla każdej funkcji komponentów
wariancyjnych (τ 2 , σ 2 ) istnieje najlepszy estymator nieobciążony wtedy i tylko wtedy, gdy model jest zrównoważony. Te standardowe estymatory są wówczas kombinacjami liniowymi form kwadratowych y 0 M T1 M y
oraz y 0 M y, gdzie M = IN − JN /N , T1 = W1 W10 = Ik ⊗ Jr oraz r = N/k. Korzystając z twierdzenia 2.4,
pokażemy, że każdy estymator standardowy jest estymatorem odpornym.
Sprowadzając rozważany model do postaci (2.4), otrzymujemy
n
o
r
r
U1 = Ik ⊗ 1r − 1N 10k , V1 = U1 U10 , U2 = V2 = M, E = Ik ⊗ Jr − JN , M .
N
N
Obrazem macierzy A ∈ Mn przy przekształceniu Φ1 jest
Φ1 A = Λ1k ⊗ Jr −
2r
r2 trΛ1k
(diagΛ1k ⊗ 1r 10N ) +
JN ,
N
N2
gdzie Λ1k jest macierzą diagonalną z następującymi elementami λ11 , . . . , λ1k na przekątnej:
λ1p =
pr
X
aij − 2
i,j=(p−1)r+1
r
N
pr
X
N
X
i=(p−1)r+1 j=1
aij +
N
r2 X
aij , p = 1, . . . , k.
N 2 i,j=1
Obrazem macierzy A ∈ Mn przy przekształceniu Φ2 jest
Φ2 A = Λ2N −
2
trΛ2N
)diagΛ2N ⊗ 10N ) +
JN ,
N
N2
gdzie Λ2N jest macierzą diagonalną z następującymi elementami λ21 , . . . , λ2N ) na przekątnej:
λ2p = app −
N
N
2 X
1 X
apj + 2
aij , p = 1, . . . , N.
N j=1
N i,j=1
Dla macierzy V1 = M T1 M mamy
r2 (N − 1)
r2 (N − 1)
, p = 1, . . . , k,
czyli Λ1k =
Ik ;
N
N
N −r
N −r
λ2p =
, p = 1, . . . , N,
czyli Λ2N =
IN .
N
N
λ1p =
Zatem
r2 (N − 1) r
Ik ⊗ Jr − JN ∈ E,
N
N
N −r
1
Φ2 V1 =
IN − JN ∈ E.
N
N
Φ1 V1 =
11
Dla macierzy V2 = M mamy
r(N − r)
, p = 1, . . . , k,
N
N −1
λ2p =
, p = 1, . . . , N,
N
λ1p =
Zatem
r(N − r)
Ik ;
N
N −1
=
IN .
N
czyli Λ1k =
czyli Λ2N
r
r(N − r) Ik ⊗ Jr − JN ∈ E,
N N
N −1
1
Φ2 V2 =
IN − JN ∈ E.
N
N
Φ1 V2 =
Otrzymaliśmy, że Φi Vj ∈ E dla i, j = 1, 2, więc na mocy twierdzenia 2.4 estymator standardowy jest odporny.
3.3. Przykład modelu z AS 6= AR . W tym paragrafie podany jest przykład modelu, w którym estymator
standardowy nie jest estymatorem odpornym (por. W. Zieliński (1986)).
0
1 0 0 0
Niech y = Xβ + W1 ξ1 + W2 ξ2 , gdzie X =
oraz β = [β1 , β2 ]0 , natomiast ξ1 = [ξ11 , ξ12 , ξ13 ]0 i
1 1 1 0
ξ2 = [ξ21 , ξ22 , ξ23 , ξ24 ]0 są wektorami losowymi takimi, że Eξ1 = Eξ2 = 0, Eξ1 ξ10 = τ 2 I3 , Eξ2 ξ20 = σ 2 I4 oraz
Eξ1 ξ20 = 0. Macierze W1 , W2 oraz odpowiednie macierze T1 , T2 mają następującą postać:




1 0 0
1 0 0 0
0 1 0
0 1 0 1
W1 = 
 , T1 = 
 , W2 = T2 = I4 .
0 0 1
0 0 1 0
0 1 0
0 1 0 1
W tym modelu

0
1 0
M= 
2 0
0
i po przekształceniu rozważanego modelu do

0


0
E= 

 0
0

0 0
−1 0 

1 0
0 2
0
1
−1
0
postaci (2.4) otrzymujemy


0
0
0


a −a b 
:
a,
b
∈
R
.

−a a −b


b −b 2b
Przestrzeń liniowa AR estymatorów odpornych ma

0 0


0 a
AR = 

 0 −a
0 b
postać
0
−a
a
−b


0


b 
 : a, b ∈ R .
−b


a
i łatwo widać, że inkluzja E ⊆ AR nie zachodzi, czyli na mocy twierdzenia 2.4 estymator standardowy nie jest
odporny. Macierze estymatorów najlepszego odpornego i standardowego funkcji f1 τ 2 + f2 σ 2 mają postać:


0
0
0
0
3
1 0
f2
−f2
2 (f1 − f2 ) 
Ar = 
,
−f2
f2
− 23 (f1 − f2 )
3 0
3
3
0 2 (f1 − f2 ) − 2 (f1 − f2 )
f2


0
0
0
0
1 0
f2
−f2
2(f1 − f2 ) 
AS = 
.
−f2
f2
−2(f1 − f2 )
4 0
0 2(f1 − f2 ) −2(f1 − f2 )
2f2
12
4. Uwagi końcowe
4.1. Efektywność estymatorów odpornych. Estymatory odporne mogą mieć - w stosunku do estymatora standardowego - dużą wariancję w wyjściowym modelu gaussowskim. Mówimy wtedy o stracie efektywności estymatora na rzecz jego odporności. Powstaje problem konstrukcji estymatorów odpornych o z
góry założonej efektywności. Formalnie można rozważać to jako zadanie (2.5) z dodatkowym warunkiem
trAV (σ)AV (σ) ≤ c(σ), dla danego c(σ) > 0. W konkretnym modelu, numeryczne wyznaczenie estymatora
spełniającego te warunki, jeśli taki estymator istnieje, nie powinno przedstawiać większych trudności, ale
ogólne wyniki na ten temat nie są znane.
4.2. Nieujemna estymacja odporna. Może się zdarzyć, że odporne estymatory funkcji f 0 σ, f > 0 przyjmują wartości ujemne. Dobrze znany problem nieujemnej estymacji komponentów wariancyjnych przenosi
się wtedy na problem estymacji odpornej. Zagadnienie nieujemnej estymacji komponentów wariancyjnych
ma już bardzo bogatą literaturę (por. np. Gnot (1986)), ale nie są mi znane rozwiązania, które mógłbym
zastosować do nieujemnej estymacji odpornej.
4.3. Odporne testowanie hipotez o wariancji. Niech y1 , . . . , yn będą niezależnymi zmiennymi losowymi
o jednakowym rozkładzie N (µ, σ 2 ). W rozdziale 1 cytowaliśmy wyniki Scheffégo ilustrujące dużą wrażliwość
rozmiaru testu chi-kwadrat dla hipotezy H : σ 2 = 1, na naruszenie założenia o normalności rozkładu. Z
wyników przedstawionych w §3.1 wynika, że standardowy estymator wariancji, na którym oparty jest ten test,
jest estymatorem najodporniejszym w klasie estymatorów kwadratowych. Zatem, ewentualne ”uodpornienie”
testu można uzyskać tylko przez oparcie go na innych statystykach. Wstępne badania tego zagadnienia
potwierdzają to przypuszczenie. Problematyka ta wykracza jednak poza tematykę estymacji, więc uzyskane
wyniki będą przedstawione w oddzielnej pracy.
Prace cytowane
R. D. Anderson, H. V. Hendersoll, F. Pukelsheim, S. R. Searle, Best estimation of variance components from
balanced data, with arbitrary kurtosis, Math. Operationsforsch. Statist. Ser. Statist. 15 (1984), 163-176.
J. N. Arvesen, T. Schmitz, Robust procedures for variance component problems using the jacknife, Biometrics
26 (1970), 677 - 686.
M. Atiqullah, The estimation of residual variance in quadratically balanced least square problems and the
robustness of the F -test, Biometrika 49 (1962a), 83 -91.
M. Atiqullah, On the effect of nonnormality on the estimation of components of variance, J. Roy. Statist.
Soc. Ser. B 24 (1962b), 140-147.
G. E. P. Box, Non-normality and tests of variances, Biometrika 40 (1953),318-355.
G. E. P. Box, S. L. Andersen, Permutation theory in the derivation of robust criteria and the study of
departures from assumptions, J. Roy. Statist. Soc. Ser. B 17 (1955), 1 - 34.
R. R. Corbeil, S. R. Searle, A comparison of variance component estimators, Biometrics 32 (1976), 779 792.
H. Drygas, Hsu’s theorem in variance component model, Banach Center Publ. 6 (1980), 95 -108.
H. Drygas, G. Hupet, A new proof of Hsu’s theorem in regression analysis - a coordinate free approach,
Math. Operationsforsch. Statist. Ser. Statist. 8 (1977), 333 - 335.
S. Gnot, Kwadratowa estymacja komponentów wariancyjnych, Mat. Stos. 27(1986), 97-147.
S. Gnot, W. Klonecki, R. Zmyślony, Best unbiased linear estimation, a coordinate free approach, Probab.
Math. Statist. 1 (1980), 1 -13.
C. R. Henderson, Estimation of variance and covariance components, Biometrics 9 (1953), 226-252.
K. Hirano, Some properties of an estimator for the variance of a normal distribution, Ann. Inst. Math.
Statist. 25 (1973), 479 -492.
P. Hsu, On the best quadratic estimate of variance, Statist. Res. Memoirs 2 (1938), 91-104.
P. Huber, Robust statistics, Wiley, New York 1981.
K. M. S. Humak, Statistische Methoden der Modellbildung III, Akademie - Verlag, Berlin 1984.
13
J. Kleffe, A note on MINQUE for normal models, Math. Operationsforsch. Statist. Ser. Statist. 7 (1976),
707 -71.4.
J. Kleffe, Optimal estimation of variance components - a survey, Sankhya 39 Ser. B (1977), 211-244.
J. Kleffe, I. Zöllner, On quadratic estimation of heteroscedastic variances, Math. Operationsforsch. Statist.
9 (1978), 27 -44.
L. R. LaMotte, Quadratic estimation of variance components, Biometrics 29 (1973), 311-330.
L. R. LaMotte, Invariant quadratic estimators in the random, one-way ANOVA model, Biometrics 32 (1976),
793 - 804.
L. R. LaMotte, A canonical form for the general linear model, Ann. Statist. 5 (1977), 787-789.
D. A. Lax, Robust estimators of scale: finite sample performance in long-tailed symmetric distributions,
JASA 80 (1985), 736-741.
E. Lehmann, H. Scheffé, Completness, similar regions, and unbiased estimation, part 1, Sankhya 10 (1950),
305-340.
G. Nürnberg G., Beitriige zur Versuchsplanung für die Schiitzung von Varianzkomponenten und Robustheitsuntersuchungen-zum Vergleich zweier Varianzen, Probleme der angewandten Statistik, Heft 6 (1982) Dummerstorf-Rostock.
A. Olsen, J. Seely, D. Birkes, Invariant quadratic unbiased estimation for two variance components, Ann.
Statist. 5 (1976), 878 - 890.
E. S. Pearson, The analysis of variance in cases of nonnormal variation, Biometrika 23 (1931), 114 -135.
C. R. Rao, Estimation of variance and covariance components, J. Mult. Analysis 1 (1971), 257-275.
C. R. Rao, Modele liniowe statystyki matematycznej, PWN, Warszawa 1982.
C. R. Rao, J. Kleffe, Estimation of variance components, Handbok of Statistics l (1980), 1-40.
T. Rychlik, Asymptotycznie stabilne estymatory parametrów lokacyjnych, rozprawa doktorska, IMPAN,
Warszawa 1986.
H. Scheffé, The analysis of variance, Wiley, New York, 1959.
L. H. Schoemaker, T. P. Hettmansperger, Robust estimates and tests for the one- and two-sample scale
models, Biometrika 69 (1982), 47 - 53.
S. R. Searle, Topics in variance component estimation, Biometrics 27 (1971),1-76.
G. A. F. Seber, Linear regression analysis, Wiley, New York 1977.
J. Seely, Linear spaces and unbiased estimation, Ann. Math. Statist. 41 (1970a), 1725 -1734.
J. Seely, Linear spaces and unbiased estimation - application to the mixed model, Ann. Math. Statist. 41
(1970b), 1735 -1748.
J. Seely, Quadratic subspaces and completness, Ann. Math. Statist. 42 (1971), 710-721.
J. Seely, G. Zyskind, Linear spaces and minimum variance unbiased estimation, Ann. Math. Statist. 42
(1971), 691-703.
J. Singh, B. N. Pandey, K. Hirano, On the utilization of a known coefficient of kurtosis on the estimation
procedures oj variance, Ann. Inst. Math. Statist. 25 (1973), 51-55.
R. Zieliński, Robust statistical procedures: a general approach, in Stability Problems for Stochastic Models,
Lecture Notes in Mathematics 982 (1983), Springer-Verlag.
R. Zieliński, W. Zieliński, O odpornym estymatorze wariancji w modelu liniowym, Mat. Stos. 26 (1985), 127
-136.
W. Zieliński, O odporności standardowego estymatora wariancji w modelach liniowych, XV Colloquium
Metodologiczne z Agrobiometrii (1985), 217 - 226.
W. Zieliński, On robust estimation of variance components, Probab. and Math. Statist 7 (1986), w druku.
14