1 Testowanie hipotez statystycznych

1
1
TESTOWANIE HIPOTEZ STATYSTYCZNYCH
Testowanie hipotez statystycznych
1.1
Podstawowe pojęcia
Niech (X , A, P), gdzie P = {Pθ | θ ∈ Θ}, będzie przestrzenią statystyczną. Niech P = P0 ∪ P1 ,
P0 ∩ P1 = ∅. Wówczas P0 = {Pθ | θ ∈ Θ0 } oraz P1 = {Pθ | θ ∈ Θ1 }, przy czym Θ0 ∪ Θ1 = Θ i
Θ0 ∩ Θ1 = ∅.
Niech X będzie obserwowaną zmienną losową o nieznanym rozkładzie Pθ .
Definicja 1.1
Przyjmujemy następujące definicje
1. Hipotezą statystyczną nazywamy przypuszczenie, że Pθ ∈ P0 lub Pθ ∈ P1 .
2. Przypuszczenie H0 : Pθ ∈ P0 nazywamy hipotezą zerową. Natomiast przypuszczenie H1 : Pθ ∈ P1
nazywamy hipotezą alternatywną
3. Sprawdzanie hipotez statystycznych nazywamy testowaniem lub weryfikacją hipotez statystycznych
Niech X = {x1 , . . . , xn } będzie próbą. Zbiór akcji statystyka A = {a0 , a1 }, gdzie a0 -”przyjąć
hipotezę H0 ” a a1 -”odrzucić hipotezę H0 ” (”przyjąć hipotezę H1 ”).
Każda niezrandomizowana reguła decyzyjną d : X → A rozbija przestrzeń X na rozłączne podzbiory
S0 = {x | d(x) = a0 },
S1 = {x | d(x) = a1 }
Definicja 1.2
Zbiór S1 nazywamy niezrandomizowanym testem statystycznym hipotezy H0 przeciwko H1 . Zbiór S0
nazywamy obszarem przyjęcia hipotezy H0 .
Uwaga 1.3
Zbiór S1 nazywamy również obszarem odrzucenia hipotezy H0
Niech L : Θ × A → R+ będzie funkcją starty. Wtedy funkcja ryzyka testu S1 ma postać
R(θ, S1 ) = [1 − Pθ [S1 ]]L(θ, a0 ) + Pθ [S1 ]L(θ, a1 )
i zależy tylko od testu S1 poprzez prawdopodobieństwo Pθ [S1 ].
Definicja 1.4
Funkcję βS1 : Θ → [0, 1] określoną wzorem βS1 (θ) = Pθ [S1 ] nazywamy funkcją mocy testu niezrandomizowanego S1 . Wartość funkcji βs1 w punkcie θ ∈ Θ nazywamy mocą testu S1 przy alternatywie
θ.
Zbiór A∗ możemy utożsamić z odcinkiem [0, 1], gdzie a∗ ∈ A∗ oznacza prawdopodobieństwo podjęcia
akcji a1 .
Definicja 1.5
Testem zrandomizowanym hipotezy H0 przy hipotezie alternatywnej H1 nazywamy behawiorystyczną
regułę decyzyjną ϕ : X → A∗ , gdzie ϕ(x) ∈ A∗ jest prawdopodobieństwem podjęcia akcji a1 , gdy
zaobserwowano x.
1
1.2
Lemat Neymana-Pearsona
1
TESTOWANIE HIPOTEZ STATYSTYCZNYCH
Funkcja ryzyka niezrandomizowanego testu ϕ ma postać
R̃(θ, ϕ) = (1 − Eθ [ϕ(X)])L(θ, a0 ) + Eθ [ϕ(X)]L(θ, a1 ) = L(θ, a0 ) + Eθ [ϕ(X)](L(θ, a1 ) − L(θ, a0 ))
Definicja 1.6
Funkcję βϕ : Θ → [0, 1] określoną wzorem βϕ (θ) = Eθ [ϕ(X)] nazywamy funkcją mocy testu zrandomizowanego ϕ. Wartość funkcji βϕ w punkcie θ nazywamy mocą testu ϕ przy alternatywie θ.
Definicja 1.7
Test ϕ hipotezy H0 : θ ∈ Θ0 przeciwko alternatywie H1 : θ ∈ Θ1 nazywamy testem na poziomie
istotności α, α ∈ (0, 1), jeżeli
Eθ [ϕ(X)] ≤ α
θ ∈ Θ0
(prawdopodobieństwo błędu pierwszego rodzaju nie przekracza α)
Definicja 1.8
Rozmiarem testu ϕ nazywamy liczbę supθ∈Θ0 {Eθ [ϕ(X)]}
Definicja 1.9
Test ϕ0 na poziomie istotności α jest nazywamy testem jednostajnie najmocniejszym (JNM) w klasie
testów na poziomie istotności α jeżeli dla każdego testu ϕ na poziomie istotności α zachodzi
Eθ [ϕ(X)] ≤ Eθ [ϕ0 (X)]
1.2
θ ∈ Θ1
Lemat Neymana-Pearsona
Twierdzenie 1.10 (Lemat Naymana-Pearsona)
Niech P0 i P1 będą rozkładami prawdopodobieństwa o gęstościach odpowiednio f0 i f1 ze względu na
pewną σ-skończoną miarę µ na przestrzeni mierzalnej (X , A). Wówczas
(a) Dla testowania hipotezy H0 : f0 = f1 przeciwko H1 : f0 6= f1 dla każdego α ∈ (0, 1) istnieje test
ϕ i taka stała k, że
Eθ [ϕ(X)] = α
(1)
gdzie
ϕ(x) = 1{f1 >kf0 } (x)
(2)
(b) Jeżeli test ϕ spełnia warunki (1) i (2) dla pewnego k, to jest on testem jednostajnie najmocniejszym dla testowania H0 przeciwko H1
(c) Jeżeli ϕ jest testem jednostajnie najmocniejszym na poziomie istotności α dla testowania hipotezy
H0 przeciwko H1 , to dla pewnego k spełnia on warunek (2) µ-p.w., a ponadto spełnia on warunek
(1), chyba że istnieje test o rozmiarze mniejszym od α o mocy równej 1.
Wniosek 1.11
Niech β oznacza moc testu najmocniejszego na poziomie istotności α ∈ (0, 1) dla testowania hipotezy
H0 : P0 = P1 przeciwko H1 : P0 6= P 1. Wówczas α < β, chyba, że P0 = P1 .
Uwaga 1.12
Testy JMN są funkcjami minimalnej statystyki dostatecznej.
2
1.3
1.3
Testy JMN dla rodzin z monotonicznym. . .1
TESTOWANIE HIPOTEZ STATYSTYCZNYCH
Testy jednostajnie najmocniejsze dla rodzin z monotonicznym ilorazem
wiarygodności
Definicja 1.13
Niech P będzie rodziną rozkładów na (X , A) dominowaną przez σ-skończoną miarę µ, a f (x; θ)- gęstością Pθ ∈ P względem µ. Mówimy, że rodzina P jest rodziną z monotonicznym ilorazem wiarygodności
0
)
(względem funkcji T ), jeżeli dla θ > θ0 funkcja ff(x;θ
(x;θ) jest niemalejącą funkcją (statystyki) T (x).
Twierdzenie 1.14 (Karlina, Rubina)
Niech P = {Pθ | θ ∈ Θ} będzie rodziną z monotonicznym ilorazem wiarygodności względem funkcji T .
Wówczas
(a) W problemie testowania H0 : θ ≤ θ0 , H1 : θ > θ0 , test określony wzorem

 1 gdy T (x) > C
ζ gdy T (x) = C
ϕ(x)

0 gdy T (x) < C
(3)
gdzie stałe C i ζ są wyznaczone z warunku
Eθ0 [ϕ(X)] = α
(4)
jest testem JNM na poziomie istotności α.
(b) Funkcja mocy testu ϕ, βϕ (θ) = Eθ [ϕ(X)] jest rosnącą funkcją parametru θ, dla każdego θ takiego,
że βϕ (θ) < 1.
(c) Dla każdego θ0 test określony przez (3) i (4) jest testem JNM dla testowania hipotezy H00 : θ ≤ θ0 ,
H10 : θ > θ0 na poziomie istotności α0 = βϕ (θ0 ).
(d) Dla każdego θ < θ0 test ϕ minimalizuje βϕ (θ) wśród wszystkich testów spełniających (4).
Wniosek 1.15
Niech θ ∈ Θ ⊆ R oraz niech rodzina rozkładów P będzie dominowana przez σ-skończoną miarę µ z
gęstościami postaci
f (x; θ) = C(θ)h(x) exp{Q(θ)T (x)}
(5)
gdzie Q jest ściśle monotoniczna. Wówczas istnieje JNM test ϕ na poziomie istotności α dla testowania
H0 : θ ≤ θ0 przeciwko H1 : θ > θ0 . Dodatkowo, jeżeli Q jest rosnąca, to ϕ jest postaci (3) przy
zachowaniu warunku (4).
1.4
Testy jednostajnie najmocniejsze dla hipotez dwustronnych
Weryfikujemy hipotezę H : θ ∈
/ (θ1 , θ2 ) przeciwko A : θ ∈ (θ1 , θ2 ).
Twierdzenie 1.16 (uogólniony lemat Neymanna-Pearsona)
Niech f1 , f2 , . . . , fr+1 będą mierzalnymi funkcjami rzeczywistymi określonymi na przestrzeni euklidesowej X i całkowalnych względem σ-skończonej miary µ. Załóżmy, że dla ustalonych stałych
C1 , C2 , . . . , Cr istnieje funkcja krytyczna ϕ spełniająca warunek
Z
ϕ(x)fi (x) dµ(x) = Ci
i ∈ [r]
(6)
X
Niech R oznacza zbiór funkcji krytycznych spełniających (6). Wówczas
3
?
1.4
Testy JNM dla hipotez dwustronnych
1
TESTOWANIE HIPOTEZ STATYSTYCZNYCH
(a) W zbiorze R istnieje element maksymalizujący całkę
Z
ϕ(x)fr+1 (x) dµ(x)
(7)
X
(b) Warunkiem dostatecznym na to, aby ϕ ∈ R maksymalizowało całkę (7) jest istnienie stałych
k1 , k2 , . . . , kr takich, że
Pr
1 gdy fr+1 (x) > Pi=1 ki fi (x)
(8)
ϕ(x) =
r
0 gdy fr+1 (x) ≤ i=1 ki fi (x)
(c) Jeżeli funkcja ϕ ∈ R spełnia warunek (8) przy nieujemnych stałych k1 , k2 , . . . , kr , to ϕ maksymalizuje całkę (7) w zbiorze wszystkich funkcji spełniających
Z
ϕ(x)fi (x) dµ(x) ≤ Ci
i ∈ [r]
X
(d) Zbiór M punktów z r-wymiarowej przestrzeni, których współrzędne dla pewnej funkcji krytycznej
są postaci
Z
Z
ϕ(x)f1 (x) dµ(x), . . . ,
X
ϕ(x)fr (x) dµ(x)
X
jest wypukły i domknięty. Jeżeli (C1 , C2 , . . . , Cr ) jest punktem wewnętrznym zbioru M to istnieją
stałe k1 , k2 , . . . kr i funkcja krytyczna ϕ spełniająca warunki (6) i (8). Warunkiem koniecznym
na to, aby funkcja ϕ ∈ R maksymalizowała całkę (7) jest zachodzenie warunku (8) µ-p.w.
Wniosek 1.17
Niech f1 , f2 , . . . , fr+1 będą gęstościami ze względu na σ-skończoną miarę µ i niech 0 < α < 1. Jeżeli
nie zachodzi
r
X
fr+1 =
ri fi
µ-p.w.
i=1
to nie istnieje test ϕ taki, że
Ei [ϕ(X)] = α
i ∈ [r]
oraz
Er+1 [ϕ(X)] < α
Twierdzenie 1.18
Niech P = {Pθ |θ ∈ Θ = R} będzie rodziną rozkładów prawdopodobieństwa określonymi na przestrzeni
prób (X , A) mających gęstości względem miary µ postaci
f (x; θ) = C(θ)h(x) exp{Q(θ)T (x)}
gdzie Q jest funkcją rosnącą. Wówczas
(a) Dla testowania hipotezy H : θ ∈
/ [θ1 , θ2 ], K : θ ∈ [θ1 , θ2 ] istnieje test JNM na poziomie istotności
α ∈ (0, 1) postaci

 1 gdy C1 < T (x) < C2
ζi gdy T (x) = Ci
ϕ(x) =
(9)

0
poza tym
gdzie stałe C1 , C2 , ζ1 , ζ2 są wyznaczone z warunków
Eθ1 [ϕ(X)] = Eθ2 [ϕ(X)] = α
4
(10)
1.4
Testy JNM dla hipotez dwustronnych
1
TESTOWANIE HIPOTEZ STATYSTYCZNYCH
(b) Test ϕ minimalizuje funkcję mocy β(θ) = Eθ [ϕ(X)] przy warunku (10) dla wszystkich θ ∈
/ [θ1 , θ2 ]
(c) Dla α ∈ (0, 1) funkcja mocy tego testu osiąga maksimum w punkcie θ0 zawartym między θ1 i θ2 i
ściśle maleje zarówno przy θ rosnącym jak i przy θ malejącym od punktu θ0 . Jedynym wyjątkiem
jest przypadek, w którym istnieją wartości t1 i t2 takie, że
Pθ [T (x) = t1 ] = Pθ [T (x) = t2 ] = 1
5
θ∈Θ