Prawdopodobienstwo i statystyka

Transkrypt

Motywacja
Testy i związana z nimi terminologia
Teoria Neymana-Pearsona
Prawdopodobieństwo i statystyka
Wykład XI:
Testowanie hipotez statystycznych
12 stycznia 2015
Wykład XI: Testowanie hipotez statystycznych
Motywacja
Przykład
X1 , X2 , . . . , XN ∼ N (µ, σ 2 ), Y1 , Y2 , . . . , YM ∼ N (ν, δ 2 ).
Chcemy sprawdzić, czy µ = ν i σ 2 = δ 2 , czyli że w obu
populacjach badana cecha ma ten sam rozkład.
Nie interesują nas konkretne wartości parametrów, a jedynie
ich identyczność!
Jednak prawdopodobieństwo, że
2,Y
X̄N = ȲM oraz S̄N2,X = S̄M
wynosi zero. Dane empiryczne na ogół sugerują więc, że
rozkłady są różne.
Pytanie: jak zweryfikować empirycznie hipotezę
µ = ν, σ 2 = δ 2
H0 :
wobec hipotezy alternatywnej
H1 :
µ 6= ν lub σ 2 6= δ 2 .
Motywacja
Słowniczek statystyki matematycznej - cd.
Porównywanie testów
Niech będzie dany model statystyczny (X , B, {Pθ }θ∈Θ ).
Hipoteza: niepusty podzbiór H0 ⊂ Θ.
Hipoteza prosta: podzbiór jednoelementowy H0 = {θ0 } ⊂ Θ.
Hipoteza złożona: podzbiór wieloelementowy Θ.
Hipoteza alternatywna wobec hipotezy H0 : podzbiór
H1 ⊂ Θ \ H0 .
Test hipotezy H0 wobec hipotezy alternatywnej H1 : statystyka
φ : (X , B) → [0, 1], na podstawie której podejmujemy
następujące decyzje:
przyjmujemy hipotezę H0 gdy φ(x) = 0,
odrzucamy hipotezę H0 na rzecz H1 , gdy φ(x) = 1.
Dla wartości φ(x) ∈ (0, 1) możemy określić dalsze procedury,
np. randomizację.
Motywacja
Przykład: Jak konstruować test?
X1 , X2 , . . . , XN ∼ N (µ, σ 2 ), Y1 , Y2 , . . . , YM ∼ N (ν, σ 2 ).
σ 2 - znane!
X̄N − ȲM ∼ N (µ − ν, σ 2 (1/N + 1/M)).
Ustalmy poziom istotności α ∈ (0, 1) (bliski zeru, np. 0,01).
Rozważmy obszar krytyczny
s
K = |X̄N − ȲM | > σ
1
1
α
+ Φ−1 1 −
.
N
M
2
Jeżeli µ = ν (hipoteza H0 !), to Pµ,ν (K ) = α.
Jeżeli µ 6= ν (hipoteza H1 !), to Pµ,ν (K c ) jest „małe” dla
dużych N i M.
W pełni intuicyjny jest więc test
(
φ(x) =
0,
1,
jeśli x ∈ K c ,
jeśli x ∈ K .
Motywacja
Porównywanie średnich - cd.
A jak porównywać średnie, gdy nie znamy wariancji?
Założenie: wariancje w obu populacjach są te same.
Rozważmy statystykę:
s
X̄N − ȲM
qP
N
j=1 (Xj
− X̄N
)2
+
PM
k=1 (Yk
− ȲM
)2
MN(M + N − 2)
.
M +N
Prz założeniu µ = ν, ma ona rozkład t-Studenta o M + N − 2
stopniach swobody.
Rozkładem t-Studenta o k stopniach swobody nazywamy
rozkład zmiennej losowej
√
Z0
T =q
k,
Z12 + Z22 + . . . Zk2
gdzie Z0 , Z1 , . . . Zk są niezależne o rozkładzie N (0, 1).
Motywacja
Jeżeli test φ przyjmuje tylko wartości 0 i 1 (test
niezrandomizowany), to zbiór Kφ = {x ∈ X : φ(x) = 1}
nazywamy zbiorem (lub obszarem) krytycznym testu.
Mówimy, że test φ hipotezy H0 ma poziom istotności
α ∈ (0, 1), jeśli
Eθ φ ¬ α, θ ∈ H0 .
Jeżeli test φ hipotezy H0 jest niezrandomizowany, to
Eθ φ = Pθ (Kφ ) jest prawdopodobieństwem (względem Pθ )
odrzucenia hipotezy H0 , a poziom istotności testu narzuca
pułap dla prawdopodobieństwa błędu pierwszego rodzaju, tzn.
odrzucenia hipotezy H0 , gdy jest ona prawdziwa.
W praktyce α = 0, 01 lub 0, 05.
Motywacja
Niech φ będzie testem hipotezy H0 wobec hipotezy
alternatywnej H1 . Funkcja
H1 3 θ 7→ 1 − Eθ φ
określa prawdopodobieństwo błędu drugiego rodzaju, tj.
nieodrzucenia hipotezy H0 , gdy jest ona fałszywa (gdy
zachodzi hipoteza alternatywna H1 ).
Funkcję
H1 3 θ 7→ Eθ φ
nazywamy mocą testu φ (lub funkcją mocy testu).
Motywacja
Niech φ i ψ będą testami na poziomie istotności α. Mówimy,
że test φ jest równie mocny co test ψ, jeśli dla każdego θ ∈ H1
Eθ φ Eθ ψ.
Test φ jest mocniejszy niż test ψ, gdy jest równie mocny co ψ
i ponadto dla pewnego θ1 ∈ H1
Eθ1 φ > Eθ1 ψ.
Test φ hipotezy H0 , na poziomie istotności α, wobec hipotezy
H1 , jest jednostajnie najmocniejszy, gdy jest równie mocny co
wszystkie inne testy na poziomie istotności α.
Motywacja
Lemat Neymana-Pearsona
Przykład
Konkluzje
Podstawowy lemat Neymana-Pearsona
Twierdzenie (zwane Lematem Neymana-Pearsona)
Niech P0 i P1 będą rozkładami prawdopodobieństwa na (X , B),
zadawanymi przez gęstości prawdopodobieństwa p0 (x) i p1 (x)
względem pewnej miary µ na (X , B). Ustalmy α ∈ (0, 1).
Istnieje test hipotezy prostej H0 = {P0 } wobec prostej
hipotezy alternatywnej H1 = {P1 }, który jest jednostajnie
najmocniejszy na poziomie istotności α.
Każdy test φ hipotezy H0 wobec H1 , który jest jednostajnie
najmocniejszy na poziomie istotności α, spełnia dla pewnego
t warunek
(
φ(x) =
1, gdy p1 (x) > tp0 (x),
0, gdy p1 (x) < tp0 (x).
Motywacja
Przykład
Konkluzje
Przykład (za R. Zielińskim „Siedem wykładów ...”)
Niech X = N. Rozważmy hipotezę prostą H0 = {B(10; 0, 1)}
(rozkład dwumianowy: liczba sukcesów 10, p-stwo sukcesu 0, 01)
przeciw hipotezie prostej H1 = {Po(1)} (rozkład Poissona z
parametrem 1).
x
B(10; 0, 1)
Po(1)
Po(1)
B(10;0,1)
0
1
2
3
4
5
6
7
8
0,3468
0,38742
0,19371
0,05739
0,01116
0,00149
0,00014
0,00001
0,00000
0, 36788
0,36788
0,18394
0,06131
0,01533
0,00307
0,00051
0,00007
0,00001
1,05506
0,94956
0,94956
1,06830
1,37366
2,06040
3,64286
7,0000
+∞
Motywacja
Przykład
Konkluzje
Przykład (za R. Zielińskim „Siedem wykładów ...”) - cd.
obszar
{x
{x
{x
{x
{x
{x
krytyczny K
: x 8}
: x 7}
: x 6}
: x 5}
: x 4}
: x 3}
PH0 (K )
0,00000
0,00001
0,00015
0,00164
0,01280
0,07019
PH1 (K )
0,00001
0,00008
0,00059
0,00366
0,01899
0,08030
Test niezrandomizowany na poziomie istotności α = 0, 05:
(
φ(x) =
1,
0,
gdy x 4
gdy x < 4.
Rozmiar testu EPH0 φ = PH0 {x : x 4} = 0, 01280.
Motywacja
Przykład
Konkluzje
Przykład (za R. Zielińskim „Siedem wykładów ...”) - cd.
Jeśli γ = 0, 6482, to
PH0 {x : x 4} + γPH0 {x : x = 3} = 0, 05.
Test zrandomizowany na poziomie istotności α = 0, 05
φ(x) =



1,
0, 6482


0,
gdy x 4
gdy x = 3
gdy x ¬ 2.
ma również rozmiar 0, 05.
Jaka jest moc tego testu? Tylko 0, 05873!
Interpretacja: prawdopodobieństwo nieodrzucenia weryfikowanej
hipotezy H0 = {B(10; 0, 1)}, gdy prawdziwa jest hipoteza
alternatywna H1 = {Po(1)}, wynosi 0,94127.
Motywacja
Przykład
Konkluzje
Konkluzje
W przypadku hipotez złożonych teorię Neymana-Pearsona
można przenieść na tzw. modele z monotonicznym ilorazem
wiarogodności.
Teoria porównywania testów ma ograniczone znaczenie
praktyczne.
Mimo braku ogólnych rozstrzygnięć, poziom istotności i moc
testu są ważnymi parametrami oceny jakości testu.

Prawdopodobienstwo i statystyka

Transkrypt

Podobne dokumenty

Weryfikacja hipotez statystycznych - Sigma Kwadrat

STATYSTYKA NIELEGALNA ADOPCJA (ART.211A)

statystyka eutanazja (art. 150)

statystyka kazirodztwo (art. 201)

WYDZIAŁ EKONOMII

Testowanie hipotez