Testowanie hipotez

Testowanie hipotez
Niech X = (X1 , . . . , Xn ) będzie próbą losową na przestrzeni X , zaś P = {Pθ , θ ∈ Θ}
rodziną rozkładów prawdopodobieństwa określonych na przestrzeni próby X .
Definicja 1. Hipotezą zerową Θ0 ⊂ Θ nazywamy hipotezę, której prawdziwość chcemy
zweryfikować na podstawie obserwacji. Hipoteza alternatywna jest postaci Θ1 = Θ\Θ0 .
Hipoteza prosta zawiera jeden element, np. H0 : θ = 2, hipoteza złożona zawiera więcej
niż jeden element, np. H0 : θ > 4.
Definicja 2. Obszar krytyczny testu jest to obszar odrzucenia hipotezy zerowej. Najczęściej ma on postać K = {X : T (X) > c}, gdzie c jest poziomem krytycznym testu,
wyznaczonym przez kwantyl rozkładu, z jakiego pochodzi statystyka testowa przy założeniu prawdziwości hipotezy zerowej (zależy on od przyjętego poziomu istotności testu).
Definicja 3. Test można identyfikować z jego obszarem krytycznym K lub funkcją krytyczną ϕ : X −→ {0, 1} postaci
1, gdy X ∈ K,
ϕ(X) = 1K (X) =
0, gdy X ∈
/ K,
Definicja 4. Prawdopodobieństwo błędu pierwszego rodzaju to prawdopodobieństwo odrzucenia hipotezy zerowej, gdy jest ona prawdziwa:
αI (θ) = Pθ (X ∈ K),
θ ∈ Θ0 .
Definicja 5. Prawdopodobieństwo błędu drugiego rodzaju to prawdopodobieństwo przyjęcia hipotezy zerowej, gdy jest ona fałszywa:
αII (θ) = Pθ (X ∈ K c ) = 1 − Pθ (X ∈ K),
θ ∈ Θ1 .
Definicja 6. Funkcją mocy testu nazywamy β : Θ −→ [0, 1] postaci
β(θ) = Pθ (X ∈ K) = Eθ ϕ(X).
Z reguły bada się moc testu na alternatywie, czyli θ = θ1 .
Definicja 7. Test o funkcji krytycznej ϕ (o obszarze krytycznym K) jest testem na
poziomie istotności α ∈ (0, 1), jeżeli
∀θ∈Θ0
Eθ ϕ(X) = Pθ (X ∈ K) = β(θ) ≤ α.
Definicja 8. Rozmiarem testu o funkcji krytycznej ϕ (obszarze krytycznym K) nazywamy
wielkość
β = sup Eθ ϕ(X) = sup β(θ).
θ∈Θ0
∗
θ∈Θ0
∗
Definicja 9. Test ϕ (K ) na poziomie istotności α jest testem jednostajnie najmocniejszym (JNM) w klasie testów Φ (K) na poziomie α, jeżeli
∀ϕ∈Φ
β ∗ (θ) ≥ β(θ).
∀θ∈Θ1
1
Twierdzenie (podstawowy lemat Neymana-Pearsona) Niech P0 i P1 będą rozkładami prawdopodobieństwa i niech f0 i f1 będą gęstościami tych rozkładów (względem
pewnej ustalonej miary µ). Niech α ∈ (0, 1) będzie ustaloną liczbą.
(a) (istnienie testu) Istnieją stałe c i

 1,
γ,
ϕ(x) =

0,
γ > 0 takie, że
gdy f1 (x) > cf0 (x),
gdy f1 (x) = cf0 (x),
gdy f1 (x) < tf0 (x),
jest testem hipotezy H0 : P0 przeciwko H1 : P1 na poziomie istotności α, tzn.
E0 ϕ(X) = α.
(1)
(b) (dostateczność) Jeżeli test ϕ spełnia warunek (1) i dla pewnego c warunek
1, gdy f1 (x) > cf0 (x),
ϕ(x) =
(2)
0, gdy f1 (x) < tf0 (x),
to ϕ jest testem najmocniejszym dla testowania H0 przeciwko H1 na poziomie istotności α.
(c) (konieczność) Jeżeli φ jest testem najmocniejszym na poziomie istotności α dla
testowania H0 przeciwko H1 , to dla pewnego c spełnia on warunek (2).
Podsumowując, test statystyczny składa się z:
1. Hipotezy zerowej H0 i hipotezy alternatywnej H1 ,
2. Statystyki testowej T (X),
3. Obszaru krytycznego K.
4. Poziomu istotności α,
Decyzja: jeżeli T (X) ∈ K, to odrzucamy hipotezę H0 , jeżeli T (X) ∈
/ K, to nie mamy
podstaw do odrzucenia hipotezy zerowej.
Definicja 10. P-wartość (p-value) to graniczny poziom istotności - najmniejszy, przy którym zaobserwowana wartość statystyki testowej prowadzi do odrzucenia hipotezy zerowej.
Jest to więc taki poziom istotności, przy którym zmienia się decyzja testu (zaczynając
od lewej - od małego poziomu α, kiedy to nie mamy podstaw do odrzucenia H0 , po
przekroczeniu p-wartości zaczynamy odrzucać H0 ).
P-wartość pozwala bezpośrednio ocenić wiarygodność hipotezy. Im p-wartość jest
większa, tym bardziej hipoteza H0 jest prawdziwa. Mała p-wartość świadczy przeciwko
hipotezie zerowej.
Znajomość p-wartości pozwala przeprowadzić testowanie dla dowolnego poziomu istotności:
-odrzucamy hipotezę zerową H0 , gdy
p-wartość ≤ α,
-nie mamy podstaw do odrzucenia hipotezy zerowej H0 , gdy
p-wartość > α.
2
Test Chi-kwadrat zgodności
nr klasy
liczebności empiryczne
1
n1
2
n2
3
n3
4
n4
5
n5
...
...
• Hipotezy
H0 : X ∼ F,
H1 : X F,
F jest dowolnym rozkładem prawdopodobieństwa.
• Statystyka testowa
χ2 =
k
X
(ni − nt )2
i
i=1
nti
,
gdzie
k - liczba klas,
ni - liczebności empiryczne (zaobserwowane),
nti = n · pti - liczebności teoretyczne,
pti = PF (Xprzyjeła wartosc z klasy i) - prawdopodobieństwa teoretyczne.
Przy założeniu prawdziwości hipotezy zerowej statystyka χ2 ma rozkład chi-kwadrat
z (k − r − 1) stopniami swobody (r jest liczbą nieznanych parametrów hipotetycznego rozkładu F ).
• Obszar krytyczny
(1 − α), +∞),
K = (Fχ−1
2
k−1
gdzie Fχ−1
(1 − α) jest kwantylem rzędu 1 − α rozkładu chi-kwadrat z (k − r − 1)
2
k−1
stopniami swobody.
Test Chi-kwadrat niezależności
Tablica kontyngencji:
Cecha 1
2 ...
n12 . . .
n22 . . .
... ...
nr2 . . .
Cecha 2 1
1
n11
2
n21
...
...
r
nr1
k
n1k
n23
...
nrk
• Hipotezy
H0 : X, Y są niezależne,
3
vs H1 : X, Y są zależne
• Statystyka testowa
k X
r
X
(nij − ntij )2
χ =
,
ntij
j=1 i=1
2
gdzie
k - liczba kolumn w tablicy kontyngencji,
r - liczba wierszy w tablicy kontyngencji,
nij - liczebności empiryczne (zaobserwowane),
ntij - liczebności teoretyczne, dane wzorem
k
P
ntij
gdzie n =
k P
r
P
=
nij ·
j=1
r
P
nij
i=1
n
,
nij .
j=1 i=1
Przy założeniu prawdziwości hipotezy zerowej statystyka χ2 ma rozkład chi-kwadrat
z (k − 1)(r − 1) stopniami swobody.
• Obszar krytyczny
K = (Fχ−1
2
(1 − α), +∞),
(k−1)(r−1)
gdzie Fχ−1
(1 − α) jest kwantylem rzędu 1 − α rozkładu chi-kwadrat z (k − r − 1)
2
k−1
stopniami swobody.
Test Kołmogorowa
Test Kołmogorowa testuje zgodność z rozkładem F dla jednej próby (Test Kołmogorowa
- Smirnowa dla dwóch prób testuje zgodność rozkładów w obu próbach).
• Hipotezy
H0 : X ∼ F,
H1 : X F,
gdzie F jest ciągłym rozkładem prawdopodobieństwa.
1. n ≤ 100
• Statystyka testowa
i
i
−
1
, − F (Xi:n )
Dn = sup |F (x) − Fn (x)| = max max F (Xi:n ) −
,
1≤i≤n
n n
x∈R
4
• Obszar krytyczny
K = (FD−1n (1 − α), 1],
gdzie FD−1n (1−α) jest kwantylem rzędu 1−α rozkładu statystyki Kołmogorowa (Dn ).
2. n > 100
• Statystyka testowa
√
nDn ,
• Obszar krytyczny
K = (λ1−α , +∞),
gdzie λ√1−α jest kwantylem rzędu 1 − α granicznego rozkładu statystyki Kołmogorowa ( nDn ).
Test Shapiro-Wilka
Jest to test normalności rozkładu.
• Hipotezy
H0 : X ∼ N,
H1 : X N
• Statystyka testowa
W =
n
P
2
ai xi:n
i=1
n
P
,
(xi −
x)2
i=1
gdzie stałe ai są dane wzorem
(a1 , . . . , an ) = √
m> V −1
m> V −1 V −1 m
,
gdzie m = (m1 , . . . , mn )> , są wartościami oczekiwanymi statystyk pozycyjnych z
pochodzących z próby iid z rozkładu standardowego normalnego a V jest ich macierzą kowariancji (stablicowane).
• Obszar krytyczny
K = (Wn (1 − α), +∞),
gdzie Wn (1 − α) jest kwantylem rzędu 1 − α rozkładu statystyki Shapiro-Wilka W .
5
Test t-studenta
Jest to test parametryczny dla jednej lub dwóch prób, polegający na testowaniu równości
wartości oczekiwanych (test istotności). Zakładamy, że pomiary podlegają rozkładowi
normalnemu, oraz że wariancje w próbach nie różnią się od siebie istotnie.
1. Test t dla jednej próby
• Hipotezy
H0 : µ = µ0 ,
H1 : µ > µ0 ,
µ < µ0 ,
µ 6= µ0
(3)
(4)
(5)
• Statystyka testowa
T =
gdzie s2X =
1
n−1
n
P
√ X̄ − µ0
n
,
sX
(Xi − X̄)2 to próbkowe odchylenie standardowe. Statystyka te-
i=1
stowa T ma rozkład t-studenta o (n − 1) stopniach swobody.
• Obszar krytyczny
Zależy od postaci hipotezy alternatywnej w następujący sposób:
K1 = (Ft−1
(1 − α), +∞),
n−1
K2 = (−∞, −Ft−1
(1 − α)),
n−1
−1
(1 − α2 ), +∞),
K3 = (−∞, −Ftn−1 (1 − α2 )) ∪ (Ft−1
n−1
gdzie Ft−1
(a) to kwantyl rzędu a rozkładu t-studenta z (n − 1) stopniami swobody.
n−1
Jeżeli wariancja rozkładu jest znana, wówczas sX zastępujemy przez odchylenie
standardowe rozkładu, zaś Ft−1
(a) zastępujemy przez Φ−1 (a).
n−1
2. Test t dla dwóch prób niezależnych
• Hipotezy
H0 : µ1 = µ2 ,
H1 : µ1 6= µ2
• Statystyka testowa
T =
X̄1 − X̄2
,
SX̄1 −X̄2
gdzie
s
SX̄1 −X̄2 =
(n1 − 1)s21 + (n2 − 1)s22
n1 + n2 − 2
1
1
+
,
n1 n2
s1 , s2 to nieznane odchylenia standardowe z próbek, zaś n1 , n2 to liczebności próbek.
Statystyka testowa T ma rozkład t-studenta o (n1 + n2 − 2) stopniach swobody.
6
• Obszar krytyczny
(1 −
K = (−∞, −Ft−1
n1 +n2 −2
α
α
(1 − ), +∞)
)) ∪ (Ft−1
n1 +n2 −2
2
2
3. Test dla dwóch prób zależnych
• Hipotezy
H0 : µ1 = µ2 ,
H1 : µ1 6= µ2
• Statystyka testowa
T =
d¯
,
Sd¯
gdzie
n
1X
d¯ =
di ,
n i=1
di = x1i − x2i , i = 1, . . . , n,
v
u
n
u 1 X
t
¯ 2,
Sd¯ =
(di − d)
n − 1 i=1
zaś x1i , x2i oznaczają wartości cechy X dla i-tego obiektu w pierwszym i drugim
badaniu. Statystyka testowa T ma rozkład t-studenta o (n − 1) stopniach swobody.
• Obszar krytyczny
K = (−∞, −Ft−1
(1 −
n−1
α
α
)) ∪ (Ft−1
(1 − ), +∞)
n−1
2
2
UWAGA: Gdy liczebność próby jest duża (n > 30, n1 + n2 > 30), to kwantyl rozkładu
t-studenta zastępujemy przez kwantyl rozkładu standardowego normalnego (Ft−1
' Φ).
n
7