Testowanie hipotez statystycznych.

Transkrypt

Krzysztof Topolski
Bioinformatyka
Wykład 9
Wrocław, 5 grudnia 2011
Krzysztof Topolski
Temat.
Test zgodności 𝜒2 Pearsona.
Krzysztof Topolski
Statystyka 𝜒2 Pearsona
Rozpatrzmy ciąg niezależnych zmiennych losowych X1 , ..., Xn o
jednakowym dyskretnym rozkładzie P{X1 = xi } = pi , i = 1, ..., k.
Oznaczmy przez Oi liczbę tych zmiennych spośród X1 , ..., Xn , które
przyjęły wartość xi a przez Ei = npi oczekiwaną liczbę wartości xi .
Wektor losowy (O1 , O2 , ..., Ok ) ma rozkład wielomianowy z
parametrami n i (p1 , ..., pk ) natomiast zmienna losowa
𝜒2P =
k
∑
(Oi − Ei )2
,
Ei
i=1
ma asymptotyczny rozkład chi kwadrat z (k − 1) stopniami
swobody 𝜒2k−1 .
Krzysztof Topolski
Test zgodności 𝜒2 dla hipotezy prostej
Rozważmy dyskretną zmienną losową X o nieznanym rozkładzie
P{X = xi } = qi ,
i = 1, ..., k,
qi są nieznane. Stawiamy hipotezę
H0 : qi = pi
dla każdego
i = 1, ..., k.
Statystyka testowa to statystyka Pearsona 𝜒2P
𝜒2P =
k
∑
(Oi − Ei )2
,
Ei
i=1
która w tym przypadku ma postać
𝜒2P
k
∑
(Oi − npi )2
=
.
npi
i=1
Krzysztof Topolski
Test zgodności 𝜒2 dla hipotezy prostej
Rozważmy dyskretną zmienną losową X o nieznanym rozkładzie
P{X = xi } = qi ,
i = 1, ..., k,
qi są nieznane. Stawiamy hipotezę
H0 : qi = pi
dla każdego
i = 1, ..., k.
Statystyka testowa to statystyka Pearsona 𝜒2P
𝜒2P =
k
∑
(Oi − Ei )2
,
Ei
i=1
która w tym przypadku ma postać
𝜒2P
k
∑
(Oi − npi )2
=
.
npi
i=1
Krzysztof Topolski
Przykład
Sprawdzamy, że cyfry z tabeli
i
Oi
0 1 2 3 4 5 6 7 8 9
33 32 29 31 37 34 34 26 32 32
są wygenerowane z rozkładu jednostajnego.
Przetestujemy hipotezę
H0 : P{X = i} =
1
,
10
dla każdego
i = 0, ..., 9,
na poziomie istotności 𝛼 = 0, 01.
Krzysztof Topolski
Przykład
i
Oi
0 1 2 3 4 5 6 7 8 9
33 32 29 31 37 34 34 26 32 32
H0 : P{X = i} =
1
,
10
dla każdego
i = 0, ..., 9,
Krzysztof Topolski
Przykład
i
Oi
0 1 2 3 4 5 6 7 8 9
33 32 29 31 37 34 34 26 32 32
H0 : P{X = i} =
1
,
10
dla każdego
i = 0, ..., 9,
Krzysztof Topolski
Przykład cd.
W tabeli jest 320 cyfr a więc n = 320. Wszystkie częstości
oczekiwane są takie same
Ei =
n
320
=
= 32.
10
10
Statystyka testowa ma wartość 𝜒2P = 2, 5, natomiast kwantyl rzędu
0, 99 dla rozkładu 𝜒2 z 9 stopniami swobody jest równy
𝜒29:0,01 = 21, 67.
Tak więc nie ma podstaw do odrzucenia hipotezy zerowej i
przyjmujemy H0 ,
(p−wartość jest w tym przypadku równa p = 0, 981.)
Krzysztof Topolski
Test zgodności 𝜒2 dla rozkładu ciągłego.
Test 𝜒2 możemy także stosować do sprawdzania hipotez o postaci
rozkładu ciągłego. W tym celu należy wyznaczyć rozłączne klasy
A1 , ..., Ak (podobnie jak przy konstrukcji histogramu) i obliczyć,
przy założeniu hipotezy zerowej H0 , prawdopodobieństwa
p1 = P{X ∈ A1 },
p2 = P{X ∈ A2 },
.... ,
pk = P{X ∈ Ak }.
Niech n oznacza wielkość próby, a Oi liczbę obserwacji w i−tej
klasie. Za pomocą testu 𝜒2 Pearsona możemy sprawdzić, czy
zaobserwowane częstości O1 , O2 , ..., Ok podlegają rozkładowi z
gęstością {pi , i = 1, ..., k}.
Krzysztof Topolski
p1 = P{X ∈ A1 },
p2 = P{X ∈ A2 },
.... ,
pk = P{X ∈ Ak }.
Krzysztof Topolski
p1 = P{X ∈ A1 },
p2 = P{X ∈ A2 },
.... ,
pk = P{X ∈ Ak }.
Krzysztof Topolski
p1 = P{X ∈ A1 },
p2 = P{X ∈ A2 },
.... ,
pk = P{X ∈ Ak }.
Krzysztof Topolski
p1 = P{X ∈ A1 },
p2 = P{X ∈ A2 },
.... ,
pk = P{X ∈ Ak }.
Krzysztof Topolski
p1 = P{X ∈ A1 },
p2 = P{X ∈ A2 },
.... ,
pk = P{X ∈ Ak }.
Krzysztof Topolski
Test zgodności 𝜒2 dla rozkładu ciągłego cd.
Metodę tę zilustrujemy następującym przykładem.
Przykład
Według producenta pojemność jego naczynie miareczkowego ma
rozkład normalny z wartością średnią równą nominalnej pojemności
oraz odchyleniu standardowym równym 0, 01 mm3 . Aby to
sprawdzić, przebadano pojemność 200 naczyń o nominalnej
pojemności równej 30 mm3 . Wyznaczono k = 10 rozłącznych klas
A1 , ..., A10 . Ich granice z zaobserwowanymi liczebnościami są
podane w tabeli
Krzysztof Topolski
Metodę tę zilustrujemy następującym przykładem.
Przykład
Według producenta pojemność jego naczynie miareczkowego ma
rozkład normalny z wartością średnią równą nominalnej pojemności
oraz odchyleniu standardowym równym 0, 01 mm3 . Aby to
sprawdzić, przebadano pojemność 200 naczyń o nominalnej
pojemności równej 30 mm3 . Wyznaczono k = 10 rozłącznych klas
A1 , ..., A10 . Ich granice z zaobserwowanymi liczebnościami są
podane w tabeli
Krzysztof Topolski
Przykład cd.
i
1
2
3
4
5
6
7
8
9
10
Klasa
(−∞, 29, 980]
(29, 980, 29, 985]
(29, 985, 29, 990]
(29, 990, 29, 995]
(29, 995, 30, 000]
(30, 000, 30, 005]
(30, 005, 30, 010]
(30, 010, 30, 015]
(30, 015, 30, 020]
(30, 020, +∞)
Krzysztof Topolski
Oi
2
13
20
26
40
42
26
21
10
0
Ei
4, 55
8, 81
18, 37
29, 98
38, 29
38, 29
29, 98
18, 37
8, 81
4, 55
Przykład cd.
Niech X oznacza pomiar pojemności oraz niech qi = P{X ∈ Ai }.
W zapewnienia producenta oznaczają, że X ma rozkład normalny
N(30, 00, 0, 0001). My sprawdzamy hipotezę H0 : qi = pi , w
której
)
(
)
(
ai−1 − 30
ai − 30
−Φ
,
pi = Φ
0, 01
0, 01
gdzie Ai = (ai−1 , ai ] jest i−tą klasą.
Na podstawie danych z tablicy, w których łączymy w jedną dwie
dolne i dwie górne klasy otrzymujemy następującą wartość
statystyki testowej 𝜒2P = 3, 06. Ponieważ przy 7 stopniach
swobody p−wartość wynosi 0,879, nie ma podstaw do odrzucenia
hipotezy zerowej H0 , a w takim razie także hipotezy o rozkładzie
normalnym N(0, 1) pojemności naczyń miareczkowych.
Krzysztof Topolski
Przykład cd.
Niech X oznacza pomiar pojemności oraz niech qi = P{X ∈ Ai }.
W zapewnienia producenta oznaczają, że X ma rozkład normalny
N(30, 00, 0, 0001). My sprawdzamy hipotezę H0 : qi = pi , w
której
)
(
)
(
ai−1 − 30
ai − 30
−Φ
,
pi = Φ
0, 01
0, 01
gdzie Ai = (ai−1 , ai ] jest i−tą klasą.
Na podstawie danych z tablicy, w których łączymy w jedną dwie
dolne i dwie górne klasy otrzymujemy następującą wartość
statystyki testowej 𝜒2P = 3, 06. Ponieważ przy 7 stopniach
swobody p−wartość wynosi 0,879, nie ma podstaw do odrzucenia
hipotezy zerowej H0 , a w takim razie także hipotezy o rozkładzie
normalnym N(0, 1) pojemności naczyń miareczkowych.
Krzysztof Topolski
Uwaga
Przybliżenie rozkładem 𝜒2 można uznać za dopuszczalne, gdy
npi ≥ 5 dla każdego i = 1, ..., k.
Krzysztof Topolski
Test zgodności 𝜒2 dla hipotezy złożonej.
Omówiliśmy przypadek, w którym sformułowana hipoteza H0
określała całkowicie rozkład zmiennej losowej. W wielu
zagadnieniach praktycznych stawia się również hipotezy, które nie
określają całkowicie rozkładu. Możemy mieć na przykład do
czynienia z hipotezą, która orzeka, że zmienna losowa X ma
rozkład dyskretny o znanej postaci ogólnej {pi (𝜃), i = 1, ..., k}, a
parametr 𝜃 pozostaje nieokreślony.
Krzysztof Topolski
W tej sytuacji nie możemy bezpośrednio skorzystać ze statystyki
𝜒2P gdyż nie możemy obliczyć, Ei = Ei (𝜃) = npi (𝜃), teoretycznych
oczekiwanych liczebności klas. Zależą one bowiem od wartości
nieznanego parametru 𝜃. Okazuje się, że jeśli nieznany parametr 𝜃
jest oszacowany za pomocą metody największej wiarogodności, to
statystyka
k
∑
ˆ 2
(Oi − Ei (𝜃))
,
𝜒2P =
ˆ
Ei (𝜃)
i=1
gdzie 𝜃ˆ oznacza estymator największej wiarogodności parametru 𝜃,
ma nadal asymptotyczny rozkład 𝜒2 ale już nie z k − 1 stopniami
swobody ale z k − 2 stopniami swobody.
Krzysztof Topolski
Test zgodności 𝜒2 dla hipotezy złożonej cd.
Przykład
W diploidalnej populacji z losowym kojarzeniem częstość allelu A
jest równa 𝜃. Jeśli populacja znajduje się w równowadze
Hardyego-Weinberga to częstości genotypów AA, Aa i aa są równe
odpowiednio 𝜃2 , 2𝜃(1 − 𝜃) i (1 − 𝜃)2 .
Krzysztof Topolski
Przykład cd.
Załóżmy, że w populacji stwierdzono 110 osobników o genotypie
AA, 235 osobników o genotypie Aa oraz 155 osobników o
genotypie aa. Czy istnieje podstawa do odrzucenia hipotezy o
znajdowaniu się tej populacji w warunkach równowagi
Hardyego-Wainberga.
Krzysztof Topolski
Przykład cd.
W tym przypadku hipoteza zerowa ma postać
H0 : p1 (𝜃) = 𝜃2 , p2 (𝜃) = 2𝜃(1 − 𝜃), p3 (𝜃) = (1 − 𝜃)2 .
Estymator parametru 𝜃 wyznaczony metodą największej
wiarogodności jest postaci
2n1 + n2
,
𝜃ˆ =
2n
gdzie n = n1 + n2 + n3 .
Ponieważ
Genotyp AA Aa aa
ni
110 235 155
więc
𝜃ˆ = 0, 455.
Krzysztof Topolski
Przykład cd.
H0 : p1 (𝜃) = 𝜃2 , p2 (𝜃) = 2𝜃(1 − 𝜃), p3 (𝜃) = (1 − 𝜃)2 .
2n1 + n2
𝜃ˆ =
,
2n
gdzie n = n1 + n2 + n3 .
Ponieważ
Genotyp AA Aa aa
ni
110 235 155
więc
𝜃ˆ = 0, 455.
Krzysztof Topolski
Przykład cd.
H0 : p1 (𝜃) = 𝜃2 , p2 (𝜃) = 2𝜃(1 − 𝜃), p3 (𝜃) = (1 − 𝜃)2 .
2n1 + n2
𝜃ˆ =
,
2n
gdzie n = n1 + n2 + n3 .
Ponieważ
Genotyp AA Aa aa
ni
110 235 155
więc
𝜃ˆ = 0, 455.
Krzysztof Topolski
Przykład cd.
Statystyka testowa jest więc równa
𝜒2P =
(110 − 103, 51)2 (235 − 247, 97)2 (155 − 148, 51)2
+
+
= 1, 369.
103, 51
247, 97
148, 51
Dla tej wartości statystyki testowej p−wartość jest równa 0,24,
czyli nie ma podstaw do odrzucenia hipotezy zerowej.
Krzysztof Topolski
Przykład cd.
Statystyka testowa jest więc równa
𝜒2P =
(110 − 103, 51)2 (235 − 247, 97)2 (155 − 148, 51)2
+
+
= 1, 369.
103, 51
247, 97
148, 51
Dla tej wartości statystyki testowej p−wartość jest równa 0,24,
czyli nie ma podstaw do odrzucenia hipotezy zerowej.
Krzysztof Topolski
Testowanie hipotezy o niezależności
Za pomocą testu 𝜒2 możemy przetestować hipotezę o
niezależności dwóch zmiennych losowych. Niech (X , Y ) będzie
dwuwymiarowym wektorem losowym o rozkładzie dyskretnym
rij = P{X = xi , Y = yj },
i = 1, ..., a, j = 1, ..., b.
Rozkład {rij } możemy wygodnie zapisać w tablicy
X/Y y1 y2
x1 r11 r12
x2 r21 r22
..
.
... ...
xa ra1 ra2
Krzysztof Topolski
... yb
... r1b
... r2b
... ...
... rab
Za pomocą testu 𝜒2 możemy przetestować hipotezę o
niezależności dwóch zmiennych losowych. Niech (X , Y ) będzie
dwuwymiarowym wektorem losowym o rozkładzie dyskretnym
rij = P{X = xi , Y = yj },
i = 1, ..., a, j = 1, ..., b.
Rozkład {rij } możemy wygodnie zapisać w tablicy
X/Y y1 y2
x1 r11 r12
x2 r21 r22
..
.
... ...
xa ra1 ra2
Krzysztof Topolski
... yb
... r1b
... r2b
... ...
... rab
Stawiamy hipotezę zerową H0 , że zmienne losowe X i Y są
niezależne.
H0 : P {(X , Y ) = (xi , yj )} = P {X = xi } P {Y = yj } , dla wszystkich i, j
Jeśli wprowadzimy oznaczenia
pi = P{X = xi }
oraz
qj = P{Y = yj }
to możemy hipotezę H0 zapisać w postaci
H0 : rij = pi qj , dla wszystkich i, j.
Krzysztof Topolski
Hipoteza zerowa jest hipotezą złożoną. Nie określamy ani
prawdopodobieństw rij ani prawdopodobieństw pi oraz qj .
Orzekamy jedynie, że prawdopodobieństwo rij jest równe
iloczynowi pewnych liczb pi oraz qj , które będziemy traktować jako
parametry. Ponieważ
p1 + p2 + ... + pa = 1
oraz
q1 + q2 + ... + qb = 1
więc mamy a + b − 2 niezależnych parametrów, które musimy
estymować na podstawie danych.
Dwa pozostałe parametry, pa oraz qb , określamy za pomocą
równości
pa = 1 −
a−1
∑
pi
oraz
i=1
Krzysztof Topolski
qb = 1 −
b−1
∑
qj .
j=1
Estymacji dokonujemy na podstawie n elementowej próby prostej
(X1 , Y1 ), (X2 , Y2 ), ..., (Xn , Yn ). Oznaczmy przez Oij liczbę par
(Xk , Yk ) równych (xi , yj ). Wygodnie jest zapisać dane w tabeli
X/Y
x1
x2
..
.
y1
y2 ... yb Suma
O11 O12 ... O1b
O1⋅
O21 O22 ... O2b
O2⋅
.
...
... ... ...
O ..
1
xa
Oa1 Oa2 ... Oab
Suma O⋅1 O⋅2 ... O⋅b
Oa⋅
n
gdzie
Oi⋅ − oznacza sumę liczb w i − tym wierszu,
O⋅j − oznacza sumę liczb w j − tej kolumnie.
Krzysztof Topolski
Estymatorami wyznaczonymi metoda największej wiarogodności
nieznanych parametrów p1 , ..., pa oraz q1 , ..., qb są odpowiednio
p̂i =
Oi⋅
,
n
i = 1, ..., a,
qˆj =
O⋅j
,
n
j = 1, ..., b.
oraz
Krzysztof Topolski
Procedurę testowania opieramy na statystyce testowej
𝜒2P =
(
a
b ∑
Oij − n Oni⋅
∑
j=1 i=1
n Oni⋅
O⋅j
n
)2
O⋅j
n
.
Po przekształceniu
𝜒2P = n
(
b ∑
a
Oij −
∑
j=1 i=1
Oi⋅ O⋅j
n
Oi⋅ O⋅j
)2
.
Statystyka 𝜒2P ma asymptotyczny rozkład chi kwadrat z
(a − 1)(b − 1) stopniami swobody.
Krzysztof Topolski
𝜒2P =
(
a
b ∑
Oij − n Oni⋅
∑
j=1 i=1
n Oni⋅
O⋅j
n
)2
O⋅j
n
.
Po przekształceniu
𝜒2P = n
(
b ∑
a
Oij −
∑
j=1 i=1
Oi⋅ O⋅j
n
Oi⋅ O⋅j
)2
.
Krzysztof Topolski
𝜒2P =
(
a
b ∑
Oij − n Oni⋅
∑
j=1 i=1
n Oni⋅
O⋅j
n
)2
O⋅j
n
.
Po przekształceniu
𝜒2P = n
(
b ∑
a
Oij −
∑
j=1 i=1
Oi⋅ O⋅j
n
Oi⋅ O⋅j
)2
.
Krzysztof Topolski
Stopnie swobody
Liczba stopni swobody wynika z faktu, że mamy k = ab klatek
oraz szacujemy a + b − 2 niezależnych parametrów, a więc liczba
swobody rozkładu statystyki testowej jest równa
𝜈 = ab − 1 − (a + b − 2) = (a − 1)(b − 1).
Krzysztof Topolski
Stopnie swobody
Liczba stopni swobody wynika z faktu, że mamy k = ab klatek
oraz szacujemy a + b − 2 niezależnych parametrów, a więc liczba
swobody rozkładu statystyki testowej jest równa
𝜈 = ab − 1 − (a + b − 2) = (a − 1)(b − 1).
Krzysztof Topolski
Przykład
W fabryce telewizorów sądzi się, że jakość obrazu
wyprodukowanego telewizora nie zależy od jakości dźwięku. Aby
sprawdzić to przypuszczenie, zbadano 100 wybranych losowo
telewizorów i otrzymano wynik podany w tablicy:
Obraz/Dźwięk zła dobra wysoka Suma
zła
11
17
6
34
dobra
15
18
7
40
wysoka
8
8
10
26
Suma
34
43
23
100
Krzysztof Topolski
Przykład
W fabryce telewizorów sądzi się, że jakość obrazu
wyprodukowanego telewizora nie zależy od jakości dźwięku. Aby
sprawdzić to przypuszczenie, zbadano 100 wybranych losowo
telewizorów i otrzymano wynik podany w tablicy:
Obraz/Dźwięk zła dobra wysoka Suma
zła
11
17
6
34
dobra
15
18
7
40
wysoka
8
8
10
26
Suma
34
43
23
100
Krzysztof Topolski
Przykład cd.
Należy postawić i przetestować hipotezę, przyjmując poziom
istotności 1 − 𝛼 = 0, 9.
Hipoteza zerowa orzeka, że jakość dźwięku jest niezależna od
jakości obrazu.
Krzysztof Topolski
Przykład cd.
jakości obrazu.
Krzysztof Topolski
Przykład cd.
jakości obrazu.
Krzysztof Topolski
Przykład cd.
Oczekiwana częstość w poszczególnych klatkach.
Jakość obrazu/dźwięku zła dobra wysoka Suma
zła
11, 56 14, 62
7, 82
34
dobra
13, 60 17, 20
9, 20
40
wysoka
8, 84 11, 18
5, 98
26
Suma
34, 00 43, 00 23, 00
100
Otrzymujemy wartość statystyki 𝜒2P = 5, 23 dla rozkładu 𝜒2 z 4
stopniami swobody daje to p−wartość równą 0,26.
Tak więc nie ma podstaw do odrzucenia hipotezy zerowej. Jakość
dźwięku jest niezależna od jakości obrazu.
Krzysztof Topolski
Przykład cd.
zła
11, 56 14, 62
7, 82
34
dobra
13, 60 17, 20
9, 20
40
wysoka
8, 84 11, 18
5, 98
26
Suma
34, 00 43, 00 23, 00
100
Krzysztof Topolski
Przykład cd.
zła
11, 56 14, 62
7, 82
34
dobra
13, 60 17, 20
9, 20
40
wysoka
8, 84 11, 18
5, 98
26
Suma
34, 00 43, 00 23, 00
100
Krzysztof Topolski
Tablice kontyngencji
Dla danych, które możemy przedstawić w tablicy dwudzielczej
X/Y
0
1
0
a
b
1
c
d
Suma a + c b + d
Suma
a+b
c +d
n
statystyka 𝜒2P przyjmuje postać
𝜒2P =
n(ad − bc)2
.
(a + b)(c + d)(a + c)(b + d)
Krzysztof Topolski
Tablice kontyngencji
Dla danych, które możemy przedstawić w tablicy dwudzielczej
X/Y
0
1
0
a
b
1
c
d
Suma a + c b + d
Suma
a+b
c +d
n
statystyka 𝜒2P przyjmuje postać
𝜒2P =
n(ad − bc)2
.
(a + b)(c + d)(a + c)(b + d)
Krzysztof Topolski

Testowanie hipotez statystycznych.

Transkrypt

Podobne dokumenty

Zagadnienia wymagane na zaliczenie przedmiotu

Praktyczna analiza danych w R

STAŻYSTA W DZIALE MODELI STATYSTYCZNYCH Powodzenia!

Statystyka i symulacje z wykorzystaniem R

Prezentacja danych statystycznych w GIS