Testowanie hipotez nieparametrycznych.

TESTY ZGODNOŚCI
Niech F(x) będzie nieznaną dystrybuantą cechy X.
Hipotezę statystyczną określającą nieznaną
postać funkcyjną dystrybuanty F(x) nazywa się
hipotezą nieparametryczną.
Test służący do weryfikacji takiej hipotezy nosi
nazwę testu zgodności lub testu
nieparametrycznego.
1
Schemat testowania nieparametrycznego
1. Wysuwamy hipotezę H0 wyznaczającą dystrybuantę F(x).
2. Pobieramy n elementową próbkę prostą.
3. Ustalamy poziom zgodności α.
4. Ustalamy statystykę U, będącą miarą rozbieżności (lub zgodności)
pomiędzy rozkładem empirycznym z próbki a dystrybuantą F(x).
5. Szukamy takiej wartości u0, aby P( U ≥ u 0 ) ≤ α .
6. Jeżeli:
u ≥ u0
to hipotezę odrzucamy,
u < u0
to nie ma podstaw do odrzucenia hipotezy.
2
Statystyka χ - Pearsona
2
Niech F(x) będzie dystrybuantą cechy X populacji generalnej.
Jak każda dystrybuanta jest ona określona na całej osi rzeczywistej.
Rozłóżmy oś x na r rozłącznych zbiorów S k = [a k , a k +1 ) :
US
k
=R .
k
Niech π k (k=1,2,...,r) będzie oznaczać prawdopodobieństwo tego, że cecha X
przybiera wartość należącą do S k :
π k = F (a k +1 ) − F (a k )
Wartości π k nazywamy częstościami teoretycznymi.
Zauważmy, że nπ k jest ilością teoretyczną (spodziewaną) obserwacji
należących do S k .
Załóżmy dalej, że mamy n obserwacji cechy X: x1 , x 2 ,..., x n . Obserwacje te
dzielimy na r grup zaliczając do k-tej grupy te wartości, które należą do S k .
Oznaczamy przez nk ilość obserwacji należących do S k . Jest to empiryczna
liczebność klasy S k .
3
Statystyką χ 2 - Pearsona nazywamy wyrażenie:
(n k − nπ k ) 2
χ =∑
k =1
nπ k
2
r
Twierdzenie. Niech częstości teoretyczne π k będą dane. Wówczas ciąg {Fn (z )}
statystyki χ 2 - Pearsona czyni zadość równości:
lim n → ∞
r −3
z
z
−
1

2
2
z e dz dla z > 0
∫
 r −1  1
0

Fn ( z ) =  2 2 Γ (r − 1) 
2


0
dla z ≤ 0
czyli jest zbieżny do dystrybuanty rozkładu χ 2 o r-1 stopniach swobody.
4
Przykład:
Z partii towaru wybieramy próbę prostą n=100 elementów. Sprawdzamy ich
jakość i znajdujemy n1=22 sztuki wadliwe. Na poziomie α=0,01 sprawdzić czy
wadliwość produkcji wynosi 20%.
Stawiamy hipotezę H0, że rozkład tej cechy jest dwumianowy z p=0,2.
5
„Rozkładamy” cały zbiór obserwacji na n1=22 sztuki wadliwe i n2 = n - n1 = 78
sztuki dobre. Mamy zatem dwie klasy (r = 2). Odpowiednie częstości
teoretyczne wynoszą: p = 0,2 oraz q = 1 – p = 0,8.
2
2
(
)
(
)
n
−
np
n
−
nq
22 22 1
2
1
2
χ =
+
=
+
=
20 80 4
np
nq
Z tablic rozkładu χ 2 o 1 stopniu swobody szukamy P( χ 2 ≥ χ α2 ) = 0,01 ,
⇒ χ α2 = 6,6 .
Wniosek: Nie ma podstaw do odrzucenia hipotezy.
6
Czasami do wyznaczenia wartości teoretycznych dystrybuanty
konieczna jest znajomość parametrów, które także są wyznaczane z tej
samej próby. Ma to oczywisty wpływ na jakość wnioskowania.
Tw. Fishera-Cramera.
Niech wszystkie prawdopodobieństwa teoretyczne π k (λ1 ,...λ m ) > 0 i niech
∂π k
∂ 2π k
istnieją ciągłe pochodne cząstkowe
,
(k=1,2,...,r; i,j=1,2,...,m),
∂λ i
∂λ i ∂λ j
przy czym macierz o wyrazach
∂π k
(k=1,2,...,r; i=1,2,...m) jest rzędu m.
∂λ i
Wówczas jeśli nieznane parametry λ1 , λ 2 ,..., λ m wyznaczane są metodą
największej wiarygodności to rozkład statystyki χ 2 - Pearsona zmierza do
rozkładu χ 2 o r – m – 1 stopniach swobody.
7
Przykład:
Badano wytrzymałość 300 kłębków przędzy bawełnianej. Przez X oznaczono
wytrzymałość wyrażoną w kilogramach. Wyniki zgromadzono w 13 grupach.
Stawiamy hipotezę, że wytrzymałość ta ma rozkład normalny # (m, σ ) .
Koniecznym będzie wyznaczenie obu parametrów (m i σ) z próby.
8
i
x
ni
i
x
ni
1
0,5 – 0,64
1
8
1,48 – 1,62
53
2
0,64 – 0,78
2
9
1,62 – 1,76
25
3
0,78 – 0,92
9
10
1,76 – 1,9
19
4
0,92 – 1,06
25
11
1,9 – 2,04
16
5
1,06 – 1,2
37
12
2,04 – 2,18
3
6
1,2 – 1,34
53
13
2,18 – 2,32
1
7
1,34 – 1,48
56
9
60
1 0,5 – 0,64
2 0,64 – 0,78
3 0,78 – 0,92
4 0,92 – 1,06
5 1,06 – 1,2
6 1,2 – 1,34
7 1,34 – 1,48
8 1,48 – 1,62
9 1,62 – 1,76
50
40
30
20
10
0
1
10 1,76 – 1,9
11 1,9 – 2,04
12 2,04 – 2,18
13 2,18 – 2,32
10
Ponieważ przedziały są dosyć wąskie (0,14), to za podstawę do obliczeń m i σ
m * = x,
weźmiemy środki przedziałów:
σ 2* = s 2
i
xi
ni
i
xi
ni
1
0,57
1
8
1,55
53
2
0,71
2
9
1,69
25
3
0,85
9
10
1,83
19
4
0,99
25
11
1,97
16
5
1,13
37
12
2,11
3
6
1,27
53
13
2,25
1
7
1,41
56
11
m*=1,41, σ*=0,26
Ponieważ grupy skrajne są zbyt mało liczne (stosuje się zasadę, aby w
przybliżeniu nπ i > 10 ), to łączymy je.
Obliczamy π k dla końców przedziałów w połowie odległości pomiędzy
xi
oraz
x i +1 i dla X ~ # (1,41;0,26) :
 X − 1,41

 X − 1,41

< 2,42  + P
≥ 2,42  = 0,
 0,26

 0,26

π 1 = P( X < 0,78) + P( X ≥ 2,04) = P
12
π 2 = 0,0223
π 3 = 0,0584
π 4 = 0,1205
π 5 = 0,1846
π 6 = 0,2128
π 7 = 0,1846
π 8 = 0,1205
π 9 = 0,0584
π 10 = 0,0223
10
( n j − nπ j ) 2
j =1
nπ j
χ2 =∑
= 22,07
Z próby wyznaczamy 2 parametry, zatem stopni swobody jest r – m – 1 =10 – 2
– 1 = 7.
Z tablic χ 2 otrzymujemy, że P ( χ 2 ≥ 22,07) < 0,01 .
Wniosek: hipotezę odrzucamy.
13
Przykład (Bortkiewicz).
Analizując dane dotyczące armii pruskiej obliczono ilość wojskowych w 10
korpusach kawalerii, którzy ponieśli śmierć w ciągu kolejnych 20 lat na skutek
kopnięcia przez konia.
Jako zdarzenie losowe X przyjęto to, że w jednym korpusie w ciągu roku ilość
zabitych przez konia wynosi r = 0, 1, 2, ...
Ilość obserwacji: 10 ⋅ 20 = 200 .
i
Liczebność
zaobserwowana - ni
0
109
1
65
2
22
3
3
4
1
14
Przypuszczamy, że prawdopodobieństwo wystąpienia danej ilości przypadków
regulowane jest przez rozkład Poissona. Obliczamy zatem średnią z próby:
λ* =
1
(0 ⋅ 109 + 1 ⋅ 65 + 2 ⋅ 22 + 3 ⋅ 3 + 4 ⋅ 1) = 0,61. Stąd z tablic:
200
Prawdopodobieństwo
pi
Liczebność oczekiwana
- np i
0,544
0,331
0,101
0,021
0,003
108,8
66,2
20,2
4,2
0,6
15
Dwie ostatnie grupy łączymy w jedną i obliczamy wartość χ 2 - Pearsona:
2
n
np
(
−
)
i
χ2 =∑ i
= 0,3160
i =1
np i
4
stopni swobody: r – m – 1 = 4 – 1 – 1 = 2
P (χ 2 ≥ 0,3160 ) >> 0,05
Wniosek: Nie ma podstaw do odrzucenia hipotezy.
16
Test Kołmogorowa (zwany też testem KołmogorowaSmirnowa)
Niech Dn = sup − ∞ < x < ∞ S n ( x) − F ( x )
Niech Q n (λ ) to dystrybuanta zmiennej losowej D n n :
λ

λ >0
)
 P ( Dn n < λ ) = P( Dn <
Q n (λ ) = 
n
0
λ≤0

Twierdzenie Kołmogorowa.
Niech S n (x) będzie dystrybuantą empiryczną w n-elementowej próbie prostej
wylosowanej z populacji, w której zmienna losowa X ma ciągłą dystrybuantę
F (x) . Teza:
lim n →∞
 ∞ (−1) k exp(−2k 2 λ 2 )
∑
Qn (λ ) = Q(λ ) = k = −∞
0
Rozkład ten jest stablicowany.
λ>0
λ≤0
17
Przykład:
Opracowano miesięczny rozkład przeciętnych temperatur w styczniu w
Warszawie w latach 1779-1947 (bez roku 1945). Ilość obserwacji n=168. Niech
X to przeciętna temperatura w styczniu w Warszawie. Obliczono
x = −4,22
s = 3,57 . Postawiono hipotezę, że cecha X ma rozkład
# (−4,22; 3,57) . Weryfikacji dokonano na poziomie α = 0,05.
Znaleziono: d n = s n (−5,4) − F (−5,4) = 0,086
P( D n ≥ 0,086) = P ( D n 168 ≥ 1,115) ≅ 0,1663
Wniosek: nie ma podstaw do odrzucenia hipotezy.
18
Korelacja
Korelacja (słowo pochodzenia łacińskiego
oznaczające wzajemny związek), pojęcie
matematyczne, oznaczające wzajemne
powiązanie, współwystępowanie jakichś zjawisk
lub obiektów.
W teorii prawdopodobieństwa i statystyce na ogół
rozumie się tutaj zależność liniową zmiennych
losowych i stosuje korelację Pearsona. Istnieją
inne rodzaje korelacji, np. korelacja rangowa
Spearmana, mierząca zależność monotoniczną,
niekoniecznie liniową.
19
Rozważmy dwie zmienne losowe X i Y. Weźmy pod
uwagę kowariancję tych zmiennych, czyli liczbę
E[(X - EX)(Y - EY)], gdzie EX oznacza wartość
średnią (nadzieję matematyczną, wartość
oczekiwaną) zmiennej X. Podzielmy teraz tę liczbę
przez iloczyn odchyleń standardowych obu
zmiennych. To, co otrzymamy, nosi nazwę
współczynnika korelacji i jest zawsze liczbą z
przedziału [-1, 1].
ρ(X ,Y ) =
E[( X − X )(Y − Y )
D 2 ( X ) D 2 (Y )
20
Współczynnik korelacji z próby:
n
∑ ( x − x )( y − y)
i
r( X ,Y ) =
i
i =1
n
n
∑ (x − x ) ∑ ( y − y)
2
i
i
i =1
2
i =1
21
Interpretacja współczynnika korelacji jest następująca.
1. Znak współczynnika korelacji świadczy o kierunku zależności, i tak
gdy:
a) r > 0 – występuje zależność stochastyczna dodatnia (wraz ze wzrostem wartości jednej zmiennej na ogół wzrastają również wartości drugiej
zmiennej),
b) r < 0 – występuje zależność stochastyczna ujemna (wraz ze wzrostem wartości jednej zmiennej na ogół zmniejszają się wartości drugiej
zmiennej).
2. Wartość modułu współczynnika korelacji świadczy o sile zależności,
i tak gdy:
a) r = 0 – obie zmienne są nieskorelowane (praktycznie oznacza to
brak liniowej zależności stochastycznej),
b) 0 < r < 1 – występuje zależność stochastyczna, a siła tej zależności
jest wprost proporcjonalna do modułu wartości współczynnika korelacji,
c) r = 1 – występuje zależność funkcyjna (liniowa).
22
Rys. 1. Korelacyjne wykresy rozrzutu; 1 - korelacja liniowa dodatnia, 2 korelacja liniowa ujemna, 3 - brak korelacji, 4 - korelacja krzywoliniowa
23
Tak wyliczony z próby współczynnik rXY jest estymatorem współczynnika korelacji r
w populacji generalnej, a jego wartość liczbowa stanowi ocenę punktową siły
powiązania w całej populacji. Stąd konieczność testowania istotności
współczynnika korelacji wyliczonego w oparciu o próbę losową. Najpowszechniej
stosowany test polega na sprawdzeniu, czy zmienne X i Y są w ogóle
skorelowane. Weryfikujemy więc następujący układ hipotez:
H0: ρ = 0
H1: ρ różne od 0
Test t-Studenta:
t=
r
1− r
n−2
2
24
Przykład:
20000
Ct
Yt
18000
16000
14000
12000
10000
8000
6000
1960
1965
1970
1975
1980
1985
Ct – osobista konsumpcja, Yt – dochód w dyspozycji per capita
1990
25
Wynik z programu GRETL
Współczynniki korelacji liniowej dla obserwacji z próby 1959-1994
5% wartość krytyczna (dwustronny obszar krytyczny) = 0,3291 dla n = 36
Ct
1,0000
Yt
0,9978
1,0000
Ct
Yt
26