Weryfikacja hipotez statystycznych Hipoteza Test statystyczny

Weryfikacja hipotez statystycznych Hipoteza Test statystyczny

Weryfikacja hipotez statystycznych
Hipoteza
■ Test statystyczny
■ Poziom istotności
■ Testy jednostronne i dwustronne
■ Testowanie równości wariancji

test F-Fishera
■ Testowanie równości wartości średnich

test t-Studenta
■ Test χ2 dobroci dopasowania
■ Tabele wkładów

test niezależności zmiennych
■
KADD – Weryfikacja hipotez
1
Hipoteza
Często w analizie poszukiwana wielkość nie jest
całkowicie nieznana. Można przewidzieć jej wartość
na podstawie innych pomiarów lub teorii. W takich
wypadkach stawiamy pewną hipotezę a następnie
ją weryfikujemy.
■ Przykład: Stawiamy hipotezę, że zmienna losowa X
pochodzi z rozkładu normalnego. Przeprowadzamy
10 pomiarów i uzyskujemy średnią X=0.154.
Zmienna X ma wartość oczekiwaną 0 i odchylenie
standardowe 1/√10. Jednak jak łatwo policzyć:
 ∣≥0.154 =2 {1 −0 0.154  10 }=0,626
P ∣ X
■ Czyli nie można jednoznacznie stwierdzić, że
hipoteza jest prawdziwa lub fałszywa
■
KADD – Weryfikacja hipotez
2
Poziom istotności
■
W pomiarach uzyskujemy jedynie liczby losowe,
więc nigdy nie będziemy mieli pewności. Należy
wprowadzić poziom istotności – czyli pewne
prawdopodobieństwo α. Następnie sprawdzamy,
czy:
 ∣≥0.154 
P ∣ X
■
Jeśli tak, to odrzucamy hipotezę. W przeciwnym
przypadku, możemy jedynie stwierdzić, że
hipoteza nie jest sprzeczna z danymi.
0,05 =2 {1 −0 1,96 }=2 {1 −0 0.62  10 }
0,01 =2 {1 −0 2,58 }=2 {1 −0 0.82  10 }
0,001 =2 {1 −0 3,29 }=2 {1 −0 1,04  10 }
KADD – Weryfikacja hipotez
3
Testy jednostronne
/ 2
■
− X
X
/ 2

Czasem ważny jest również znak wielkości. Wtedy
wykonujemy test jednostronny:
 ≥ x ' 
PX
■
X'
Ogólnie definiujemy statystykę testową T, szukamy
podzbioru U obszaru zmienności T takiego, żeby
P H T ∈U = i jeśli wartość testowa T' jest w U, to
4
hipotezę odrzucamy
KADD – Weryfikacja hipotez
Równoważność wariancji
Porównujemy wariancję dwóch populacji o takich
samych wartościach średnich.
■ Zakładamy, że populacje mają rozkład normalny i
liczność N1 i N2. Wyznaczamy wariancje i liczymy:
■
F =S 12 / S 22
■
Ten iloczyn powinien być bliski jedności.
Tworzymy statystyki o rozkładzie χ2:
X 12 =
■
 N 1 −1 S 12

2
1
=
f 1 S 12

X 22 =
2
1
 N 2 −1 S 22

2
2
Nasza hipoteza mówi, że σ1 = σ2, więc:
=
f 2 S 22
 22
F = f 2 / f 1 ⋅ X 12 / X 22 
■
Korzystając z postaci rozkładu χ2 liczymy prawd.:
W Q=P
 
X 12
Q
2
2
KADD – Weryfikacja
hipotez
X
5
Rozkład F-Fishera
■
Pełna postać funkcji W to:
1
f
Q
 1/ 2 f 
2
W Q=
t
∫
0
 1/ 2 f 1   1/ 2 f 2 
■
1
−1
−
t1
1
f
2
dt
gdzie f = f1+f2. Powracając do F definiujemy:
F =Q f 2 / f 1
■
i otrzymujemy dystrybuantę:
W  F =P
■
S
2
2
F
oraz gęstość prawdopodobieństwa:
 
f1
f  F =
f2
■
 
S 12
1/ 2 f 1
 1/ 2  f 1  f 2 
F
 1/ 2 f 1   1/ 2 f 2 
Jest to rozkład F-Fishera
1
f −1
2 1

f1
1 F
f2
KADD – Weryfikacja hipotez

1
−  f 1  f 2
2
6
Rozkład F-Fishera – rysunek
F2=5
F1=2
4
6
8
10
12
14
16
18
20
F2=15
F2=10
F2=20
KADD – Weryfikacja hipotez
7
Rozkład F-Fishera – interpretacja
■
Granicę F'α wyznaczamy z warunku:
P

S
S
2
1
2
2
'


P
F = 

S 12
S
2
2
'

 
F = P
S 12
S
2
2

F 1 − =1−
Jeżeli w wyniku testu uzyskamy wartość ilorazu
wariancji powyżej F'α, to hipoteza jest prawdziwa z
poziomem ufności α.
■ Często stosujemy test dwustronny:
■
P
■

S 12

1
''
F

f
f

=

1,
2

2
2
S2
P

S 12
 
'''
F
  f 1, f 2  = P
2
S2
S 22
Test można jeszcze uprościć, zauważając, że
F1-α/2>1 dla rozsądnych α. Stąd mając σ2g>σ2k
wystarczy zweryfikować jedynie:
S 2g / S 2k F 1−/ 2  f g , f k 
KADD – Weryfikacja hipotez

1
''
F

f
f

=

2,
1

2
2
S1
8
Rozkład F-Fishera – przykład
Numer pomiaru Przyrząd 1 Przyrząd 2
1
100
97
2
101
101
3
102
102
4
100
99
5
98
101
6
97
98
7
100
101
8
101
9
99
10
100
Średnia
99,8
99,86
Stopnie swobody
9
6
S^2
19,6
20,86
S^2/f
2,18
3,48
F
1,6
0,2
1,2
2,2
0,2
-1,8
-2,8
0,2
1,2
-0,8
0,2
0,04
1,44
4,84
0,04
3,24
7,84
0,04
1,44
0,64
0,04
-2,86
1,14
2,14
-0,86
1,14
-1,86
1,14
8,16
1,31
4,59
0,73
1,31
3,45
1,31
■
Korzystamy z kwantyli
funkcji F
''
F 0,2 7, 9=F 0,9 7, 9=2.51
F '0,1' 7, 9=F 0,95 7, 9=3.29
'
F '0,02
7, 9=F 0,99 7, 9=5.61
'
F '0,01
7, 9=F 0,995 7, 9=6.89
KADD – Weryfikacja hipotez
9
Równość wartości średnich
■
Mamy zmienną losową X o rozkładzie normalnym.
Pobieramy próbę o liczności N i wartości średniej X
2
2
 =  X / N
 X
■
N
1
2

s =

x
−
x

∑
N −1 j=1 j
2
x
N
1
2
s =

x
−
x


∑
N  N −1 j=1 j
2

X
Pytamy jakie skutki będzie miało zastąpienie
wariancji σ przez estymator S. Badamy zmienną T:
 / s X = X
 N /S X =X
  N  f /
T=X
■
po zauważeniu, że (N-1)σ2X = fSX2 ma rozkład χ2 o
liczbie stopni swobody f=N-1. Dostajemy:


 N  f
 1/ 2 f 1
X
F t =P T t =P
t =

 1/ 2 f     f
■
t
∫−∞
 
2 1/ 2 f 1
t
1
f
co daje gęstość prawdopodobieństwa:
1/ 2 f 1
 
 1/ 2 f 1
t2
f t =
1
f
 1/ 2 f     f
KADD – Weryfikacja hipotez
10
Rozkład t-Studenta
f=1
2
3
4
5
6
7
8
9
10
Jest to rozkład tStudenta. Dąży on
do rozkładu Gaussa
■ Z symetrii wokół 0
mamy związek:
■
P ∣t∣≤t =2 F ∣t∣−1
■
Wyznaczamy wartości graniczne ±t'α:
t '
∫0
■
f t  dt =1/ 2 1− , gdzie t '  =t 1−1/ 2 
Jest to test dwustronny, w analogiczny sposób
można przeprowadzać także testy jednostronne
KADD – Weryfikacja hipotez
11
Testowanie hipotez – r. t-Studenta
■
Hipotezą jest to, że wartość λ0 jest wartością
średnią pewnego rozkładu normalnego. Pobieramy
z niego próbę o liczności N i wartości średniej X i
wariancji σ2X. Testujemy jedną z nierówności:
 ±0   N
X
∣ X −0∣ N
test
∣t∣=
SX
t '  =t 1−1/ 2  lub t=
SX
t ' 2  =t 1−
[
jednostronny
Jeśli jest spełniona, hipotezę odrzucamy
■ Test można uogólnić do porównywania wartości
średnich z dwóch prób o liczności N1 i N2. Hipotezą
jest równość wartości średnich:
■
x = y
■
Mają one rozkład normalny z wariancjami:
1 2

  X =
 X 
N1
2
1 2
 2  Y =
 Y 
N2
KADD – Weryfikacja hipotez
12
]
Testowanie równości wart. średnich
■
Wariancje są estymowane przez:
N
N
1
1
2
2
2


S =

X
−
X

S
=
Y
−
Y

∑
∑
Y
j=1
N 1  N 1 −1
N 2  N 2 −1 j=1
■ Różnica wartości średnich ma również rozkład
2

X
1
2
zbliżony do normalnego, stąd:
 −Y
= X
2
2
  2  Y 
 =  X
Oczywiście wartość średnia Δ powinna wynosić 0,
a Δ/σ(Δ) powinna być opisana rozkładem Gaussa.
■ Zwykle zakłada się, że X i Y pochodzą z tej samej
populacji, więc σ2X = σ2Y, więc można je estymować
przez średnią ważoną:
■
2
2

N
−1
S

N
−1
S
X
2
Y
S 2= 1
 N 1−1 N 2 −1
KADD – Weryfikacja hipotez
13
Test różnic Studenta
■
Można wtedy zdefiniować:
2
2
S
2
S X =
N1
■
S
2
S Y =
N2
i teraz można już podać wzór:
N 1 N 2 2
S =S S =
S
N1 N2
2

■
2

X
2
Y
Można udowodnić, że iloraz Δ/σ(Δ) podlega
rozkładowi t-Studenta z liczbą stopni swobody
f=N1 + N2 - 2. Możemy więc zaproponować test
różnic studenta z kwantylami rozkładu Studenta:
∣∣ ∣ X −Y∣
∣t∣=
■
s
=
S
t '  =t 1−1/ 2 
Jeśli nierówność jest spełniona, to odrzucamy
hipotezę o równości wartości średnich
KADD – Weryfikacja hipotez
14
Test różnic studenta – przykład
Numer pomiaru Przyrząd 1 Przyrząd 2
1
100
97
2
101
101
3
102
102
4
100
99
5
98
101
6
97
98
7
100
101
8
101
97
9
99
96
10
100
101
11
98
12
101
13
100
14
102
15
103
16
101
17
99
18
100
19
102
Ilość pomiarów
19
10
Średnia
100,21
99,3
Stopnie swobody
18
9
S^2
43,16
42,1
S^2/f
2,4
4,68
S^2
47,11
S^2 Delta
7,85
-0,21 0,04
0,79 0,62
1,79
3,2
-0,21 0,04
-2,21 4,89
-3,21 10,31
-0,21 0,04
0,79 0,62
-1,21 1,47
-0,21 0,04
-2,21 4,89
0,79 0,62
-0,21 0,04
1,79
3,2
2,79 7,78
0,79 0,62
-1,21 1,47
-0,21 0,04
1,79
3,2
0,91
-2,3 5,29
1,7 2,89
2,7 7,29
-0,3 0,09
1,7 2,89
-1,3 1,69
1,7 2,89
-2,3 5,29
-3,3 10,89
1,7 2,89
■
Mamy kwantyle:
'
t 0,2 27=t 0,9 27=1.71
t '0,1 27=t 0,95 27=2,05
t '0,02 27=t 0,99 27=2,77
t '0,01 27=t 0,995 27=3,05
t '0,004 27=t 0,998 27=3,43
t '0,002 27=t 0,999 27=3,69
Hipotezy nie można odrzucić
KADD – Weryfikacja hipotez
15
Test χ2 dobroci dopasowania
Mamy N pomiarów gi, i=1,2,...,N oraz ich błędy si.
Wynik pomiaru to suma wielkości prawdziwej hi i
błędu εi, który ma r. normalny o odchyleniu stand. σi.
■ Weryfikujemy hipotezę określającą wartości h :
i
■
hi = f i , i=1, 2 , , N
■
Jeśli jest ona prawdziwa, to wielkości:
 g i− f i 
ui =
, i=1, 2 , , N
i
mają rozkład Gaussa, więc wielkość: 2
N
N
T =∑i=1 u =∑i=1
2
i

 g i− f i 
i

podlega rozkładowi χ2 o N stopniach swobody.
Hipotezę fi odrzucamy, gdy dla poziomu istotności α
2
16
T

spełniona jest nierówność:
KADD – Weryfikacja
1−hipotez
Ilość stopni swobody
■
Często zarówno pomiary gi, wartości prawdziwe hi
i hipoteza fi są funkcjami zmiennej kontrolnej t,
której wartości znamy dokładnie:
g i = g t i  , hi =ht i  , f i = f t i 
■
Prostą hipotezą jest, że h(t) jest funkcją liniową:
f t =ht =at b
■
Gdy wartości a i b są znane skądinąd, to problem
ma N stopni swobody. Jednak gdy parametry
liczbowe a i b są nieznane, jedyną hipotezą
pozostaje liniowość zależności h(t). Wtedy każdy
nieznany parametr, który estymujemy na
podstawie pomiarów obniża liczbę stopni swobody
o 1, np. dla hi =ht i = f i = a t i  b wynosi N-2.
17
KADD – Weryfikacja hipotez
Test χ2 i rozkład częstości
■
Każdy ciągły rozkład prawdopodobieństwa f(x)
można zamienić na dyskretny poprzez podział
zakresu zmienności x na r przedziałów:
1, 2,  ,i , ,r
■
Całkując w przedziałach otrzymujemy prawd. pi:
pi =P  x ∈i =∑ f  x dx ;
i
■
r
∑i=1 pi=1
Z pobranej próby o liczności n oznaczamy przez
ni elementy leżące w przedziale ξi. Oczekujemy, że
ni=npi. Jak wiemy, dla dużych n wariancja ni
wynosi ni a rozkład
2
2
n
−n
p

n
−n
p

2
2
i
i
ui = i
, lub ui = i
ni
np i
dąży do rozkładu Gaussa
KADD – Weryfikacja hipotez
18
Test χ2 i doświadczenie
■
Obliczamy teraz sumę kwadratów:
r
X =∑i=1 ui2
2
i na podstawie naszej hipotezy oczekujemy, że
statystyka X2 ma asymptotycznie rozkład χ2.
Ponieważ zmienne u nie są niezależne, więc liczba
stopni swobody tego rozkładu równa się r-1. Jeżeli
dodatkowo p parametrów rozkładu estymujemy z
pomiarów, to liczba stopni swobody wynosi r-1-p.
■ Wartość X2 porównujemy, tak jak w poprzednich
przypadkach, z kwantylami rozkładu χ2 dla
zadanego poziomu ufności α. Jeśli nierówność jest
spełniona, odrzucamy hipotezę f.
■
KADD – Weryfikacja hipotez
19
Test χ2 – przykład
t 0,9 11=17,274
t 0,95 11=19,674
t 0,99 11=24,726
t 0,995 11=26,758
t 0,998 11=29,354
t 0,999 11=31,266
n_i
28
34
19
21
16
18
11
6
10
4
3
6
176
p_i
0,1649
0,1372
0,1148
0,0959
0,0801
0,0669
0,0559
0,0467
0,0390
0,0326
0,0273
0,0228
n p_i
29,02
24,15
20,2
16,88
14,1
11,77
9,84
8,22
6,86
5,74
4,8
4,01
X^2
(n_i – np_i)^2/np_i
0,0360
4,0202
0,0718
1,0065
0,2567
3,2917
0,1371
0,5992
1,4328
0,5262
0,6779
0,9841
13,04
max
min
Badamy stałą rozpadu
promieniotwórczego.
■ Estymatorem τ jest
wartość średnia t
■ Porównując kwantyle χ2
widać, że nawet dla α=0.1
nie możemy odrzucić
hipotezy
20
■
Numer binu
1
2
3
4
5
6
7
8
9
10
11
12
n=sum(n_i)
1
f t = e−t /

∞ 1
t =∫0 e−t /=

x
1 −t /
pi =∫x
e

KADD – Weryfikacja hipotez
Tabele wkładów
■
Wykonano n pomiarów. Każdy pomiar jest
kombinacją dwóch zmiennych losowych X i Y.
Załóżmy, że są one typu skokowego:
X ∈ x 1, x 2,  , x k  , Y ∈ y 1, y 2,  , y l 
a nij to liczba pomiarów takich, że X=xi, Y=yi
■ Otrzymujemy macierz zwaną tabelą wkładów.
■ Oznaczmy P(xi)=pi i P(yj)=qj. Naszą hipotezą jest,
że zmienne są niezależne. Wtedy P(xi,yi)=piqj.
Estymatorami p i q są:
1 l
p i = ∑ j=1 nij
n
1 k
q j = ∑i=1 nij
n
KADD – Weryfikacja hipotez
21
Test niezależności zmiennych
■
Warunki normalizacyjne ograniczają p i q:
l
k
∑ j=1 q j =∑i=1
k
1 l
p i = ∑ j=1 ∑i=1 nij =1
n
stąd mamy tylko k+l-2 niezależnych estymatorów.
■ Wykonujemy test χ2:
2
n
−n
p
q



i j
X 2 =∑ j=1 ∑i=1 nij ij
n p i q j
l
■
k
A następnie porównujemy go do kwantyla
rozkładu χ2 o zadanym poziomie ufności i ilości
stopni swobody równej (k-1)(l-1). Jeżeli spełniona
jest zależność:
2
X 21−
to odrzucamy o hipotezę niezależności zmiennych
KADD – Weryfikacja hipotez
22