WPROWADZENIE

Transkrypt

WPROWADZENIE

WPROWADZENIE
1
2
Jacek Bojarski: www.wmie.uz.zgora.pl/pracownicy/JBojarski
PROGRAMY KOMPUTEROWE DO ANALIZ STATYSTYCZNYCH
Darmowe oprogramowanie
• R-project - www.r-project.org,
• gretl - www.gretl.eu,
• bogata lista darmowych programów - http://statpages.org/javasta2.html.
Komercyjne oprogramowanie
• STATISTICA - www.statsoft.pl,
• SAS - www.sas.com,
• SPSS - www.spss.com,
• Statgraphics Plus - www.statgraphics.com.
3
CIEKAWE STRONY
• http://davidmlane.com/hyperstat/index.html,
• http://www.sportsci.org/resource/stats/index.html,
• http://www.statsoft.pl/textbook/glosfra.html,
• http://www.visualstatistics.net,
• http://statweb.calpoly.edu/chance/applets/applets.html,
• http://www.bettycjung.net/Statpgms.htm,
• http://www.dartmouth.edu/ chance/ChanceLecture/AudioVideo.html,
• http://ideal.stat.wvu.edu:8080/ideal/browseModule.do,
• http://www.anu.edu.au/nceph/surfstat/surfstat-home,
• http://www.scs.unr.edu/ richmon4/richmondstats.htm
Pozycje powyższej listy, oprócz własnych poszukiwań, zaczerpnięte z opracowania Ireny Kasperowicz-Ruki „Internetowe wspomaganie statystyki wykładanej na studiach dziennych i zaocznych SGH”
4
Rozdział 1
MODEL STATYSTYCZNY
5
Populacja składa się z obiektów
Obiekt posiada jedną lub kilka cech
Cecha obiektu ≡ zmienna losowa
Przedmiotem statystyki matematycznej jest wnioskowanie statystyczne
na podstawie próby o populacji generalnej
6
UWAGA! CIĘŻKA ARTYLERIA
PRZESTRZEŃ PROBABILISTYCZNA
(1.1)
(Ω, F, Pθ ) ,
gdzie:
Ω - przestrzeń zdarzeń elementarnych,
F - σ-ciało podzbiorów zbioru Ω,
Pθ - miara probabilistyczna.
PRZESTRZEŃ STATYSTYCZNA
(1.2)
(X , A, P) ,
gdzie:
X - zbiór wartości obserwowalnej zmiennej losowej (cechy) X,
A - σ-ciało podzbiorów zbioru X ,
P = {Pθ } - rodzina miar probabilistycznych indeksowanych parametrem θ ∈ Θ,
Θ - przestrzeń parametrów.
7
Przykład 1.
Model probabilistyczny
Model statystyczny
Rzucamy n-razy idealną kostką do gry. Interesuje nas
liczba wyrzuconych szóstek. Wtedy zmienna losowa X
określa liczbę wyrzuconych szóstek. Łatwo zauważyć,
że to doświadczenie daje się opisać rozkładem binomialnym B(n, 1/6). Zatem
Rzucamy n-razy jakąś kostką do gry. Interesuje nas
liczba wyrzuconych szóstek. Wtedy zmienna losowa
X określa liczbę wyrzuconych szóstek. Łatwo zauważyć, że to doświadczenie daje się opisać rozkładem
binomialnym B(n, θ). Zauważmy, że tym razem nie
znamy rzeczywistej wartości prawdopodobieństwa pojawienia się szóstki w jednym rzucie. Zatem
Ω = {0, 1, . . . , n} ,
1
,
θ =
6
1
Pθ = B(n, )
6
X = {0, 1, . . . , n} ,
θ = ? (nieznane),
Pθ = B(n, θ)
i ostatecznie
i ostatecznie
1
{0, 1, . . . , n} , F, B(n, ) .
6
({0, 1, . . . , n} , A, B(n, θ)) .
8
Definicja 1.1. Mówimy, że przestrzeń statystyczna (X , A, P ) jest produktem przestrzeni (Xi , Ai , Pi ),
i = 1, 2, . . . , n, jeżeli X = X1 × X2 × . . . × Xn , A = A1 × A2 × . . . × An (σ-ciało produktowe) oraz P =
{P1 × P2 × . . . × Pn : Pi ∈ Pi , i = 1, 2, . . . , n}.
Jeżeli zmienne losowe Xi , i = 1, 2, . . . , n, są niezależnymi kopiami tej samej zmiennej losowej X indukującej
prze′
strzeń (X , A, P), to przestrzeń statystyczną indukowaną przez wektor losowy X = (X1 , X2 , . . . , Xn ) oznaczamy
(X , A, P)n .
′
Definicja 1.2. Wektor losowy X = (X1 , X2 , . . . , Xn ) , gdzie Xi dla i = 1, 2, . . . , n są niezależnymi zmiennymi
losowymi o jednakowym rozkładzie prawdopodobieństwa Pθ , θ ∈ Θ, nazywamy n-elementową próbą z rozkładu
Pθ .
Uwaga! Będziemy również używali zapisu: X1 , X2 , . . . , Xn jest próbą z rozkładu Pθ .
UFF! WYCOFAĆ CIĘŻKĄ ARTYLERIĘ
9
Ciąg wartości x1 , x2 , . . . , xn próby losowej X1 , X2 , . . . , Xn będziemy nazywać realizacją próby losowej.
Definicja 1.3. Zmienną losową T (X) = (T1 (X), T2 (X), . . . , Tk (X))′ , gdzie X = (X1 , X2 , . . . , Xn ) jest próbą
losową, nazywać będziemy statystyką.
′
Uwaga! Statystyka nie może zależeć od parametru θ indeksującego rodzinę rozkładów P = (Pθ : θ ∈ Θ).
Przykład 2.
′
Niech X1 , X2 , . . . , Xn będzie próbą z rozkładu Pθ , gdzie θ = (µ, σ) ∈ Θ.
Wtedy
statystykami są
statystykami nie są
Xi − µ
s
Xi − µ
σ
′
X = (X1 , X2 , . . . , Xn )
n
1X
X =
Xi
n i=1
s2 =
n X
2
1
Xi − X
n − 1 i=1
Xi − X
s
i = 1, 2, . . . , n
i = 1, 2, . . . , n
i = 1, 2, . . . , n
10
1.1
ESTYMATORY
Model statystyczny
(X , A, {Pθ , θ ∈ Θ})
Pytanie: Ile wynosi θ?
Definicja 1.4. Niech X = (X1 , X2 , . . . , Xn ) będzie próbą losową z rozkładu Pθ , θ ∈ Θ. Estymatorem będziemy
nazywać statystykę T (X), której rozkład zależy od parametru θ.
′
estymacja ≡ ocena, oszacowanie
11
Estymacja punktowa
Statystykę T (X) służącą do oszacowania wartości nieznanego parametru populacji nazywamy estymatorem punktowym. Zatem estymator punktowy jest odwzorowaniem
T : X → Θ.
Dla konkretnych wartości próby X1 = x1 , X2 = x2 , . . . , Xn = xn , liczbę T (x1 , x2 , . . . , xn ) nazywamy wartością
estymatora.
Przykład 3.
Niech X1 , X2 , . . . , Xn będzie próbą z rozkładu normalnego N (µ, σ 2 ), µ ∈ R, σ > 0. Wartości parametrów µ i σ
są nieznane.
Estymatorem parametru µ jest statystyka
n
1X
X=
Xi .
(1.3)
n i=1
Estymatorem σ 2 jest statystyka
s2 =
n 2
1 X
Xi − X ,
n − 1 i=1
(1.4)
a stąd estymatorem parametru σ jest statystyka
s=
√
v
u
u
s2 = t
n 2
1 X
Xi − X .
n − 1 i=1
12
(1.5)
Własności estymatorów
Załóżmy, że θ jest nieznanym parametrem rozkładu Pθ , θ ∈ Θ, który chcemy estymować na podstawie próby.
Jakiej statystyki użyć do oceny θ?
Czy istnieje najlepszy estymator?
Jedną z ocen dokładności estymatora T jest błąd średniokwadratowy, ozn. BSKθ (T )
h
BSKθ (T ) = Eθ (T − θ)2
h
i
i
= Eθ (T − Eθ (T ))2 + [Eθ (T ) − θ]2
= varθ (T ) + b2θ (T ).
(1.6)
Definicja 1.5. Estymator T1 jest lepszy od estymatora T2 , jeżeli
BSKθ (T1 ) ≤ BSKθ (T2 )
dla każdego θ ∈ Θ
i chociażby dla jednej wartości θ spełniona jest nierówność ostra
BSKθ (T1 ) < BSKθ (T2 ).
Definicja 1.6. Estymator T nazywa się dopuszczalny, jeżeli nie istnieje estymator lepszy niż T . W przeciwnym
razie estymator T nazywa się niedopuszczalny.
13
BSKθ (T )
BSKθ (T1 )
θ1
θ2
BSKθ (T2 )
Θ
Z powyższego rysunku wynika, że estymator T1 jest lepszy dla parametrów θ z przedziału (θ1 , θ2 ), natomiast
estymator T2 jest lepszy dla θ < θ1 lub θ > θ2 .
14
Definicja 1.7. Estymator T (X) parametru θ jest nieobciążony, jeżeli
Eθ [T (X)] = θ,
dla każdego θ ∈ Θ.
(1.7)
Definicja 1.8. Obciążeniem estymatora T parametru θ nazywać będziemy różnicę
Eθ [T (X)] − θ.
(1.8)
Przypomnijmy, że statystyka T zależy od n elementowej próby. Często pożądaną własnością estymatora T jest,
by wraz ze wzrostem liczebności próby, jego wartość dążyła coraz bliżej do prawdziwej wartości parametru θ,
tzn
„gdy n → ∞, to T dąży do θ”.
Definicja 1.9. Estymator T parametru θ nazywamy zgodnym, jeżeli jest on zbieżny według prawdopodobieństwa
do parametru θ, tzn. gdy
dla każdego ε > 0 lim P (|T − θ| > ε) = 0.
(1.9)
n→∞
Definicja 1.10. Estymator T parametru θ nazywamy asymptotycznie nieobciążonym estymatorem parametru
θ, jeżeli
lim E(T ) = θ.
(1.10)
n→∞
15
Zauważmy. Jeżeli T jest estymatorem nieobciążonym parametru θ, to jego błąd BSKθ (T ) zależy tylko od
wariancji.
Definicja 1.11. Nieobciążony estymator T parametru θ nazywamy estymatorem nieobciążonym o minimalnej
wariancji (NMW), jeżeli wśród wszystkich estymatorów nieobciążonych parametru θ nie istnieje estymator,
którego wariancja byłaby mniejsza dla dowolnej wartości θ ∈ Θ.
Definicja 1.12. Błędem standardowym estymatora T parametru θ nazywamy dowolny estymator jego odchylenia
standardowego i oznaczamy SET .
Definicja 1.13. Niech T będzie nieobciążonym estymatorem parametru θ. Wówczas studentyzowanym estymatorem θ nazywamy wielkość
T −θ
.
(1.11)
SET
16
17
1.2
WYBRANE ROZKŁADY
Rozkład binomialny
Definicja 1.14. Zmienna losowa ma rozkład binomialny z parametrami n ∈ N i p ∈ (0, 1) (b(n, p)), jeżeli jej
gęstość jest postaci
!
n x
p (1 − p)n−x , x = 1, 2, . . . , n.
(1.12)
f (x) =
x
Jeżeli X ∼ b(n, p), to
E(X) = np,
var(X) = np(1 − p).
(1.13)
Własności.
• Jeżeli X ∼ b(n, p) i Y ∼ b(k, p) oraz zmienne te są niezależne, to
X + Y ∼ b(n + k, p).
18
Gęstości rozkładu binomialnego b(n, p)
b(4, 0.5)
0.3
b(12, 0.5)
0.3
0.2
0.2
0.1
0.1
0
0
0
1
0.15
2
3
4
0 1 2 3 4 5 6 7 8 9 10 11 12 13
0.15
b(50, 0.5)
0.10
0.10
0.05
0.05
0
b(50, 0.8)
0
0 5 10 15 20 25 30 35 40 45 50
0 5 10 15 20 25 30 35 40 45 50
19
Rozkład normalny
Definicja 1.15. Zmienna losowa ma rozkład normalny z parametrami µ ∈ R i σ > 0 (N (µ, σ 2 )), jeżeli jej
gęstość ma postać
!
1
(x − µ)2
.
(1.14)
f (x) = √
exp −
2σ 2
2πσ
Jeżeli X ∼ N (µ, σ 2 ), to
var(X) = σ 2 .
E(X) = µ,
(1.15)
Własności.
• Jeżeli X ∼ N (µ, σ 2 ) oraz a, b ∈ R, to a X + b ∼ N (aµ + b, a2 σ 2 ).
• Jeżeli X1 , X2 , . . . , Xn jest ciągiem niezależnych zmiennych losowych o rozkładach N (µi , σi2 ), dla i =
1, 2, . . . , n, to
!
n
X
i=1
Xi ∼ N
20
n
X
i=1
µi ,
n
X
σi2 .
i=1
Gęstości rozkładu normalnego N (µ, σ 2 )
Abraham de Moivre
1667 - 1754
(1733)
0.4
N (0, 1)
Pierre-Simon Laplace
1749 - 1827
(1778)
N (1, 1)
0.3
0.2
www-history.mcs.st-andrews.ac.uk
N (0, 2)
−5
−3
−4
Carl Friedrich Gauss
1777 - 1855
(1809)
0.1
−2
−1
0
1
2
21
3
4
5
Rozkład chi-kwadrat
Definicja 1.16. Rozkładem chi-kwadrat o n stopniach swobody (χ2n ) nazywamy rozkład prawdopodobieństwa
sumy
Y = X12 + X22 + . . . + Xn2 ,
(1.16)
gdzie X1 , X2 , . . . , Xn są niezależnymi zmiennymi losowymi o rozkładzie N (0, 1) każda.
Funkcja gęstości zmiennej losowej Y ma postać
f (x) =
Jeżeli Y ∼ χ2n , to
1
n
22 Γ
x
n
2
n
−1
2
E(Y ) = n,
n
exp −
I(0,∞) (x).
2
var(Y ) = 2n.
(1.17)
(1.18)
Własności.
• Jeżeli Y1 , Y2 , . . . , Yk jest ciągiem niezależnych zmiennych losowych o rozkładach χ2ni , i = 1, 2, . . . , k, to
k
X
i=1
Yi ∼ χ2n ,
22
n=
k
X
ni .
i=1
Gęstości rozkładu chi-kwadrat χ2n
0.5
n=1
0.4
0.3
n=2
0.2
Karl Pearson
1857 – 1936
(1900)
n=3
n=6
0.1
n = 14
0
0
1
2
3
4
5
6
7
8
9
10 11 12 13 14 15 16 17 18 19
23
Rozkład t Studenta
Definicja 1.17. Rozkładem t Studenta z n stopniami swobody (tn ) nazywamy rozkład prawdopodobieństwa ilorazu
X
Z=q
,
(1.19)
1
Y
n
gdzie X i Y są niezależnymi zmiennymi losowymi oraz X ∼ N (0, 1), Y ∼ χ2n .
Funkcja gęstości zmiennej losowej Z ma postać
n+1
2
Jeżeli Z ∼ tn , to
1 Γ 2
f (x) = √
nπ Γ n
x2
1+
n
!− n+1
2
.
n
(dla n > 2).
n−2
Uwaga. Dla n = 1 rozkład t Studenta jest rozkładem Cauchy’ego z parametrami 0 i 1.
E(Z) = 0 (dla n > 1),
var(Z) =
(1.20)
(1.21)
Własności.
• Jeżeli Z ∼ tn , to Z 2 ∼ F1,n .
24
Gęstości rozkładu t Studenta tn
0.4
n = 14
n=2
0.3
0.2
William Sealy Gosset
1876 – 1937
(1908)
−7
−6
n=1
−5
0.1
−4
−3
−2
−1
0
1
2
3
25
4
5
6
7
Rozkład F Snedecora
Definicja 1.18. Rozkładem F Snedecora z n i k stopniami swobody (Fn,k ) nazywamy rozkład prawdopodobieństwa ilorazu
1
X
Z = n1 ,
(1.22)
Y
k
gdzie X i Y są niezależnymi zmiennymi losowymi oraz X ∼ χ2n , Y ∼ χ2k .
Funkcja gęstości zmiennej losowej Z ma postać
f (x) =
E(Z) =
k
k−2
Γ
Γ
n+k
2
n
2
Γ
(dla k > 2),
k
2
k
n
!k
n
x 2 −1
2
x+
var(Z) =
k
n
(1.23)
n+k I(0,∞) (x).
2
2k 2 (n + k − 2)
n(k − 2)2 (k − 4)
(dla k > 4).
(1.24)
Własności.
• Jeżeli Z ∼ Fn,k , to 1/Z ∼ Fk,n .
26
Gęstości rozkładu F -Snedecora Fn,k
n = 1, k = 5
0.8
0.7
n = 10, k = 5
0.6
n = 9, k = 4
0.5
Sir Ronald Aylmer Fisher
1890 - 1962
0.4
George W Snedecor
1881 - 1974
www.umass.edu/wsp/statistics/tales/snedecor.html
0.3
0.2
0.1
0
1
2
3
4
5
27
1.3
6
7
ESTYMATORY C.D.
Twierdzenia graniczne i rozkłady wybranych statystyk i funkcji statystyk
′
Definicja 1.19. Dystrybuantą empiryczną z próby X = (X1 , X2 , . . . , Xn ) nazywamy funkcję Fn : R × Rn →
[0, 1] określoną wzorem
n
1X
Fn (t; X) =
I(−∞,t] (Xi ), t ∈ R, X ∈ Rn .
(1.25)
n i=1
Własności.
′
Niech X = (X1 , X2 , . . . , Xn ) będzie próbą z rozkładu Pθ z dystrybuantą F , wtedy dla każdego t ∈ R zachodzi
P
(1.26)
EFn (t) = F (t),
lim Fn (t) = F (t)
n→∞
√
(1.27)
= 1,
Fn (t) − F (t)
nq
→ N (0, 1), gdy n → ∞.
F (t)(1 − F (t))
(1.28)
Twierdzenie 1.1. (Gliwienki-Canteliego). Jeśli X1 , X2 , . . . , Xn są niezależnymi zmiennymi losowymi o jednakowych dystrybuantach F , natomiast Fn jest dystrybuantą empiryczną, to
P
lim
sup
n→∞ −∞<t<∞
!
|Fn (t) − F (t)| = 0 = 1.
28
′
Twierdzenie 1.2. (Prawo Wielkich Liczb Bernoulliego). Jeżeli X = (X1 , X2 , . . . , Xn )
jest próbą z rozkładu o średniej µ i skończonej wariancji σ 2 , to dla dowolnie małej dodatniej liczby ε
(1.29)
P X − µ ≤ ε → 1, gdy n → ∞.
Jacob Bernoulli
1654 - 1705
(1689)
′
Twierdzenie 1.3. (Centralne Twierdzenie Graniczne). Jeżeli X = (X1 , X2 , . . . , Xn ) jest próbą z rozkładu
o średniej µ i skończonej wariancji σ 2 , to
X −µ
√σ
n
(1.30)
→ N (0, 1), gdy n → ∞.
Równoważnie. Rozkład X jest w przybliżeniu równy rozkładowi N (µ, σ 2 /n).
29
′
Twierdzenie 1.4. (Fishera). Jeżeli X = (X1 , X2 , . . . , Xn ) jest próbą z rozkładu normalnego N (µ, σ 2 ), to statystyki
n
n
1X
1 X
X=
Xi , i s2 =
(Xi − X)2
n i=1
n − 1 i=1
są stochastycznie niezależne. Ponadto
1
X ∼ N µ, σ 2
n
oraz
(n − 1)s2
∼ χ2n−1 .
σ2
(1.31)
′
Stwierdzenie 1.1. Jeżeli X = (X1 , X2 , . . . , Xn ) jest próbą z rozkładu normalnego N (µ, σ 2 ), to zmienna losowa
X − µ√
n ∼ tn−1 .
s
′
(1.32)
′
Stwierdzenie 1.2. Jeżeli X = (X1 , X2 , . . . , Xn ) i Y = (Y1 , Y2 , . . . , Yk ) są niezależnymi próbami z rozkładów
2
N (µX , σX
) oraz N (µY , σY2 ), to
s2X
2
σX
s2Y
2
σY
∼ Fn−1,k−1 .
30
(1.33)
′
′
Stwierdzenie 1.3. Jeżeli X = (X1 , X2 , . . . , Xn ) i Y = (Y1 , Y2 , . . . , Yk ) są niezależnymi próbami z rozkładów
N (µX , σ 2 ) oraz N (µY , σ 2 ), to
X −Y
σ
s
nk
∼ N (0, 1),
n+k
(n − 1)s2X + (k − 1)s2Y
σ2
q
X −Y
(n − 1)s2X + (k − 1)s2Y
s
(1.34)
∼ χ2n+k−2 ,
(1.35)
nk(n + k − 2)
∼ tn+k−2 .
n+k
(1.36)
31
Rozdział 2
Wybrane metody otrzymywania estymatorów
32
Metoda momentów ([5, str. 126])
Definicja 2.1. Momentem zwykłym rzędu k zmiennej losowej X nazywamy EX k .
Definicja 2.2. Momentem centralnym rzędu k zmiennej losowej X nazywamy E (X − EX)k .
′
Definicja 2.3. Niech X = (X1 , X2 , . . . , Xn ) będzie próbą z rozkładu o gęstości Pθ . Momentem z próby zwykłym
rzędu k nazywamy statystykę
n
1X
Xk.
Xk =
n i=1 i
Uwaga. Moment z próby zwykły rzędu k jest nieobciążonym estymatorem momentu zwykłego rzędu k.
′
Definicja 2.4. Niech X = (X1 , X2 , . . . , Xn ) będzie próbą z rozkładu o gęstości Pθ . Momentem z próby centralnym rzędu k nazywamy statystykę
n k
1X
Xi − X .
S0k =
n i=1
Uwaga. Moment z próby centralny rzędu k ≥ 2 jest obciążonym estymatorem momentu centralnego rzędu k.
33
′
Niech X = (X1 , X2 , . . . , Xn ) będzie próbą z rozkładu o gęstości Pθ , gdzie θ = (θ1 , θ2 , . . . , θk ) .
′
Momenty rozkładu (µi ) są zazwyczaj funkcjami parametrów θ1 , θ2 , . . . , θk (µi (θ1 , θ2 , . . . , θk )).
Estymatory metodą momentów uzyskuje się przez przyrównanie pierwszych k momentów z próby do odpowiednich k momentów rozkładu i rozwiązaniu powstałego układu równań .


X



 X2

...



 Xk
= µ1 (θ1 , θ2 , . . . , θk )
= µ2 (θ1 , θ2 , . . . , θk )
...
= µk (θ1 , θ2 , . . . , θk ).
Przykład 4.
Niech X będzie zmienną losową ze skończoną wartością oczekiwaną µ i wariancją σ 2 .
Otrzymujemy układ równań
(
X = µ
X 2 = µ2 + σ 2 ,
którego rozwiązaniem jest
µe = X,
σf2 = X 2 − X =
34
n 2
1X
Xi − X .
n i=1
Uwaga. Estymatory wyznaczone metodą momentów często nie są wyznaczone jednoznacznie.
Przykład 5.
Niech X będzie próbą z rozkładu Poissona z parametrem λ > 0. Ponieważ E(X) = var(X) = λ, to metoda
momentów daje dwa różne estymatory parametru λ
e = X,
λ
1
e = X 2 − X.
λ
2
35
Metoda największej wiarogodności
′
Definicja 2.5. Niech zmienna losowa X ma gęstość Pθ (x), θ ∈ Θ ⊆ Rk i niech X = (X1 , X2 , . . . , Xn ) będzie
próbą z rozkładu prawdopodobieństwa tej zmiennej. Łączna gęstość próby X rozpatrywana jako funkcja parametru
θ nazywa się funkcją wiarogności i jest oznaczana przez L(θ);
L(θ; x1 , x2 , . . . , xn ) =
n
Y
Pθ (xi ).
i=1
Definicja 2.6. Estymatorem największej wiarogności parametru θ (ENW(θ)) nazywamy statystykę, która maksymalizuje funkcję wiarogności L(θ),
θb = arg max L(θ).
θ
Uwaga. Często, dla uproszczenia rachunków, funkcję wiarogności L(θ) zastępujemy przez ln L(θ).
36
Przykład 6.
Niech X1 , X2 , . . . , Xn będzie próbą z rozkładu normalnego N (µ, σ 2 ), µ ∈ R, σ > 0. Wartości parametrów µ i σ są nieznane.
Funkcja wiarogności
!
!
n
n
2
Y
(xi − µ)
1 X
1
1
2
2
√
exp −
L(µ, σ ; x1 , x2 . . . , xn ) =
(xi − µ) .
= √
n exp −
2σ 2
2σ i=1
2πσ
2πσ
i=1
Jej logarytm
ln L(µ, σ 2 ; x1 , x2 . . . , xn ) = −
n
n
n
1 X
2
(xi − µ) − ln σ 2 − ln 2π.
2σ 2 i=1
2
2
Wyznaczamy pochodne względem µ i σ 2 i przyrównujemy do 0
∂ ln L
∂µ
=
∂ ln L
∂σ
=
n
1 X
(xi − µ) = 0
σ 2 i=1
n
n
1 X
2
(xi − µ) − 2 = 0.
4
σ i=1
2σ
Rozwiązaniem powyższego układu równań jest
n
µ
b=
1X
xi = x,
n i=1
n
X
2
c2 = 1
σ
(xi − x) .
n i=1
c2 osiąga istotnie maksimum.
Należy jeszcze sprawdzić, że funkcja ln L(µ, σ 2 ) w punkcie µ
biσ
c
2
Ostatecznie µ
b i σ są estymatorami największej wiarogodności parametrów µ i σ 2 w rozkładzie normalnym N (µ, σ 2 ).
37
Uwaga. Estymatory największej wiarogności nie zawsze istnieją.
Własności.
• Jeżeli θb jest estymatorem największej wiarogności parametru θ i funkcja g : Θ → R jest różnowartościowa,
b jest ENW(g(θ)),
to g(θ)
• ENW(θ) jest zgodny,
• ENW(θ) jest asymptotycznie nieobciążony.
38
Rozdział 3
Estymacja przedziałowa
39
′
Niech X = (X1 , X2 , . . . , Xn ) będzie próbą z rozkładu o gęstości Pθ należącego do rodziny rozkładów P =
{Pθ : θ ∈ Θ}.
Definicja 3.1. Jeżeli [T1 (X), T2 (X)], gdzie Pθ (T1 < T2 ) = 1, jest przedziałem losowym takim, że
Pθ (T1 ≤ θ ≤ T2 ) = 1 − α, dla każdego θ ∈ Θ
i zadanego α ∈ (0, 1), to [T1 , T2 ] nazywa się 100(1 − α)% przedziałem ufności dla parametru θ ∈ Θ.
Wartość współczynnika 1 − α nazywa się poziomem ufności.
Po zaobserwowaniu danych x = (x1 , x2 , . . . , xn ) przedział [T1 (x), T2 (x)] jest 100(1−α)% oceną przedziałową
nieznanego parametru θ ∈ Θ.
′
40
Konstrukcja przedziałów ufności
′
Definicja 3.2. Niech X = (X1 , X2 , . . . , Xn ) będzie próbą z rozkładu Pθ , θ ∈ Θ. Funkcja Q(X, θ) nazywa się
funkcja centralną lub wiodącą dla parametru θ ∈ Θ, jeżeli jej rozkład prawdopodobieństwa nie zależy od θ.
Przykład 7.
′
Niech X = (X1 , X2 , . . . , Xn ) będzie próbą z rozkładu normalnego N (µ, σ02 ), gdzie µ ∈ R jest nieznanym parametrem, a σ02 znaną liczbą dodatnią.
Niech
X − µ√
n.
Q(X, µ) =
σ0
Funkcja Q(X, µ) ma rozkład normalny N (0, 1) niezależny od µ. Jest to funkcja centralna dla parametru µ.
Załóżmy, że dysponujemy funkcją centralną Q(X, θ) parametru θ. Wybieramy liczby a i b tak, by spełniały
nierówność
Pθ [a ≤ Q(X, θ) ≤ b] = 1 − α,
dla każdego θ ∈ Θ i zadanego α ∈ (0, 1).
Gdy Q(X, θ) jest funkcją ciągłą i ściśle monotoniczną parametru θ, to nierówność a ≤ Q ≤ b jest równoważna
nierówności
L(X, a, b) ≤ θ ≤ U (X, a, b).
Stąd L(X, a, b) oraz U (X, a, b) są odpowiednio dolnym i górnym końcem 100(1 − α)% przedziału ufnosci dla
parametru θ ∈ Θ.
41
Przedział [L(x, a, b), U (x, a, b)] jest 100(1 − α)% oceną przedziałową parametru θ ∈ Θ.
Przykład 8.
′
Niech X = (X1 , X2 , . . . , Xn ) będzie próbą z rozkładu normalnego N (µ, σ02 ), gdzie µ jest nieznanym parametrem
a σ02 znaną liczbą dodatnią. Chcemy znaleźć 100(1 − α)% przedział ufności dla µ. Funkcja centralna
Q(X, µ) =
X − µ√
n
σ0
ma rozkład normalny N (0, 1). Nierówność a ≤ Q ≤ b jest równoważna nierówności
σ0
σ0
X − b√ ≤ µ ≤ X − a√ .
n
n
Obierzmy a = zα/2 , b = z1−α/2 , gdzie zα/2 i z1−α/2 są kwantylami rzędu α/2 i 1 − α/1 zmiennej losowej o
rozkładzie N (0, 1). Zauważmy, że zα/2 = −z1−α/2 . Wówczas
σ0
σ0
P X − z1−α/2 √ ≤ µ ≤ X + z1−α/2 √
n
n
Zatem przedział
"
!
= 1 − α.
σ0
σ0
[L, U ] = X − z1−α/2 √ , X + z1−α/2 √
n
n
#
jest 100(1 − α)% przedziałem ufności dla µ.
42
Przykład 9.
′
Niech X = (X1 , X2 , . . . , Xn ) będzie próbą z rozkładu normalnego N (µ, σ 2 ), gdzie µ i σ 2 są nieznanymi parametrami. Chcemy znaleźć 100(1 − α)% przedział ufności dla µ. Funkcja centralna
Q(X, µ) =
X − µ√
n
s
ma rozkład t-Studenta z n − 1 stopniami swobody. Po prostych przekształceniach otrzymujemy przedział
"
s
s
[L, U ] = X − √ tn−1,1− α2 , X + √ tn−1,1− α2
n
n
#
Przykład 10.
′
Niech X = (X1 , X2 , . . . , Xn ) będzie próbą z rozkładu normalnego N (µ, σ 2 ), gdzie µ i σ 2 są nieznanymi parametrami. Chcemy znaleźć 100(1 − α)% przedział ufności dla σ 2 . Funkcja centralna
Q(X, σ 2 ) = (n − 1)
s2
σ2
ma rozkład χn−1 .
Po prostych przekształceniach otrzymujemy przedział
"
[L, U ] = (n − 1)
s2
χn−1,1− α2
, (n − 1)
43
s2
χn−1, α2
#
Przykład 11.
′
′
Niech X = (X1 , X2 , . . . , Xn ) i Y = (Y1 , Y2 , . . . , Yk ) będą niezależnymi próbami z rozkładów N (µX , σ02 ) oraz
N (µY , σ02 ), gdzie µX i µY są nieznanymi parametrami a σ02 znaną liczbą dodatnią. Chcemy znaleźć 100(1 − α)%
przedział ufności różnicy średnich µX − µY .
Funkcja centralna
s
X − Y − (µX − µY )
nk
Q(X, µX − µY ) =
σ0
n+k
mar rozkład N (0, 1).

[L, U ] = X − Y − z1− α2
s
n+k
σ0 , X − Y + z1− α2
nk
s

n+k 
σ0 .
nk
Przykład 12.
′
′
Niech X = (X1 , X2 , . . . , Xn ) i Y = (Y1 , Y2 , . . . , Yk ) będą niezależnymi próbami z rozkładów N (µX , σ02 ) oraz
N (µY , σ02 ), gdzie µX , µY oraz σ02 > 0 są nieznanymi parametrami. Chcemy znaleźć 100(1−α)% przedział ufności
różnicy średnich µX − µY .
Funkcja centralna
s
X − Y − (µX − µY )
nk(n + k − 2)
Q(X, µX − µY ) = q
n+k
(n − 1)s2 + (k − 1)s2
X
Y
mar rozkład tn+k−2 .
44
"
X − Y − tn+k−2,1− α2
[L, U ] =
X −Y +t
n+k−2,1− α
2
s
s
q
n+k
(n − 1)s2X + (k − 1)s2Y ,
nk(n + k − 2)
#
q
n+k
(n − 1)s2X + (k − 1)s2Y .
nk(n + k − 2)
Przykład 13.
′
′
2
Niech X = (X1 , X2 , . . . , Xn ) i Y = (Y1 , Y2 , . . . , Yk ) będą niezależnymi próbami z rozkładów N (µX , σX
) oraz
2
2
2
N (µY , σY ), gdzie µX , µY , σX > 0 oraz σY > 0 są nieznanymi parametrami. Chcemy znaleźć 100(1 − α)%
2
przedział ufności ilorazu wariancji σX
/σY2 .
Funkcja centralna
s2X
2
σX
s2Y
2
σY
∼ Fn−1,k−1
ma rozkład Fn−1,k−1 .
2
Jako ćwiczenie, wyznaczyć przedział ufności dla σX
/σY2 .
45
Rozdział 4
TESTOWANIE HIPOTEZ
46
Definicja 4.1. Każde założenie dotyczące rodziny rozkładów prawdopodobieństwa (związanej z pewnym eksperymentem) nazywamy hipotezą statystyczną.
Rozkłady rodziny Pθ można więc podzielić na takie, dla których hipoteza jest prawdziwa i takie, dla których
jest on fałszywa.
PRZESTRZEŃ PRÓBY X
PRZESTRZEŃ PARAMETRÓW Θ
Θ1
Θ0
X1
Θ0 ∪ Θ1 = Θ
H0 : θ ∈ Θ0 ,
X0
X 0 ∪ X1 = X
H1 : θ ∈ Θ1
47
Jeżeli zbiór Θ0 składa się dokładnie z jednego punktu, to hipotezę H0 nazywamy hipotezą prostą. W przeciwnym razie jest hipotezą złożoną.
Testem hipotezy statystycznej nazywamy regułę, która precyzuje:
1. Dla jakich wartości próby X podejmowana jest decyzja o przyjęciu hipotezy H0 jako prawdziwej.
2. Dla jakich wartości próby X hipoteza H0 jest odrzucana i przyjmowana jest hipoteza H1 jako prawdziawa.
Definicja 4.2. Podzbiór X1 przestrzeni próby X , dla którego hipoteza H0 jest odrzucana nazywa się obszarem
odrzucenia lub obszarem krytycznym.
Dopełnienie obszaru krytycznego X0 = X \ X1 nazywa się obszarem przyjęcia.
Definicja 4.3. Testem hipotezy H0 przeciwko hipotezie H1 nazywamy funkcję ϕ : X → 0, 1 zdefiniowaną
następująco
(
1, jeżeli x ∈ X1 ,
ϕ(x) =
0, jeżeli x ∈ X0 .
48
Dwa rodzaje błędów w testowaniu hipotez
decyzja
rzeczywistość
Przyjąć H0
Odrzucić H0
H0
Decyzja poprawna
Błąd I Rodzaju
H1
Błąd II Rodzaju
Decyzja poprawna
Jeżeli θ ∈ Θ0 , ale test odrzuca H0 , to popełniamy Błąd I Rodzaju.
Jeżeli natomiast θ ∈ Θ1 , a test decyduje o przyjęciu H1 , to popełniamy Błąd II Rodzaju.
Pθ (X ∈ X1 ) =
(
prawdopodobieństwo Błędu I Rodzaju,
jeżeli θ ∈ Θ0 ,
jeden minus prawdopodobieństwo Błędu II Rodzaju, jeżeli θ ∈ Θ1 .
49
Definicja 4.4. Funkcję β : Θ → [0, 1] o wartościach
β(θ) = Pθ (X ∈ X1 )
nazywamy funkcja mocy testu z obszarem odrzucenia X.
Definicja 4.5. Dla 0 ≤ α ≤ 1 test z funkcją mocy β(θ) jest testem rozmiaru α, jeżeli
sup β(θ) = α.
θ∈Θ0
Definicja 4.6. Dla 0 ≤ α ≤ 1, test z funkcją mocy β(θ) jest testem na poziomie istotności α, jeżeli
sup β(θ) ≤ α
θ∈Θ
50
Jerzy Spława-Neyman
1894-1981
Egon Sharpe Pearson
1895-1980
Lemat Neymana-Pearsona [5, strona 174].
Hipotezie zerowej przypisujemy inną wagę niż hipotezie alternatywnej
Z reguły, za hipotezę zerową przyjmujemy tę, której prawdziwość poddajemy w wątpliwość i którą chcemy
odrzucić, jeśli tylko znajdziemy do tego podstawę.
51
Nieodrzucenie hipotezy zerowej nie dowodzi jej prawdziwości, a jedynie wynika z braku podstaw do jej
odrzucenia.
Przykład 14.
′
Niech X = (X1 , X2 , . . . , Xn ) będzie próbą z rozkładu normalnego N (µ, σ02 ), gdzie µ ∈ R jest nieznanym parametrem, a σ02 znaną liczbą dodatnią.
Stawiamy hipotezę, że „prawdziwa” wartość nieznanego parametru µ jest równa µ0
H0 : µ = µ0
przy hipotezie alternatywnej
a)
H1 : µ 6= µ0
b)
H1 : µ < µ0
c)
H1 : µ > µ0
Statystyka testowa
X − µ0 √
n,
σ0
która przy prawdziwości hipotezy zerowej (H0 ) ma rozkład N (0, 1).
W przypadku zachodzenia jednej z hipotez alternatywnych (a), b) lub c)) statystyka testowa us ma rozkład
us =
N
µ − µ0 √
n, 1 .
σ0
Zapiszmy statystykę testową w następujący sposób
us =
µ − µ0 √
X − µ0 √
X − µ√
n=
n+
n.
σ0
σ0
σ0
52
Zatem w przypadku zachodzenia hipotezy alternatywnej (H1 ) statystyka testowa us ma rozkład normalny przesunięty względem rozkładu standardowego o
µ − µ0 √
n.
σ0
Stąd można określić „nietypowe” wartości statystyki testowej us pod warunkiem zachodzenia H0 przy alternatywie H1 :
b)
c)
a)
„duże”
„duże” wartości ujemne
„duże” wartości dodatnie
wartości ujemne lub dodatnie
Naturalnym postępowaniem jest by przy „nietypowych” wartościach us odrzucać hipotezę H0 . Oczywiście,
możliwym jest, że „nietypowe” wartości wystąpią nawet przy zachodzeniu hipotezy H0 . Jednak chcielibyśmy
aby takie zdarzenia zachodziły z małym prawdopodobieństem. Ustalmy to prawdopodobieństwo na poziomie α.
a)
b)
α
2
α
2
−u1−α/2
0
u1−α/2
PH0 |us | ≥ u1−α/2 = α
c)
α
α
−u1−α
u1−α
0
0
PH0 (us ≤ −u1−α ) = α
PH0 (us ≥ u1−α ) = α
gdzie u1−α/2 i u1−α są kwantylami rozkładu normalnego standaryzowanego odpowiednio rzędów 1 − α/2, 1 − α.
53
Ostatecznie podejmujemy decyzję o odrzuceniu hipotezy H0 przy hipotezie alternatywnej H1 , gdy
a)
|us | ≥ u1−α/2
b)
us ≤ u1−α
c)
us ≥ u1−α
Poziomem istotności nazywać będziemy prawdopodobieństwo popełnienia Błędu I Rodzaju.
Definicja 4.7. Najmniejszy poziom istotności, przy którym zaobserwowana wartość statystyki testowej prowadzi
do odrzucenia hipotezy zerowej, nazywamy p-wartością przeprowadzonego testu.
Im mniejsza jest p-wartość, tym mocniejsze staje się przekonanie testującego o fałszywości hipotezy zerowej.
54
Testy dla wartości średniej w rodzinie rozkładów normalnych
′
Niech X = (X1 , X2 , . . . , Xn ) będzie próbą z rozkładu normalnego N (µ, σ 2 ), gdzie µ i σ 2 są nieznanymi parametrami.
Testujemy hipotezę
H0 : µ = µ0
przeciwko hipotezie alternatywnej
b)
H1 : µ < µ0
a)
H1 : µ 6= µ0
c)
H1 : µ > µ0
Statystyka testowa
X − µ0 √
n.
s
Przy prawdziwości hipotezy zerowej ts ma rozkład t-Studenta z n − 1 stopniami swobody.
ts =
Hipotezę H0 odrzucamy, gdy
b)
ts ≤ −tn−1,1−α
a)
|ts | ≥ tn−1,1−α/2
55
c)
ts ≥ tn−1,1−α
Testy o równości wartości średnich dla dwóch prób w rodzinie rozkładów normalnych
Niezależne próby
′
′
Niech X = (X1 , X2 , . . . , Xn ) i Y = (Y1 , Y2 , . . . , Yk ) będą niezależnymi próbami z rozkładów N (µX , σ 2 ) oraz
N (µY , σ 2 ), gdzie µX , µY oraz σ 2 > 0 są nieznanymi parametrami.
Testujemy hipotezę
H0 : µX = µY
a)
H1 : µX 6= µY
b)
H1 : µX < µY
Statystyka testowa
X −Y
ts = q
(n − 1)s2X + (k − 1)s2Y
s
c)
H1 : µX > µY
nk(n + k − 2)
.
n+k
Przy prawdziwości hipotezy zerowej ts ma rozkład t-Studenta z n + k − 2 stopniami swobody. Hipotezę H0
odrzucamy, gdy
a)
|ts | ≤ tn+k−2,1−α/2
b)
ts ≤ −tn+k−2,1−α
56
c)
ts ≥ tn+k−2,1−α
Testy dla wariancji w rodzinie rozkładów normalnych
′
Niech X = (X1 , X2 , . . . , Xn ) będzie próbą z rozkładu normalnego N (µ, σ 2 ), gdzie µ i σ 2 są nieznanymi parametrami.
Testujemy hipotezę
H0 : σ 2 = σ02
b)
H1 : σ 2 < σ02
a)
H1 : σ 2 6= σ02
Statystyka testowa
χ2s =
c)
H1 : σ 2 > σ02
(n − 1)s2
.
σ02
Przy prawdziwości hipotezy zerowej χ2s ma rozkład χ2 z n − 1 stopniami swobody.
a)
χ2s ≤ χ2n−1,α/2 lub χ2s ≥ χ2n−1,1−α/2
b)
χ2s ≤ χ2n−1,α
57
c)
χ2s ≥ χ2n−1,1−α
Porównanie dwóch populacji
′
′
2
Niech X = (X1 , X2 , . . . , Xn ) i Y = (Y1 , Y2 , . . . , Yk ) będą niezależnymi próbami z rozkładów N (µX , σX
) oraz
2
2
2
N (µY , σY ), gdzie µX , µY , σX > 0 oraz σY > 0 są nieznanymi parametrami.
Testujemy hipotezę
2
H0 : σX
= σY2
a)
2
H1 : σX
6= σY2
b)
2
H1 : σX
< σY2
Statystyka testowa
Fs =
c)
2
H1 : σX
> σY2
s2X
s2Y
Przy prawdziwości hipotezy zerowej Fs ma rozkład F-Snedecora z n − 1 i k − 1 stopniami swobody.
a)
Fs ≤ Fn−1,k−1,α/2 lub Fs ≥ Fn−1,k−1,1−α/2
b)
Fs ≤ Fn−1,k−1,α
58
c)
Fs ≥ Fn−1,k−1,1−α
Rozdział 5
Testy zgodności
[6]Testem zgodności nazywamy test do weryfikacji hipotezy (prostej albo złożonej) dotyczącej zgodności
(dopasowania) rozkładu zbioru wartości w próbie z rozkładem teoretycznym, tzn. hipotezy postaci
H0 : dystrybuantą F (x) badanej cechy X populacji jest dystrybuanta F0 (x),
H1 : dystrybuantą F (x) badanej cechy X populacji nie jest dystrybuanta F0 (x).
59
Wykresy
[7] Graficzne przedstawienie rozkładu cechy (na podstawie próby) nie są testami w ścisłym sensie, nie można
bowiem obliczyć p-wartość czy też powziąć decyzji na zadanym poziomie istotności. Wykresy dostarczają
jedynie wizualnej informacji o badanej próbie losowej. Jednak taka dobrze zinterpretowana informacja jakościowa okazuje się mieć bardzo duże znaczenie praktyczne.
HISTOGRAM
Histogram jest graficznym przedstawieniem
szeregu rozdzielczego.
36
32
28
24
20
16
12
8
4
0
0
60
1
2
3
4
5
6
7
8
9
10 11
WYKRES KWANTYLOWY
2
bbbb
b
3
b
kwantyle empiryczne
kwantyle empiryczne
3
bbbb
bb
b
bb
1
0
−1
−2
b
b
bb
bbbbbb
b
bb
bb
2
1
0
−1
−2
−3
−3 −2 −1 0 1 2 3
kwantyle teoretyczne
bb
b
bb
b
bbb
bbbbb
bb
bb
b
bb
bbbb
bb
b
b
b
−3
−3 −2 −1 0 1 2 3
kwantyle teoretyczne
Niech x1 , x2 , . . . , xn będą zaobserwowanymi elementami próby losowej. Uporządkujmy elementy próby od najmniejszego do największego: x1:n , x2:n , . . . , xn:n . Wtedy xi:n jest przybliżeniem kwantyla rzędu i−0.5
.
n
Niech F (x) będzie odwracalną dystrybuantą pewnego rozkład (teoretycznego). Wtedy
z i−0.5 = F −1
n
i − 0.5
n
i = 1, 2, . . . , n
są kwantylami teoretycznymi rozkładu o dystrybuancie F .
Nanosimy na wykres punkty o współrzędnych
xi:n , z i−0.5
n
i = 1, 2, . . . , n.
61
Test zgodności χ2-Pearsona
′
Niech X = (X1 , X2 , . . . , Xn ) będzie próbą z rozkładu o nieznanej dystrybuancie F . Niech F0 będzie zadaną
dystrybuanta. Testujemy hipotezę
H0 : F = F0 vs. H1 : F 6= F0 .
Dane grupujemy w k rozłącznych klasach o licznościach n1 , . . . , nk , gdzie n1 + . . . + nk = n. Niech pi ,
i = 1, . . . , k, oznacza teoretyczne prawdopodobieństwo, przy prawdziwej hipotezie H0 , że obserwowana zmienna
losowa przyjmie wartość z i-tej klasy.
Statystyka testowa
k
X
(ni − npi )2
.
χ2s =
npi
i=1
Przy prawdziwości hipotezy zerowej χ2s ma rozkład χ2k−1−r , gdzie r liczba estymowanych parametrów rozkładu
F0 . Estymację należy wykonać metodą największej wiarogodności. Przyjmuje się, że npi , dla każdego i powinno
być nie mniejsza niż 5.
Hipotezę odrzucamy, gdy
χ2s ≥ χ2k−1−r,1−α .
62
Test zgodności Kołmogorowa
′
Niech X = (X1 , X2 , . . . , Xn ) będzie próbą z rozkładu typu ciągłego o nieznanej dystrybuancie F . Niech F0
będzie zadaną dystrybuantą. Testujemy hipotezę
vs. H1 : F 6= F0 .
H0 : F = F0
Statystyka testowa (Kołmogorowa)
Dn =
sup
−∞<x<∞
gdzie Fn jest dystrybuantą empiryczną.
|Fn (x) − F0 (x)|,
Dn ≥ d1−α ,
gdzie d1−α jest kwantylem rzędu 1 − α rozkładu statystyki Dn .
Andriej Nikołajewicz Kołmogorow
1903 - 1987
63
5.1
Test zgodności z rozkładem normalnym Shapiro-Wilka
′
Niech X = (X1 , X2 , . . . , Xn ) będzie próbą z rozkładu o nieznanej dystrybuancie F . Testujemy hipotezę
H0 : F jest dystrybuantą rozkładu normalnego,
H1 : F nie jest dystrybuantą rozkładu normalnego.
Statystyka testowa
W =
hP
[n/2]
i=1
ai (n) X(n−i+1):n − Xi:n
Pn
i=1
Xi − X
2
i2
,
gdzie X1:n , . . . , Xn:n jest uporządkowaną próbą, ai (n) są wartościami stablicowanymi.
Hipotezę H0 odrzucamy, gdy W < w(α), gdzie w(α) jest kwantylem rzędu α rozkładu statystyki W .
64
Rozdział 6
Jedno i dwukierunkowa analiza wariancji
Celem jednokierunkowej (dwukierunkowej) analizy wariancji jest stwierdzenie istnienia wpływu jednego
(dwóch) czynnika na interesującą nas cechę.
65
ANOVA - jednokierunkowa analiza wariancji
(jednoczynnikowa analiza wariancji)
poziomy
czynnika
1
2
..
.
I
replikacje - wyniki przeprowadzonego
badania dla danego poziomu czynnika
x11 x12 . . .
x1J
x21 x22 . . .
x2J
..
..
..
.
.
.
xI1 xI2 . . .
xIJ
Model
Xij = µ + αi + εij ,
i = 1, . . . , I, j = 1, . . . , J,
(6.1)
gdzie
µ jest średnią ogólną (stała),
αi jest efektem i-tego poziomu badanego czynnika (stałe),
εij są niezależnymi zmiennymi losowymi o rozkładach N (0, σ 2 ) (błąd losowy obserwacji).
Łatwo zauważyć, że Xij ∼ N (µ + αi , σ 2 ).
Można również zapisać Xij ∼ N (µi , σ 2 ), gdzie µi = µ + αi . Wtedy µi jest średnią dla i-tego poziomu czynnika.
66
Niech danych będzie I prób
′
X1 = (X11 , X12 , . . . , X1J )
′
X2 = (X21 , X22 , . . . , X2J )
..
.
. = ..
′
XI = (XI1 , XI2 , . . . , XIJ )
pochodzących odpowiednio z rozkładów N (µ1 , σ 2 ), . . . , N (µ1 , σ 2 ), gdzie µi = µ + αi .
Zakładamy, że zmienne Xij mają reprezentację z modelu (6.1).
Testujemy hipotezę postaci
H0 : µ1 = µ2 = . . . = µI
przeciw alternatywnej hipotezie H1 orzekającej, że istnieją co najmniej dwie spośród I średnich, które są różne.
Równoważną formą jest hipoteza
H0 : α1 = α2 = . . . = αI = 0
przeciw alternatywnej hipotezie H1 orzekającej, że istnieje co najmniej jeden spośród I efektów, który jest
różny od zera.
67
Przyjmijmy następujące oznaczenia:
X i• =
X •• =
SST =
J
1X
Xij
J j=1
I X
J
1 X
Xij
IJ i=1 j=1
I X
J X
i=1 j=1
SSA = J
SSE =
I X
SSE
I(J−1)
średnia i-tego poziomu czynnika,
−
Xij − X ••
Xi• − X ••
i=1
I
J XX
i=1 j=1
Statystyka s2 =
−
2
2
Xij − X i•
średnia ogólna,
−
−
2
−
zmienność całkowita,
zmienność między poziomami czynnika,
zmienność wewnątrz grup.
jest estymatorem wariancji σ 2 . Można wykazać tożsamość SST = SSA + SSE.
Statystyka testowa
I(J − 1)SSA
.
(I − 1)SSE
Przy prawdziwości hipotezy zerowej Fs ma rozkład F -Snedecora z liczbami stopni swobody I − 1 i I(J − 1).
Fs =
Fs ≥ FI−1,I(J−1),1−α .
68
Opisana metoda analizy wariancji wymaga założenia równości wariancji w badanych grupach. Hipoteza o jednorodnosci wariancji przyjmuje postać
H0 : σ12 = σ22 = . . . = σI2 ,
gdzie σi2 jest wariancją w i-tej grupie. Hipoteza Alternatywna orzeka, że istnieją co najmniej dwie grupy o
różnych wariancjach.
W praktycznych zastosowaniach najbardziej popularnym testem jest test Bartletta.
Niech
J 2
1 X
s2i =
Xij − X i•
J − 1 j=1
będzie estymatorem wariancji σi2 w i-tej grupie, i = 1, 2, . . . , I.
Statystyka testowa
!
I
I
X
1X
ln s2i .
s2i − (J − 1)
Ms = I(J − 1) ln
I i=1
i=1
Dla dużych J przy prawdziwości hipotezy zerowej zmienna losowa
Ms
′
Ms =
1+
1
I
− I(J−1)
J−1
3(I−1)
ma w przybliżeniu rozkład χ2 z I − 1 stopniami swobody.
′
Ms ≥ χ2I−1,1−α .
69
MANOVA - wielokierunkowa analiza wariancji
wieloczynnikowa analiza wariancji
Poniżej ograniczymy się do modelu w dwukierunkowej analizie wariancji.
Model
Xijk = µ + αi + βj + γij + εijk ,
i = 1, . . . , I, j = 1, . . . , J, k = 1, . . . , K,
(6.2)
gdzie
µ jest średnią ogólną (stała),
αi jest efektem i-tego poziomu pierwszego czynnika (stałe),
βj jest efektem j-tego poziomu drugiego czynnika (stałe),
γij jest interakcją pomiędzy i-tym poziomem pierwszego czynnika a j-tym poziomem drugiego czynnika
(stałe),
εijk są niezależnymi zmiennymi losowymi o rozkładach N (0, σ 2 ) (błąd losowy obserwacji).
70
Niech danych będzie IJ prób
′
′
′
X11 = (X111 , X112 , . . . , X11K )
X12 = (X121 , X122 , . . . , X12K )
′
′
X21 = (X211 , X212 , . . . , X21K )
..
.
. = ..
′
XI1 = (XI11 , XI12 , . . . , XI1K )
X22 = (X221 , X222 , . . . , X22K )
..
.
. = ..
′
XI2 = (XI21 , XI22 , . . . , XI2K )
X1J = (X1J1 , X1J2 , . . . , X1JK )
′
...
X2J = (X2J1 , X2J2 , . . . , X2JK )
...
..
.
. = ..
...
′
X
=
(X
,
X
,
.
.
.
,
X
)
IJ
IJ1
IJ2
IJK
...
Pochodzących odpowiednio z rozkładów N (µ11 , σ 2 ), . . . N (µ1J ), N (µ21 , σ 2 ), . . . , N (µIJ , σ 2 ), gdzie µij = µ + αi +
βj + γij .
Zakładamy, że zmienne Xijk mają reprezentację z modelu (6.2).
Testujemy trzy następujące hipotezy
H10 :
α1 = α2 = . . . = αI = 0
vs.
K10 : istnieje co najmniej jedno αi 6= 0,
H20 :
β1 = β2 = . . . = βJ = 0
vs.
K20 : istnieje co najmniej jedno βJ 6= 0,
H30 :
γ11 = γ12 = . . . = γIJ = 0
vs.
K30 : istnieje co najmniej jedno γij 6= 0.
71
Przyjmijmy następujące oznaczenia:
X ij • =
K
1 X
Xijk
K k=1
X i•• =
K
J X
1 X
Xijk
JK j=1 k=1
X •j • =
X ••• =
SST =
−
I X
K
1 X
Xijk
IK i=1 k=1
średnia i-tego poziomu pierwszego czynnika i j-tego poziomu drugiego
czynnika,
−
średnia dla i-tego poziomu pierwszego czynnika,
−
średnia dla j-tego poziomu drugiego czynnika,
I X
J X
K
1 X
Xijk
IJK i=1 j=1 k=1
I X
J X
K X
i=1 j=1 k=1
SSA = JK
SSB = IK
SSAB = K
Xijk − X •••
I X
K X
i=1 k=1
I X
K X
i=1 k=1
J I
XX
i=1 j=1
średnia ogólna,
−
2
−
zmienność całkowita,
2
−
zmienność między poziomami pierwszego czynnika,
−
zmienność między poziomami drugiego czynnika,
X i•• − X •••
X •j • − X •••
2
X ij • − X i•• − X •j • − X •••
SSE = SST − SSA − SSB − SSAB
−
2
−
zmienność wynikająca ze współdziałania czynników,
zmienność wewnątrz grup.
72
Statystyka s2 =
SSE
IJ(K−1)
jest estymatorem wariancji σ 2 .
Statystyki testowe
IJ(K − 1)SSA
,
(I − 1)SSE
IJ(K − 1)SSB
,
=
(J − 1)SSE
IJ(K − 1)SSAB
=
.
(I − 1)(J − 1)SSE
F1s =
F2s
F3s
Przy prawdziwości H10 F1s ∼ FI−1,IJ(K−1) ,
Przy prawdziwości H20 F2s ∼ FJ−1,IJ(K−1) ,
Przy prawdziwości H30 F3s ∼ F(I−1)(J−1),IJ(K−1) .
Hipotezę zerową Hi0 odrzucamy jeżeli odpowiadająca jej wartość statystyki testowej przekracza kwantyl rozkładu
F -Snedecora (z odpowiednimi stopniami swobody) rzędu 1 − α.
Uwaga. Testem Bartletta należy sprawdzić równość wariancji w każdej z grup.
73
74
Bibliografia
[1] E. Babbie. Badania społeczne w praktyce. Wydawnictwo Naukowe PWN, Warszawa 2004.
[2] J. Brzeziński. Badania eksperymentalne w psychologii i pedagogice. Scholar, Warszawa 2000.
[3] A. Dąbrowski, S. Gnot, A. Michalski, and J. Srzednicka. STATYSTYKA, 15 godzin z pakietem statgraphics.
Akademia Rolnicz we Wrocławiu, Wrocław 1994.
[4] C. Domański. Testy statystyczne. Państwowe Wydawnictwo Ekonomiczne, Warszawa 1990.
[5] M. Krzyśko. Statystyka Matematyczna. Wydawnictwo Naukowe UAM, Poznań 2004.
[6] R. Mageria. Modele i metody statystyki matematycznej. GiS, Wrocław 2002.
[7] J. Mielniczuk and J. Koronacki. Statystyka dla studentów kierunków technicznych i przyrodniczych. Wydawnictwo Naukowo-Techniczne, Warszawa 2004.
[8] A. Plucińska and E. Pluciński. Rachunek prawdopodobieństwa, Statystyka matematyczna, Procesy stochastyczne. WNT, Warszawa 2000.
75
[9] Y. Takane and G. Ferguson. Analiza statytyczna w psychologii i pedagogice. Wydawnictwo Naukowe PWN
SA, Warszawa 2003.
[10] M. Walesiak, E. Gatnar, and inni. Statystyczna analiza danych z wykorzystaniem programu R. Wydawnictwo
Naukowe PWN, 2009.
76

WPROWADZENIE

Transkrypt

Podobne dokumenty

Zamówienia publiczne i partnerstwo publiczno

KARTA ZGŁOSZENIA STUDIÓW PODYPLOMOWYCH

Inspiracje cz. 8 - Ośrodek Psychoterapii i Rozwoju

STOŁECZNY MAGAZYN POLICYJNY SŁUŻYĆ JEDNEMU PANU?

Części używane > DACH NACZEPY HUMBAUR