Wnioskowanie statystyczne
Transkrypt
Wnioskowanie statystyczne
Wnioskowanie statystyczne SPIS TREŚCI SPIS TREŚCI Spis treści 1 Teoria Gier 1.1 Wstęp . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1.2 Metody uporządkowania klas reguł decyzyjnych . . . . . . . . . 1.3 Zasada minimaksu . . . . . . . . . . . . . . . . . . . . . . . . . 1.4 Klasy reguł decyzyjnych . . . . . . . . . . . . . . . . . . . . . . 1.5 Istotna zupełność klas niezrandomizowanych reguł decyzyjnych straty . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1.6 Istotna klasy reguł opartych na statystyce dostatecznej . . . . . . . . . . . . . . . . . przy . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . wypukłej funkcji . . . . . . . . . . . . . . . . . . . . 2 Estymacja 2.1 Estymacja bayesowska . . . . . . . . . . . . 2.2 Estymacja minimaksowa . . . . . . . . . . . 2.3 Dopuszczalność estymatorów bayesowskich i 2.4 Asymptotyczna efektywność estymatorów . . . . . . . . . . . . . . . . . . . . . minimaksowych . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8 . 8 . 9 . 10 . 10 3 Testowanie hipotez statystycznych 3.1 Podstawowe pojęcia . . . . . . . . . . . . . 3.2 Lemat Neymana-Pearsona . . . . . . . . . . 3.3 Testy JMN dla rodzin z monotonicznym. . . 3.4 Testy JNM dla hipotez dwustronnych . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 2 3 4 5 . . 5 6 13 13 14 15 15 4 Testy nieobciążone 18 4.1 Nieobciążoność w testowaniu hipotez . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18 4.2 Testy o strukturze Neymana . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19 4.3 JNM testy nieobciążone dla nieparametryczny miar wykładniczych* . . . . . . . . . . . 19 1 1 1 1.1 TEORIA GIER Teoria Gier Wstęp Niech A oznacza zbiór możliwych akcji (natomiast I σ-ciało jego podzbiorów), a Θ zbiór ”stanów natury”. Niech dana będzie również funkcja L : Θ × A → R, nazywać ją będziemy funkcją straty. Wówczas trójkę hΘ, A, Li nazywamy grą. Niech X będzie zbiorem wyników obserwacji, a A σ-ciałem podzbiorów X . Niech wreszcie P = {Pθ | θ ∈ Θ} będzie rodziną miar probabilistycznych na X . Definicja 1.1 Funkcję mierzalną d : (X , A) → (A, I) dla której istnieje i jest skończona dla każdego θ ∈ Θ wartość oczekiwana Z R(θ, d) := Eθ [L(θ, d(X))] = L(θ, d(x)) Pθ (dx) X nazywamy regułą decyzyjną a całkę R(θ, d) nazywamy funkcją ryzyka reguły decyzyjnej d. Niech D oznacza zbiór wszystkich reguł decyzyjnych w danej grze hΘ, A, Li. Niech H będzie najmniejszym σ-ciałem podzbiorów D, względem którego funkcje R(θ, ·) są mierzalne dla każdego θ ∈ Θ oraz zawierającym wszystkie jednoelementowe podzbiory D. Definicja 1.2 Miarę probabilistyczną δ na D dla której istnieje i skończona jest całka Z ∗ R (θ, δ) = R(θ, z) δ(dz) D nazywamy zrandomizowaną regułą decyzyjną. Całkę R∗ (θ, δ) nazywamy funkcją ryzyka zrandomizowanej reguły decyzyjnej. Niech D∗ będzie zbiorem zrandomizowanych reguł decyzyjnych. Wtedy D wkłada się w D∗ . Mamy nową grę hΘ, D∗ , R∗ i Lemat 1.3 Zbiór D∗ jest wypukły. Niech I będzie najmniejszym σ-ciałem podzbiorów A zawierającym jako swoje elementy wszystkie jednoelementowe podzbiory zbioru A i względem którego wszystkie funkcje L(θ, ·) są mierzalne dla każdego θ ∈ Θ. Niech A∗ będzie zbiorem wszystkich miar probabilistycznych α na A dla których istnieje i skończona jest całka Z L∗ (θ, α) = L(θ, a) α(da) A Definicja 1.4 Funkcję δ̃ : X → A∗ dla której istnieje i jest skończona całka Z R̃(θ, δ̃) = Eθ [L∗ (θ, δ̃(X)] = L∗ (θ, δ̃(x)) Pθ (dx) X nazywamy behawiorystyczną regułą decyzyjną. Całkę R̃(θ, δ̃) nazywamy funkcją ryzyka behawiorystycznej reguły decyzyjnej δ̃. Niech D̃ oznacza zbiór behawiorystycznych reguł decyzyjnych. Mamy kolejną grę: hΘ, D̃, R̃i behawiorystyczną grę decyzyjną. 2 1.2 Metody uporządkowania klas reguł decyzyjnych 1 TEORIA GIER Lemat 1.5 Zbiór D̃ jest wypukły. Twierdzenie 1.6 (Wald, Wolfowitz) Niech A będzie podzbiorem ośrodkowej przestrzeni metrycznej. Wówczas gry statystyczne hΘ, D, R∗ i i hΘ, D̃, R̃i są równoważne, czyli dla każdego δ ∗ ∈ D∗ istnieje δ̃ ∈ D̃ taka, że ∀θ ∈ Θ R∗ (θ, δ ∗ ) = R̃(θ, δ̃) i na odwrót, dla każdej δ̃ ∈ D̃ istnieje δ ∗ ∈ D∗ taka, że spełniona jest powyższa równość. Definicja 1.7 Regułę decyzyjną d ∈ D nazywamy nieobciążoną ze względu na funkcję straty L, gdy Eθ [L(θ0 , d(X))] ≥ Eθ [L(θ, d(X))] θ, θ0 ∈ Θ 1.2 Metody uporządkowania klas reguł decyzyjnych Niech Ξ będzie najmniejszym σ-ciałem podzbiorów Θ zawierającym jako swoje elementy wszystkie jednoelementowe podzbiory zbioru Θ i względem którego wszystkie funkcje R∗ (·, δ) są mierzalne dla każdego δ ∈ D∗ . Niech Θ∗ będzie zbiorem wszystkich miar probabilistycznych na Θ Definicja 1.8 Ryzykiem bayesowskim zrandomizowanej reguły δ ∈ D∗ względem rozkładu a priori τ ∈ Θ∗ nazywamy całkę Z r(τ, δ) = R∗ (θ, δ) dτ (θ) Θ Definicja 1.9 Ryzykiem bayesowskim niezrandomizowanej reguły d ∈ D względem rozkładu a priori τ ∈ Θ∗ nazywamy całkę Z r(τ, d) = R(θ, d) dτ (θ) Θ Definicja 1.10 Reguła decyzyjna δ0 ∈ D∗ nazywa się regułą bayesowską względem rozkładu a priori τ ∈ Θ∗ , gdy r(τ, δ0 ) = inf ∗ r(τ, δ) δ∈D Definicja 1.11 Niech ε > 0. Reguła δ0 ∈ D∗ nazywa się regułą ε-bayesowską względem τ ∈ Θ, gdy r(τ, δ0 ) ≤ inf ∗ r(τ, δ) + ε δ∈D Definicja 1.12 Reguła decyzyjna d0 ∈ D nazywa się regułą bayesowską względem rozkładu a priori τ ∈ Θ∗ , gdy r(τ, d0 ) = inf r(τ, d) d∈D Definicja 1.13 Niech ε > 0. Reguła d0 ∈ D nazywa się regułą ε-bayesowską względem τ ∈ Θ, gdy r(τ, d0 ) ≤ inf r(τ, d) + ε d∈D 3 1.3 Zasada minimaksu 1 TEORIA GIER Twierdzenie 1.14 Jeżeli istnieje zrandomizowana reguła bayesowska δ0 ∈ D∗ ze względu na rozkład a priori τ ∈ Θ∗ , to istnieje niezrandomizowana reguła decyzyjna d0 ∈ D, która jest bayesowska ze względu na τ 1.3 Zasada minimaksu Definicja 1.15 Reguła decyzyjna δ0 ∈ D∗ nazywa się minimaksowa, gdy sup R∗ (θ, δ0 ) = inf ∗ sup R∗ (θ, δ) δ∈D θ∈Θ θ∈Θ Definicja 1.16 Niech ε > 0. Reguła decyzyjna δ0 ∈ D∗ nazywa się ε-minimaksowa, gdy sup R∗ (θ, δ0 ) ≤ inf ∗ sup R∗ (θ, δ) + ε δ∈D θ∈Θ θ∈Θ Lemat 1.17 Dla każdego δ ∈ D∗ sup r(τ, δ) = sup R∗ (θ, δ) τ ∈Θ∗ θ∈Θ Wniosek 1.18 Jeśli δ0 jest minimaksowa w grze hΘ, D∗ , R∗ i, to jest również minimaksowa w grze hΘ∗ , D∗ , ri, czyli sup r(τ, δ0 ) = inf ∗ sup r(τ, δ) τ ∈Θ∗ δ∈D τ ∈Θ∗ Definicja 1.19 Rozkład a priori τ0 ∈ Θ∗ nazywa się rozkładem najmniej korzystnym, gdy inf r(τ0 , δ) = sup inf ∗ r(τ, δ) δ∈D ∗ τ ∈Θ∗ δ∈D Lemat 1.20 Mamy sup inf r(τ, δ) = v ≤ v = inf ∗ sup r(τ, δ) ∗ τ ∈Θ∗ δ∈D δ∈D τ ∈Θ∗ W przypadku, gdy v = v = v, mówimy, że gra hΘ∗ , D∗ , ri ma wartość v. Jeżeli ponadto istnieją τ0 ∈ Θ∗ oraz δ0 ∈ D∗ dla których r(τ0 , δ0 ) = v, to minimaksowa reguła δ0 jest bayesowska względem rozkładu najmniej korzystnego. Definicja 1.21 Funkcja f : (X, T ) → R jest półciągła z dołu, gdy dla dowolnego c ∈ R zbiór {x | f (x) > c} jest otwarty w X. Twierdzenie 1.22 (minimaksowe) Niech będzie dana gra hΘ, D∗ , R∗ i. Jeżeli D jest przestrzenią zwartą, a funkcja R∗ (θ, ·) : D∗ → R jest półciągła z dołu dla dowolnego θ ∈ Θ, to istnieje wartość gry hΘ, D∗ , R∗ i oraz istnieje minimaksowa reguła decyzyjna. 4 1.4 1.4 Klasy reguł decyzyjnych 1 TEORIA GIER Klasy reguł decyzyjnych Definicja 1.23 Reguła δ1 nazywa jest nie gorszą niż reguła δ2 , gdy R∗ (θ, δ1 ) ≤ R∗ (θ, δ2 ) dla θ ∈ Θ Definicja 1.24 Reguła δ1 jest równoważna regule δ2 , gdy dla dowolnego θ ∈ Θ mamy R∗ (θ, δ1 ) = R∗ (θ, δ2 ). Definicja 1.25 Reguła decyzyjna δ ∈ D∗ nazywa się dopuszczalna, gdy nie istnieje reguła decyzyjna lepsza od niej. W przeciwnym wypadku δ nazywamy regułą niedopuszczalną. Definicja 1.26 Klasa C ⊆ D∗ reguł decyzyjnych jest zupełna, gdy dla każdej reguły δ ∈ D∗ \ C istnieje reguła δ0 ∈ C lepsza niż δ. Definicja 1.27 Klasa C ⊆ D∗ reguł decyzyjnych jest istotnie zupełna, gdy dla każdej reguły δ ∈ D∗ \ C istnieje reguła δ0 ∈ C nie gorsza niż δ. Lemat 1.28 Jeżeli klasa C jest zupełna, to C zawiera wszystkie reguły dopuszczalne. Lemat 1.29 Jeżeli klasa C jest klasą istotnie zupełną i istnieje reguła dopuszczalna δ ∈ / C, to istnieje reguła δ0 ∈ C równoważna regule δ. Definicja 1.30 Klasa C ⊆ D∗ reguł reguł decyzyjnych nazywa się minimalną klasą (istotnie) zupełną, gdy jest klasą (istotnie) zupełną i nie istnieje właściwa (istotnie) zupełna podklasa C. Twierdzenie 1.31 Jeśli dla gry hΘ, D∗ , R∗ i istnieje minimalna klasa zupełna, to jest ona równa klasie wszystkich reguł dopuszczalnych. 1.5 Istotna zupełność klas niezrandomizowanych reguł decyzyjnych przy wypukłej funkcji straty Lemat 1.32 Niech S będzie wypukłym podzbiorem Rk , a Z-k-wymiarowym wektorem losowym o wartościach w S. Jeżeli wektor E[Z] istnieje, to E[Z] ∈ S. Twierdzenie 1.33 (Nierówność Jensena) Niech S będzie wypukłym podzbiorem Rk , a Z-k-wymiarowym wektorem losowym o wartościach w S takim, że wektor E[Z] istnieje. Wówczas jeśli f : S → R jest wypukła i jeśli f (Z) jest P -całkowalną zmienną losową, to f (E[Z]) ≤ E[f (Z)] Twierdzenie 1.34 (Warunkowa nierówność Jensena) Niech S będzie wypukłym podzbiorem Rk , a Z-k-wymiarowym P -całkowalnym wektorem losowym o 5 1.6 Istotna klasy reguł opartych na statystyce dostatecznej 1 TEORIA GIER wartościach w S. Wówczas jeśli f : S → R jest wypukła i jeśli f (Z) jest P -całkowalną zmienną losową, to f (E[Z|E]) ≤ E[f (Z)|E] p.w. dla dowolnego σ-ciała E ⊆ F. Twierdzenie 1.35 Rozpatrzmy grę hΘ, A, Li, gdzie A ⊆ Rk jest wypukły i dla dowolnego θ ∈ Θ funkcja L(θ, ·) : A → R jest wypukła. Wówczas jeśli dla pewnego θ0 ∈ Θ istnieją liczby ε > 0 oraz c ∈ R takie, że ∀a ∈ A L(θ0 , a) ≥ ε||a|| + c to dla dowolnej α ∈ A∗ istnieje a ∈ A dla którego ∀θ ∈ Θ L(θ, a) ≤ L∗ (θ, α) Wniosek 1.36 Jeśli A jest wypukłym podzbiorem Rk i dla każdego θ ∈ Θ funkcja straty L(θ, ·) : A → R jest wypukła oraz taka, że dla dowolnego θ0 ∈ Θ εE[||Z||] + c ≤ E[L(θ0 , Z)] dla pewnych ε > 0 i c, gdzie Z przyjmuje wartości z A, to klasa niezrandomizowanych reguł decyzyjnych D jest iststnie zupełna dla gry hΘ, D̃, R̃i. 1.6 Istotna zupełność klasy reguł decyzyjnych opartych na statystyce dostatecznej Rozważmy (X , A, P) gdzie P = {Pθ | θ ∈ Θ}. Załóżmy, że istnieje statystyka dostateczna dla P: T = T (X) : (X , A) → (T , C). Rozpatrzmy grę hΘ, D̃, R̃i, δ̃ : X → A∗ i niech δ̃x = δ̃(x). Definicja 1.37 Reguła decyzyjna δ̃ : (X , A) → (A∗ , J ∗ ) nazywa się regułą opartą na statystyce T , gdy istnieje Cmierzalna funkcja ψ : T → A∗ taka, że δ̃x = ψ(T (x)) x ∈ X Załóżmy, że X jest borelowskim podzbiorem Rk oraz że dla dowolnych θ ∈ Θ oraz A ∈ A istnieje wersja prawdopodobieństwa warunkowego Pθ [A | T = t] taka, że P [· | T = t] jest miarą probabilistyczną na (X , A) dla dowolnego t ∈ T . Ponieważ T jest statystyką dostateczną dla P, to rozkład warunkowy nie zależy od θ. Niech δ̃ ∈ D̃ i niech Z δ̃t0 (B) = δ̃x (B) dP (x|T = t) X Wtedy δ̃t0 nie zależy od θ i jest rozkładem z A∗ i jest funkcją statystyki T (jest na niej oparta). Lemat 1.38 Niech f będzie J mierzalną i δ̃x całkowalną dla każdego x ∈ X funkcją rzeczywistą określoną na A. Jeśli całka Z Z f (a) dδ̃x (a) dP (x|T = t) X A istnieje i jest skończona dla każdego t ∈ T , to funkcja f jest δ̃t0 -całkowalna dla każdego t ∈ T i zachodzi równość Z Z Z f (a) dδ̃t0 (a) = f (a) dδ̃x (a) dP (x|T = t) A X A 6 1.6 Istotna klasy reguł opartych na statystyce dostatecznej 1 TEORIA GIER Twierdzenie 1.39 Jeżeli T jest statystyką dostateczną dla P = {Pθ | θ ∈ Θ} na (X , A), to zbiór D̃0 ⊆ D̃ reguł opartych na statystyce T jest klasą istotnie zupełną dla gry hΘ, D̃, R̃i. Twierdzenie 1.40 Niech A będzie wypukłym podzbiorem Rk , a funkcja L(θ, a) wypukłą funkcją zmiennej a ∈ A dla każdego θ ∈ Θ. Niech T będzie statystyką dostateczną dla Θ. Wówczas jeżeli dla pewnego θ0 ∈ Θ istnieją stałe ε > 0 oraz c ∈ R takie, że L(θ0 , a) ≥ ε||a|| + c, to klasa D̃0 niezrandomizowanych reguł decyzyjnych opartych na T jest klasą istotnie zupełną dla gry hΘ, D̃, R̃i Twierdzenie 1.41 (Rao, Blackwell) Niech A będzie wypukłym podzbiorem Rk , a funkcja L(θ, a) wypukłą funkcją zmiennej a ∈ A dla każdego θ ∈ Θ. Niech T będzie statystyką dostateczną dla Θ. Jeżeli d ∈ D jest niezrandomizowaną reguła decyzyjną, to reguła d0 ∈ D dana wzorem d0 (t) = E[d(X) | T = t] jest nie gorsza niż reguła d. 7 2 2 2.1 ESTYMACJA Estymacja Estymacja bayesowska Niech Θ będzie otwartym podzbiorem Rk i niech Ξ będzie najmniejszym σ-ciałem podzbiorów zbioru Θ zawierającego jako swoje elementy wszystkie jednoelementowe podzbiory zbiory Θ i względem którego wszystkie funkcje R(·, d) dla d ∈ D są mierzalne. θ Załóżmy, że P µ dla pewnej σ-skończonej miary µ. Niech f (x, θ) = dP dµ (x). Ponadto, niech f (x, θ) będzie A ⊗ Ξ - mierzalną funkcją. Niech τ będzie ustalonym rozkładem a priori na (Θ, Ξ), absolutnie ciągłym względem σ-skończonej miary ζ i niech h(θ) = dτ dζ (θ). Wówczas g(x, θ) = f (x, θ)h(θ) jest gęstością łącznego rozkładu wektora losowego (X, θ) względem miary µ ⊗ ζ. Z twierdzenia Bayesa wynika, że dla µ-prawie każdego x ∈ X gęstość warunkowa rozkładu τ (θ|x) zmiennej losowej θ pod warunkiem X = x, zwanego rozkładem a posteriori parametru θ wyraża się wzorem f (x, ϑ)h(ϑ) f (x, ϑ)h(ϑ) = f (x, θ)h(θ) ζ(dθ) f (x) Θ h(ϑ|x) = R Twierdzenie 2.1 Jeśli istnieje reguła decyzyjna d0 ∈ D taka, że dla µ-prawie każdego x ∈ X zachodzi Z Z L(θ, d(x))h(θ|x) ζ(dθ) L(θ, d0 (x))h(θ|x) ζ(dθ) = inf Θ d∈D Θ oraz r(τ, d0 ) < ∞, to d0 jest bayesowską reguła decyzyjną względem rozkładu a priori τ Rozważmy grę statystyczną hΘ, G, Ri, gdzie G jest zbiorem niezrandomizowanych reguł decyzyjnych γ̂ : X → A = R, estymatorów funkcji γ, dla których R(θ, γ̂) < ∞ Definicja 2.2 Estymatorem bayesowskim funkcji γ : Θ → R względem rozkładu a priori τ nazywamy regułę decyzyjną γ̂0 ∈ G, dla której r(τ, γ̂0 ) = inf r(τ, γ̂) γ̂∈G Twierdzenie 2.3 Niech γ : Θ → R i niechR L(θ, a) = χ(θ)[γ(θ) − a]2 , a rozkład a priori τ będzie taki, że Rτ (γ̂, x) = Eτ [L(θ, γ̂(X)|X = x] = Θ L(θ, γ̂(x))h(θ|x) ζ(dθ) < ∞ dla µ-prawie każdego x ∈ X i każdego γ̂ ∈ G. Wówczas statystyka postaci Eτ [χ(θ)γ(θ)|X = x] γ̂0 (x) = Eτ [χ(θ)|X = x] jest estymatorem bayesowskim funkcji γ względem rozkładu a priori τ , przy założeniu, że r(τ, γ̂0 ) < ∞. Twierdzenie 2.4 Niech L(θ, a) = |θ − a| i γ(θ) = θ. Niech τ będzie rozkładem a priori dla którego Rτ (γ̂, x) < ∞ dla µ-prawie każdego x ∈ X i każdego γ̂ ∈ G. Wówczas statystyka θ̂(x) = meτ (θ|X = x) jest estymatorem bayesowskim parametru θ względem rozkładu a priori τ . 8 2.2 Estymacja minimaksowa 2 ESTYMACJA Definicja 2.5 Rodzinę Θ∗0 rozkładów a priori parametru θ nazywamy sprzężoną rodziną rozkładów a priori dla P = {Pθ | θ ∈ Θ}, gdy dla każdego Pθ ∈ P i każdego τ ∈ Θ∗0 rozkład a posteriori τ (θ|x) ∈ Θ∗0 . Definicja 2.6 Reguła δ ∈ D∗ nazywa się granicą reguł bayesowskich δn ∈ D∗ względem rozkładów a priori τn odpowiednio, gdy δn (x) zbiega słabo do δ(x) dla µ- prawie wszystkich x. Definicja 2.7 Reguła decyzyjna δ0 ∈ D0 nazywa się uogólnioną reguła bayesowską, gdy istnieje σ-skończona miara τ na (Θ, Ξ) taka, że całka Z Z L(θ, z(x)) δ(dz) f (x, θ) τ (dθ) Θ X osiąga skończone minimum dla δ = δ0 . Definicja 2.8 Reguła δ0 ∈ D nazywa się rozszerzoną regułą bayesowską, gdy dla każdego ε > 0 istnieje rozkład a priori τε taki, że δ0 jest regułą ε-bayesowską względem τε . 2.2 Estymacja minimaksowa Definicja 2.9 Reguła decyzyjna δ0 ∈ D∗ jest minimaksowa • w grze hΘ, D∗ , R∗ i, gdy sup R∗ (θ, δ0 ) = inf ∗ sup R∗ (θ, δ) (1) sup r(τ, δ0 ) = inf ∗ sup r(τ, δ) (2) δ∈D θ∈Θ θ∈Θ • w grze hΘ∗ , D∗ , ri, gdy δ∈D τ ∈Θ∗ τ ∈Θ∗ Twierdzenie 2.10 Niech τ będzie rozkładem a priori dla reguły decyzyjnej d0 , bayesowskiej względem τ . Jeśli zachodzi Z r(τ, d0 ) = R(θ, d0 ) τ (dθ) = sup R(θ, d0 ) θ∈Θ Θ Wówczas (a) d0 jest minimaksowa (b) Jeśli d0 jest jedyną regułą bayesowską względem danego rozkładu a priori τ , to d0 jest jedyną regułą minimaksową (c) rozkład τ jest rozkładem najmniej korzystnym. Wniosek 2.11 Jeśli reguła bayesowska ma stałe ryzyko, to jest minimaksowa Wniosek 2.12 (twierdzenie Hodgesa-Lehmanna) Niech Θτ będzie zbiorem punktów parametru θ na którym funkcja ryzyka R(θ, d) reguły bayesowskiej względem rozkładu a priori τ osiąga swoje maksimum. Jeżeli τ (Θτ ) = 1, to d jest minimaksowa. 9 2.3 Dopuszczalność estymatorów bayesowskich i minimaksowych 2 ESTYMACJA Twierdzenie 2.13 Jeżeli reguła decyzyjna dn jest bayesowska względem rozkładu a priori τn oraz jeżeli limn→∞ r(τn , dn ) ≤ c i istnieje reguła d0 dla której dla dowolnego θ ∈ Θ R(θ, d0 ) ≤ c, to istnieje wartośc gry i reguła d0 jest minimaksowa. Wniosek 2.14 Jeżeli d0 jest rozszerzoną reguła bayesowską oraz dla dowolnego θ ∈ Θ R(θ, d0 ) = c, to d0 jest minimaksowa. Twierdzenie 2.15 Jeżeli d0 jest bayeswoska względem rozkładu a priori τ0 i ∀θ ∈ Θ R(θ, d0 ) ≤ r(τ0 , d0 ) to istnieje wartość gry, d0 jest minimaksowa, a τ0 jest rozkładem najmniej korzystnym. 2.3 Dopuszczalność estymatorów bayesowskich i minimaksowych Twierdzenie 2.16 Jeżeli istnieje jedyna (z dokładnością do równoważności) reguła bayesowska względem rozkładu a priori, to jest ona dopuszczalna. Twierdzenie 2.17 Niech dana będzie gra hΘ, D, Ri gdzie Θ jest otwartym podzbiorem R. Załóżmy, że funkcja ryzyka R(θ, d) jest ciągłą funkcją zmiennej θ dla każdej d ∈ D. Jeżeli d0 ∈ D jest regułą bayesowską względem rozkładu a priori τ takiego, że suppτ = clΘ i jeżeli r(τ, d0 ) < ∞, to d0 jest dopuszczalna. Twierdzenie 2.18 Zachodzi (a) Jeżeli d0 jest minimaksowa wyznaczona jednoznacznie, to d0 jest dopuszczalna (b) Jeżeli d0 jest dopuszczalna i ma stałe ryzyko, to jest minimaksowa Twierdzenie 2.19 (Girshick, Savage) Jeżeli statystyka T ma rozkład o gęstości względem σ-skończonej miary µ postaci f (t; θ) = C(θ)eθt h(t) oraz γ(θ) = Eθ [T ], to T jest estymatorem dopuszczalnym i minimaksowym funkcji γ(θ) przy założeniu, 2 2 2 że funkcja straty ma postać L(θ, a) = (γ(θ)−a) σ 2 (θ) , gdzie σ (θ) = Dθ [T ]. 2.4 Asymptotyczna efektywność estymatorów Niech P = {Pθ | θ ∈ Θ}, gdzie Θ = R każde Pθ jest rozkładem na (X , A) absolutnie ciągłym względem σ-skończonej miary µ z gęstością f (x, θ). Definicja 2.20 (Warunki regularności) Mówimy, że rodzina P spełnia warunki regularności 1. Θ jest otwartym podzbiorem R oraz {x | f (x, θ) > 0} nie zależy od θ 2. Dla każdej θ ∈ Θ oraz prawie każdego x istnieją pochodne ∂ log(f (x, θ)) ∂θ ∂2 log(f (x, θ)) ∂θ2 10 ∂3 log(f (x, θ)) ∂θ3 2.4 Asymptotyczna efektywność estymatorów 2 ESTYMACJA 3. Dla każdej θ0 ∈ Θ istnieją funkcje gθ0 , hθ0 oraz Hθ0 , takie że na pewnym otoczeniu θ0 dla prawie wszystkich x zachodzi 3 2 ∂ log(f (x, θ)) ≤ gθ0 (x) ∂ log(f (x, θ)) ≤ hθ0 (x) ∂ log(f (x, θ)) ≤ Hθ0 (x) ∂θ3 ∂θ2 ∂θ R R R przy czym gθ0 (x) µ(dx) < ∞, hθ0 (x) µ(dx) < ∞ i Hθ0 (x) Pθ (dx) < ∞ na pewnym otoczeniu θ0 4. Dla każdej θ istnieje wartość oczekiwana 0 < I(θ) = Eθ ∂ log(f (X, θ)) < ∞ ∂θ Twierdzenie 2.21 (Rao-Cramér-Fréchet) Niech X = (X1 , . . . Xn ) będzie próbą z rozkładu z gęstością f (x, θ), spełniającą warunki (1)−(4). Niech T (X) będzie estymatorem różniczkowalnej funkcji γ(θ) i niech b(θ) = Eθ [T (X) − γ(θ)]. Wówczas 1. Dla każdej θ [γ 0 (θ) + b0 (θ)]2 Eθ (T (X) − γ(θ))2 ≥ nI(θ) 2. Jeżeli T jest estymatorem nieobciążonym funkcji γ, to [γ 0 (θ)]2 Dθ (T (X) − γ(θ))2 ≥ nI(θ) Wniosek 2.22 Równość w nierówności C-R zachodzi tylko wtedy, gdy n Y f (xk , θ) = Cn (x) exp[Qn (θ)T (x)]h(x) k=1 Definicja 2.23 √ Estymator θ̂n , dla którego ciąg { n(θ̂n − θ)} przy n → ∞ jest asymptotycznie normalny N (0, J 2 (θ)) dla pewnej nieujemnej funkcji J 2 , nazywamy estymatorem zgodnym asymptotycznie normalnym (estymatorem CAN). Definicja 2.24 Niech T1 oraz T2 będą estymatorami CAN parametru θ z asymptotycznymi wariancjami J12 oraz J22 odpowiednio. Estymator T1 jest estymatorem asymptotycznie efektywniejszym niż T2 , gdy ∀θ ∈ Θ J12 (θ) ≤ J22 (θ) oraz ∃θ0 ∈ Θ J12 (θ0 ) < J22 (θ0 ) Niech T1,n = T1,n (X n ) oraz T2,n = T2,n (X n ). Załóżmy, że √ oraz √ D n(T1,n − θ) → N (0, J 2 (θ)) D n(T1,n0 − θ) → N (0, J 2 (θ)) gdzie n0 = n0 (n) i n0 → ∞, gdy n → ∞. 11 (3) 2.4 Asymptotyczna efektywność estymatorów 2 ESTYMACJA Definicja 2.25 Asymptotyczną efektywnością względną estymatora T1,n względem T2,n nazywamy granicę n0 (n) n→∞ n ARE(T1 : T2 ) = lim przy założeniu, że ona istnieje i nie zależy od wyboru ciągu n0 (n) przy którym zachodzi (3) Twierdzenie 2.26 √ D Jeżeli n(Tk,n − θ) → N (0, Jk2 (θ)) i granica (4) istnieje, to jest równa J12 (θ)/J22 (θ) 12 (4) 3 3 TESTOWANIE HIPOTEZ STATYSTYCZNYCH Testowanie hipotez statystycznych 3.1 Podstawowe pojęcia Niech (X , A, P), gdzie P = {Pθ | θ ∈ Θ}, będzie przestrzenią statystyczną. Niech P = P0 ∪ P1 , P0 ∩ P1 = ∅. Wówczas P0 = {Pθ | θ ∈ Θ0 } oraz P1 = {Pθ | θ ∈ Θ1 }, przy czym Θ0 ∪ Θ1 = Θ i Θ0 ∩ Θ1 = ∅. Niech X będzie obserwowaną zmienną losową o nieznanym rozkładzie Pθ . Definicja 3.1 Przyjmujemy następujące definicje 1. Hipotezą statystyczną nazywamy przypuszczenie, że Pθ ∈ P0 lub Pθ ∈ P1 . 2. Przypuszczenie H0 : Pθ ∈ P0 nazywamy hipotezą zerową. Natomiast przypuszczenie H1 : Pθ ∈ P1 nazywamy hipotezą alternatywną 3. Sprawdzanie hipotez statystycznych nazywamy testowaniem lub weryfikacją hipotez statystycznych Niech X = {x1 , . . . , xn } będzie próbą. Zbiór akcji statystyka A = {a0 , a1 }, gdzie a0 -”przyjąć hipotezę H0 ” a a1 -”odrzucić hipotezę H0 ” (”przyjąć hipotezę H1 ”). Każda niezrandomizowana reguła decyzyjną d : X → A rozbija przestrzeń X na rozłączne podzbiory S0 = {x | d(x) = a0 }, S1 = {x | d(x) = a1 } Definicja 3.2 Zbiór S1 nazywamy niezrandomizowanym testem statystycznym hipotezy H0 przeciwko H1 . Zbiór S0 nazywamy obszarem przyjęcia hipotezy H0 . Uwaga 3.3 Zbiór S1 nazywamy również obszarem odrzucenia hipotezy H0 Niech L : Θ × A → R+ będzie funkcją starty. Wtedy funkcja ryzyka testu S1 ma postać R(θ, S1 ) = [1 − Pθ [S1 ]]L(θ, a0 ) + Pθ [S1 ]L(θ, a1 ) i zależy tylko od testu S1 poprzez prawdopodobieństwo Pθ [S1 ]. Definicja 3.4 Funkcję βS1 : Θ → [0, 1] określoną wzorem βS1 (θ) = Pθ [S1 ] nazywamy funkcją mocy testu niezrandomizowanego S1 . Wartość funkcji βs1 w punkcie θ ∈ Θ nazywamy mocą testu S1 przy alternatywie θ. Zbiór A∗ możemy utożsamić z odcinkiem [0, 1], gdzie a∗ ∈ A∗ oznacza prawdopodobieństwo podjęcia akcji a1 . Definicja 3.5 Testem zrandomizowanym hipotezy H0 przy hipotezie alternatywnej H1 nazywamy behawiorystyczną regułę decyzyjną ϕ : X → A∗ , gdzie ϕ(x) ∈ A∗ jest prawdopodobieństwem podjęcia akcji a1 , gdy zaobserwowano x. 13 3.2 Lemat Neymana-Pearsona 3 TESTOWANIE HIPOTEZ STATYSTYCZNYCH Funkcja ryzyka niezrandomizowanego testu ϕ ma postać R̃(θ, ϕ) = (1 − Eθ [ϕ(X)])L(θ, a0 ) + Eθ [ϕ(X)]L(θ, a1 ) = L(θ, a0 ) + Eθ [ϕ(X)](L(θ, a1 ) − L(θ, a0 )) Definicja 3.6 Funkcję βϕ : Θ → [0, 1] określoną wzorem βϕ (θ) = Eθ [ϕ(X)] nazywamy funkcją mocy testu zrandomizowanego ϕ. Wartość funkcji βϕ w punkcie θ nazywamy mocą testu ϕ przy alternatywie θ. Definicja 3.7 Test ϕ hipotezy H0 : θ ∈ Θ0 przeciwko alternatywie H1 : θ ∈ Θ1 nazywamy testem na poziomie istotności α, α ∈ (0, 1), jeżeli Eθ [ϕ(X)] ≤ α θ ∈ Θ0 (prawdopodobieństwo błędu pierwszego rodzaju nie przekracza α) Definicja 3.8 Rozmiarem testu ϕ nazywamy liczbę supθ∈Θ0 {Eθ [ϕ(X)]} Definicja 3.9 Test ϕ0 na poziomie istotności α jest nazywamy testem jednostajnie najmocniejszym (JNM) w klasie testów na poziomie istotności α jeżeli dla każdego testu ϕ na poziomie istotności α zachodzi Eθ [ϕ(X)] ≤ Eθ [ϕ0 (X)] 3.2 θ ∈ Θ1 Lemat Neymana-Pearsona Twierdzenie 3.10 (Lemat Naymana-Pearsona) Niech P0 i P1 będą rozkładami prawdopodobieństwa o gęstościach odpowiednio f0 i f1 ze względu na pewną σ-skończoną miarę µ na przestrzeni mierzalnej (X , A). Wówczas (a) Dla testowania hipotezy H0 : f0 = f1 przeciwko H1 : f0 6= f1 dla każdego α ∈ (0, 1) istnieje test ϕ i taka stała k, że Eθ [ϕ(X)] = α (5) gdzie ϕ(x) = 1{f1 >kf0 } (x) (6) (b) Jeżeli test ϕ spełnia warunki (5) i (6) dla pewnego k, to jest on testem jednostajnie najmocniejszym dla testowania H0 przeciwko H1 (c) Jeżeli ϕ jest testem jednostajnie najmocniejszym na poziomie istotności α dla testowania hipotezy H0 przeciwko H1 , to dla pewnego k spełnia on warunek (6) µ-p.w., a ponadto spełnia on warunek (5), chyba że istnieje test o rozmiarze mniejszym od α o mocy równej 1. Wniosek 3.11 Niech β oznacza moc testu najmocniejszego na poziomie istotności α ∈ (0, 1) dla testowania hipotezy H0 : P0 = P1 przeciwko H1 : P0 6= P 1. Wówczas α < β, chyba, że P0 = P1 . Uwaga 3.12 Testy JMN są funkcjami minimalnej statystyki dostatecznej. 14 3.3 3.3 Testy JMN dla rodzin z monotonicznym. . .3 TESTOWANIE HIPOTEZ STATYSTYCZNYCH Testy jednostajnie najmocniejsze dla rodzin z monotonicznym ilorazem wiarygodności Definicja 3.13 Niech P będzie rodziną rozkładów na (X , A) dominowaną przez σ-skończoną miarę µ, a f (x; θ)- gęstością Pθ ∈ P względem µ. Mówimy, że rodzina P jest rodziną z monotonicznym ilorazem wiarygodności 0 ) (względem funkcji T ), jeżeli dla θ > θ0 funkcja ff(x;θ (x;θ) jest niemalejącą funkcją (statystyki) T (x). Twierdzenie 3.14 (Karlina, Rubina) Niech P = {Pθ | θ ∈ Θ} będzie rodziną z monotonicznym ilorazem wiarygodności względem funkcji T . Wówczas (a) W problemie testowania H0 : θ ≤ θ0 , H1 : θ > θ0 , test określony wzorem 1 gdy T (x) > C ζ gdy T (x) = C ϕ(x) 0 gdy T (x) < C (7) gdzie stałe C i ζ są wyznaczone z warunku Eθ0 [ϕ(X)] = α (8) jest testem JNM na poziomie istotności α. (b) Funkcja mocy testu ϕ, βϕ (θ) = Eθ [ϕ(X)] jest rosnącą funkcją parametru θ, dla każdego θ takiego, że βϕ (θ) < 1. (c) Dla każdego θ0 test określony przez (7) i (8) jest testem JNM dla testowania hipotezy H00 : θ ≤ θ0 , H10 : θ > θ0 na poziomie istotności α0 = βϕ (θ0 ). (d) Dla każdego θ < θ0 test ϕ minimalizuje βϕ (θ) wśród wszystkich testów spełniających (8). Wniosek 3.15 Niech θ ∈ Θ ⊆ R oraz niech rodzina rozkładów P będzie dominowana przez σ-skończoną miarę µ z gęstościami postaci f (x; θ) = C(θ)h(x) exp{Q(θ)T (x)} (9) gdzie Q jest ściśle monotoniczna. Wówczas istnieje JNM test ϕ na poziomie istotności α dla testowania H0 : θ ≤ θ0 przeciwko H1 : θ > θ0 . Dodatkowo, jeżeli Q jest rosnąca, to ϕ jest postaci (7) przy zachowaniu warunku (8). 3.4 Testy jednostajnie najmocniejsze dla hipotez dwustronnych Weryfikujemy hipotezę H : θ ∈ / (θ1 , θ2 ) przeciwko A : θ ∈ (θ1 , θ2 ). Twierdzenie 3.16 (uogólniony lemat Neymanna-Pearsona) Niech f1 , f2 , . . . , fr+1 będą mierzalnymi funkcjami rzeczywistymi określonymi na przestrzeni euklidesowej X i całkowalnych względem σ-skończonej miary µ. Załóżmy, że dla ustalonych stałych C1 , C2 , . . . , Cr istnieje funkcja krytyczna ϕ spełniająca warunek Z ϕ(x)fi (x) dµ(x) = Ci i ∈ [r] (10) X Niech R oznacza zbiór funkcji krytycznych spełniających (10). Wówczas 15 ? 3.4 Testy JNM dla hipotez dwustronnych 3 TESTOWANIE HIPOTEZ STATYSTYCZNYCH (a) W zbiorze R istnieje element maksymalizujący całkę Z ϕ(x)fr+1 (x) dµ(x) (11) X (b) Warunkiem dostatecznym na to, aby ϕ ∈ R maksymalizowało całkę (11) jest istnienie stałych k1 , k2 , . . . , kr takich, że Pr 1 gdy fr+1 (x) > Pi=1 ki fi (x) ϕ(x) = (12) r 0 gdy fr+1 (x) ≤ i=1 ki fi (x) (c) Jeżeli funkcja ϕ ∈ R spełnia warunek (12) przy nieujemnych stałych k1 , k2 , . . . , kr , to ϕ maksymalizuje całkę (11) w zbiorze wszystkich funkcji spełniających Z ϕ(x)fi (x) dµ(x) ≤ Ci i ∈ [r] X (d) Zbiór M punktów z r-wymiarowej przestrzeni, których współrzędne dla pewnej funkcji krytycznej są postaci Z Z ϕ(x)f1 (x) dµ(x), . . . , X ϕ(x)fr (x) dµ(x) X jest wypukły i domknięty. Jeżeli (C1 , C2 , . . . , Cr ) jest punktem wewnętrznym zbioru M to istnieją stałe k1 , k2 , . . . kr i funkcja krytyczna ϕ spełniająca warunki (10) i (12). Warunkiem koniecznym na to, aby funkcja ϕ ∈ R maksymalizowała całkę (11) jest zachodzenie warunku (12) µ-p.w. Wniosek 3.17 Niech f1 , f2 , . . . , fr+1 będą gęstościami ze względu na σ-skończoną miarę µ i niech 0 < α < 1. Jeżeli nie zachodzi r X fr+1 = ri fi µ-p.w. i=1 to nie istnieje test ϕ taki, że Ei [ϕ(X)] = α i ∈ [r] oraz Er+1 [ϕ(X)] < α Twierdzenie 3.18 Niech P = {Pθ |θ ∈ Θ = R} będzie rodziną rozkładów prawdopodobieństwa określonymi na przestrzeni prób (X , A) mających gęstości względem miary µ postaci f (x; θ) = C(θ)h(x) exp{Q(θ)T (x)} gdzie Q jest funkcją rosnącą. Wówczas (a) Dla testowania hipotezy H : θ ∈ / [θ1 , θ2 ], K : θ ∈ [θ1 , θ2 ] istnieje test JNM na poziomie istotności α ∈ (0, 1) postaci 1 gdy C1 < T (x) < C2 ζi gdy T (x) = Ci ϕ(x) = (13) 0 poza tym gdzie stałe C1 , C2 , ζ1 , ζ2 są wyznaczone z warunków Eθ1 [ϕ(X)] = Eθ2 [ϕ(X)] = α 16 (14) 3.4 Testy JNM dla hipotez dwustronnych 3 TESTOWANIE HIPOTEZ STATYSTYCZNYCH (b) Test ϕ minimalizuje funkcję mocy β(θ) = Eθ [ϕ(X)] przy warunku (14) dla wszystkich θ ∈ / [θ1 , θ2 ] (c) Dla α ∈ (0, 1) funkcja mocy tego testu osiąga maksimum w punkcie θ0 zawartym między θ1 i θ2 i ściśle maleje zarówno przy θ rosnącym jak i przy θ malejącym od punktu θ0 . Jedynym wyjątkiem jest przypadek, w którym istnieją wartości t1 i t2 takie, że Pθ [T (x) = t1 ] = Pθ [T (x) = t2 ] = 1 17 θ∈Θ 4 4 TESTY NIEOBCIĄŻONE Testy nieobciążone 4.1 Nieobciążoność w testowaniu hipotez Definicja 4.1 Test hipotezy H : θ ∈ ΘH przeciwko K : θ ∈ ΘK , którego funkcja mocy βθ (theta) = Eθ [ϕ(X)] spełnia warunek βϕ (θ) ≤ α θ ∈ ΘH oraz βϕ (θ) ≥ α θ ∈ ΘK nazywamy testem nieobciążonym na poziomie istotności α. Wniosek 4.2 Jeżeli istnieje test JNM na poziomie istotności α dla testowania hipotezy H : θ ∈ ΘH przeciwko K : θ ∈ ΘK to jest on testem nieobciążonym na poziomie istotności α. Niech ΘB = ΘH ∩ ΘK Wniosek 4.3 Jeżeli funkcja mocy testu nieobciążonego na poziomie istotności α jest ciągła, to θ ∈ ΘB β(θ) = α (15) Definicja 4.4 Test ϕ nazywamy α-podobnym na brzegu ΘB wtedy i tylko wtedy, gdy jego funkcja mocy spełnia warunek (15). Lemat 4.5 Jeżeli rodzina rozkładów P = {Pθ | θ ∈ Θ} ma tę własność, że moc wszystkich testów jest ciągła i jeżeli ϕ0 jest testem JNM wśród wszystkich testów α-podobnych na brzegu hipotezy H na poziomie istotności α, to ϕ0 jest testem nieobciążonym na poziomie istotności α. Twierdzenie 4.6 Niech P = {Pθ | θ ∈ Θ} będzie rodziną rozkładów prawdopodobieństwa na (X , A) o gęstościach względem σ-skończonej miary µ postaci f (x; θ) = C(θ)h(x) exp{θT (x)} (16) Wtedy (a) Dla testowania H : θ ∈ [θ1 , θ2 ], K : θ ∈ / [θ1 , θ2 ] istnieje JNM test nieobciążony na poziomie istotności α postaci 1 gdy C1 < T (x) < C2 ζi gdy T (x) = Ci ϕ(x) = (17) 0 poza tym gdzie stałe C1 , C2 , ζ1 , ζ2 są wyznaczone z warunków Eθ1 [ϕ(X)] = Eθ2 [ϕ(X)] = α (18) (b) Dla testowania H 0 : θ = θ0 , K 0 : θ 6= θ0 istnieje JNM test nieobciążony na poziomie istotności α postaci (17) gdzie Ci , ζi są dobrane, by Eθ0 [ϕ(X)] = α 18 (19) 4.2 Testy o strukturze Neymana 4 TESTY NIEOBCIĄŻONE oraz Eθ0 [T (X)ϕ(X)] = Eθ0 [T (X)]α 4.2 (20) Testy o strukturze Neymana Rozważmy rodzinę PB = {Pθ | θ ∈ ΘB } ⊆ P gdzie ΘB = ΘH ∩ ΘK . Niech T będzie statystyką T dostateczną dla PB , a PB = {PθT | θ ∈ ΘB } będzie rodziną jej rozkładów. Wtedy każdy test ϕ spełniający warunek T Eθ [ϕ(X) | T = t] = α PB -p.w (21) jest α-podobny na brzegu ΘB . Definicja 4.7 Test ϕ spełniający warunek (21) nazywamy testem o strukturze Neymana ze względu na statystykę T . Twierdzenie 4.8 Niech T będzie statystyką dostateczną dla PB . Warunkiem koniecznym i dostatecznym na to, by test α-podobny na brzegu ΘB dla testowanie hipotezy H : θ ∈ ΘH przy alternatywie K : θ ∈ ΘK miał T była ograniczenie strukturę Neymana ze względu na statystykę T jest, aby rodzina rozkładów PB zupełna. 4.3 JNM testy nieobciążone dla nieparametryczny miar wykładniczych* www.math.uni.wroc.pl/∼s232966/ data kompilacji: 10 lutego 2013