1 Estymacja

1
1
1.1
ESTYMACJA
Estymacja
Estymacja bayesowska
Niech Θ będzie otwartym podzbiorem Rk i niech Ξ będzie najmniejszym σ-ciałem podzbiorów zbioru Θ
zawierającego jako swoje elementy wszystkie jednoelementowe podzbiory zbiory Θ i względem którego
wszystkie funkcje R(·, d) dla d ∈ D są mierzalne.
θ
Załóżmy, że P µ dla pewnej σ-skończonej miary µ. Niech f (x, θ) = dP
dµ (x). Ponadto, niech f (x, θ)
będzie A ⊗ Ξ - mierzalną funkcją. Niech τ będzie ustalonym rozkładem a priori na (Θ, Ξ), absolutnie
ciągłym względem σ-skończonej miary ζ i niech h(θ) = dτ
dζ (θ). Wówczas
g(x, θ) = f (x, θ)h(θ)
jest gęstością łącznego rozkładu wektora losowego (X, θ) względem miary µ ⊗ ζ. Z twierdzenia Bayesa
wynika, że dla µ-prawie każdego x ∈ X gęstość warunkowa rozkładu τ (θ|x) zmiennej losowej θ pod
warunkiem X = x, zwanego rozkładem a posteriori parametru θ wyraża się wzorem
f (x, ϑ)h(ϑ)
f (x, ϑ)h(ϑ)
=
f (x, θ)h(θ) ζ(dθ)
f (x)
Θ
h(ϑ|x) = R
Twierdzenie 1.1
Jeśli istnieje reguła decyzyjna d0 ∈ D taka, że dla µ-prawie każdego x ∈ X zachodzi
Z
Z
L(θ, d(x))h(θ|x) ζ(dθ)
L(θ, d0 (x))h(θ|x) ζ(dθ) = inf
Θ
d∈D
Θ
oraz r(τ, d0 ) < ∞, to d0 jest bayesowską reguła decyzyjną względem rozkładu a priori τ
Rozważmy grę statystyczną hΘ, G, Ri, gdzie G jest zbiorem niezrandomizowanych reguł decyzyjnych
γ̂ : X → A = R, estymatorów funkcji γ, dla których R(θ, γ̂) < ∞
Definicja 1.2
Estymatorem bayesowskim funkcji γ : Θ → R względem rozkładu a priori τ nazywamy regułę decyzyjną
γ̂0 ∈ G, dla której
r(τ, γ̂0 ) = inf r(τ, γ̂)
γ̂∈G
Twierdzenie 1.3
Niech γ : Θ → R i niechR L(θ, a) = χ(θ)[γ(θ) − a]2 , a rozkład a priori τ będzie taki, że Rτ (γ̂, x) =
Eτ [L(θ, γ̂(X)|X = x] = Θ L(θ, γ̂(x))h(θ|x) ζ(dθ) < ∞ dla µ-prawie każdego x ∈ X i każdego γ̂ ∈ G.
Wówczas statystyka postaci
Eτ [χ(θ)γ(θ)|X = x]
γ̂0 (x) =
Eτ [χ(θ)|X = x]
jest estymatorem bayesowskim funkcji γ względem rozkładu a priori τ , przy założeniu, że r(τ, γ̂0 ) < ∞.
Twierdzenie 1.4
Niech L(θ, a) = |θ − a| i γ(θ) = θ. Niech τ będzie rozkładem a priori dla którego Rτ (γ̂, x) < ∞ dla
µ-prawie każdego x ∈ X i każdego γ̂ ∈ G. Wówczas statystyka
θ̂(x) = meτ (θ|X = x)
jest estymatorem bayesowskim parametru θ względem rozkładu a priori τ .
1
1.2
Estymacja minimaksowa
1
ESTYMACJA
Definicja 1.5
Rodzinę Θ∗0 rozkładów a priori parametru θ nazywamy sprzężoną rodziną rozkładów a priori dla
P = {Pθ | θ ∈ Θ}, gdy dla każdego Pθ ∈ P i każdego τ ∈ Θ∗0 rozkład a posteriori τ (θ|x) ∈ Θ∗0 .
Definicja 1.6
Reguła δ ∈ D∗ nazywa się granicą reguł bayesowskich δn ∈ D∗ względem rozkładów a priori τn
odpowiednio, gdy δn (x) zbiega słabo do δ(x) dla µ- prawie wszystkich x.
Definicja 1.7
Reguła decyzyjna δ0 ∈ D0 nazywa się uogólnioną reguła bayesowską, gdy istnieje σ-skończona miara
τ na (Θ, Ξ) taka, że całka
Z Z
L(θ, z(x)) δ(dz) f (x, θ) τ (dθ)
Θ
X
osiąga skończone minimum dla δ = δ0 .
Definicja 1.8
Reguła δ0 ∈ D nazywa się rozszerzoną regułą bayesowską, gdy dla każdego ε > 0 istnieje rozkład a
priori τε taki, że δ0 jest regułą ε-bayesowską względem τε .
1.2
Estymacja minimaksowa
Definicja 1.9
Reguła decyzyjna δ0 ∈ D∗ jest minimaksowa
• w grze hΘ, D∗ , R∗ i, gdy
sup R∗ (θ, δ0 ) = inf ∗ sup R∗ (θ, δ)
(1)
sup r(τ, δ0 ) = inf ∗ sup r(τ, δ)
(2)
δ∈D θ∈Θ
θ∈Θ
• w grze hΘ∗ , D∗ , ri, gdy
δ∈D τ ∈Θ∗
τ ∈Θ∗
Twierdzenie 1.10
Niech τ będzie rozkładem a priori dla reguły decyzyjnej d0 , bayesowskiej względem τ . Jeśli zachodzi
Z
r(τ, d0 ) =
R(θ, d0 ) τ (dθ) = sup R(θ, d0 )
θ∈Θ
Θ
Wówczas
(a) d0 jest minimaksowa
(b) Jeśli d0 jest jedyną regułą bayesowską względem danego rozkładu a priori τ , to d0 jest jedyną
regułą minimaksową
(c) rozkład τ jest rozkładem najmniej korzystnym.
Wniosek 1.11
Jeśli reguła bayesowska ma stałe ryzyko, to jest minimaksowa
Wniosek 1.12 (twierdzenie Hodgesa-Lehmanna)
Niech Θτ będzie zbiorem punktów parametru θ na którym funkcja ryzyka R(θ, d) reguły bayesowskiej
względem rozkładu a priori τ osiąga swoje maksimum. Jeżeli τ (Θτ ) = 1, to d jest minimaksowa.
2
1.3
Dopuszczalność estymatorów bayesowskich i minimaksowych
1
ESTYMACJA
Twierdzenie 1.13
Jeżeli reguła decyzyjna dn jest bayesowska względem rozkładu a priori τn oraz jeżeli limn→∞ r(τn , dn ) ≤ c
i istnieje reguła d0 dla której dla dowolnego θ ∈ Θ R(θ, d0 ) ≤ c, to istnieje wartośc gry i reguła d0 jest
minimaksowa.
Wniosek 1.14
Jeżeli d0 jest rozszerzoną reguła bayesowską oraz dla dowolnego θ ∈ Θ R(θ, d0 ) = c, to d0 jest minimaksowa.
Twierdzenie 1.15
Jeżeli d0 jest bayeswoska względem rozkładu a priori τ0 i
∀θ ∈ Θ
R(θ, d0 ) ≤ r(τ0 , d0 )
to istnieje wartość gry, d0 jest minimaksowa, a τ0 jest rozkładem najmniej korzystnym.
1.3
Dopuszczalność estymatorów bayesowskich i minimaksowych
Twierdzenie 1.16
Jeżeli istnieje jedyna (z dokładnością do równoważności) reguła bayesowska względem rozkładu a
priori, to jest ona dopuszczalna.
Twierdzenie 1.17
Niech dana będzie gra hΘ, D, Ri gdzie Θ jest otwartym podzbiorem R. Załóżmy, że funkcja ryzyka
R(θ, d) jest ciągłą funkcją zmiennej θ dla każdej d ∈ D. Jeżeli d0 ∈ D jest regułą bayesowską względem
rozkładu a priori τ takiego, że suppτ = clΘ i jeżeli r(τ, d0 ) < ∞, to d0 jest dopuszczalna.
Twierdzenie 1.18
Zachodzi
(a) Jeżeli d0 jest minimaksowa wyznaczona jednoznacznie, to d0 jest dopuszczalna
(b) Jeżeli d0 jest dopuszczalna i ma stałe ryzyko, to jest minimaksowa
Twierdzenie 1.19 (Girshick, Savage)
Jeżeli statystyka T ma rozkład o gęstości względem σ-skończonej miary µ postaci f (t; θ) = C(θ)eθt h(t)
oraz γ(θ) = Eθ [T ], to T jest estymatorem dopuszczalnym i minimaksowym funkcji γ(θ) przy założeniu,
2
2
2
że funkcja straty ma postać L(θ, a) = (γ(θ)−a)
σ 2 (θ) , gdzie σ (θ) = Dθ [T ].
1.4
Asymptotyczna efektywność estymatorów
Niech P = {Pθ | θ ∈ Θ}, gdzie Θ = R każde Pθ jest rozkładem na (X , A) absolutnie ciągłym względem
σ-skończonej miary µ z gęstością f (x, θ).
Definicja 1.20 (Warunki regularności)
Mówimy, że rodzina P spełnia warunki regularności
1. Θ jest otwartym podzbiorem R oraz {x | f (x, θ) > 0} nie zależy od θ
2. Dla każdej θ ∈ Θ oraz prawie każdego x istnieją pochodne
∂
log(f (x, θ))
∂θ
∂2
log(f (x, θ))
∂θ2
3
∂3
log(f (x, θ))
∂θ3
1.4
Asymptotyczna efektywność estymatorów
1
ESTYMACJA
3. Dla każdej θ0 ∈ Θ istnieją funkcje gθ0 , hθ0 oraz Hθ0 , takie że na pewnym otoczeniu θ0 dla prawie
wszystkich x zachodzi
3
2
∂
log(f (x, θ)) ≤ gθ0 (x) ∂ log(f (x, θ)) ≤ hθ0 (x) ∂ log(f (x, θ)) ≤ Hθ0 (x)
∂θ3
∂θ2
∂θ
R
R
R
przy czym gθ0 (x) µ(dx) < ∞, hθ0 (x) µ(dx) < ∞ i Hθ0 (x) Pθ (dx) < ∞ na pewnym otoczeniu
θ0
4. Dla każdej θ istnieje wartość oczekiwana
0 < I(θ) = Eθ
∂
log(f (X, θ)) < ∞
∂θ
Twierdzenie 1.21 (Rao-Cramér-Fréchet)
Niech X = (X1 , . . . Xn ) będzie próbą z rozkładu z gęstością f (x, θ), spełniającą warunki (1)−(4). Niech
T (X) będzie estymatorem różniczkowalnej funkcji γ(θ) i niech b(θ) = Eθ [T (X) − γ(θ)]. Wówczas
1. Dla każdej θ
[γ 0 (θ) + b0 (θ)]2
Eθ (T (X) − γ(θ))2 ≥
nI(θ)
2. Jeżeli T jest estymatorem nieobciążonym funkcji γ, to
[γ 0 (θ)]2
Dθ (T (X) − γ(θ))2 ≥
nI(θ)
Wniosek 1.22
Równość w nierówności C-R zachodzi tylko wtedy, gdy
n
Y
f (xk , θ) = Cn (x) exp[Qn (θ)T (x)]h(x)
k=1
Definicja 1.23
√
Estymator θ̂n , dla którego ciąg { n(θ̂n − θ)} przy n → ∞ jest asymptotycznie normalny N (0, J 2 (θ))
dla pewnej nieujemnej funkcji J 2 , nazywamy estymatorem zgodnym asymptotycznie normalnym (estymatorem CAN).
Definicja 1.24
Niech T1 oraz T2 będą estymatorami CAN parametru θ z asymptotycznymi wariancjami J12 oraz J22
odpowiednio. Estymator T1 jest estymatorem asymptotycznie efektywniejszym niż T2 , gdy
∀θ ∈ Θ
J12 (θ) ≤ J22 (θ)
oraz
∃θ0 ∈ Θ
J12 (θ0 ) < J22 (θ0 )
Niech T1,n = T1,n (X n ) oraz T2,n = T2,n (X n ). Załóżmy, że
√
oraz
√
0
0
D
n(T1,n − θ) → N (0, J 2 (θ))
D
n(T1,n0 − θ) → N (0, J 2 (θ))
0
gdzie n = n (n) i n → ∞, gdy n → ∞.
4
(3)
1.4
Asymptotyczna efektywność estymatorów
1
ESTYMACJA
Definicja 1.25
Asymptotyczną efektywnością względną estymatora T1,n względem T2,n nazywamy granicę
n0 (n)
n→∞
n
ARE(T1 : T2 ) = lim
przy założeniu, że ona istnieje i nie zależy od wyboru ciągu n0 (n) przy którym zachodzi (3)
Twierdzenie
1.26
√
D
Jeżeli n(Tk,n − θ) → N (0, Jk2 (θ)) i granica (4) istnieje, to jest równa J12 (θ)/J22 (θ)
5
(4)