Estymatory nieobciążone o minimalnej wariancji

Estymatory nieobciążone
o minimalnej wariancji
Model statystyczny (X , {Pθ , θ ∈ Θ}); g : Θ → R1
Zadanie: oszacować nieznaną wartość g(θ)
Wybrać takie δ(X1 , X2 , . . . , Xn ) by (∀θ ∈ Θ)
nieobciążoność
Eθ δ(X1 , X2 , . . . , Xn ) = g(θ)
minimalna wariancja
2
Dθ2 (δ) = Eθ (δ(X1 , X2 , . . . , Xn ) − g(θ)) = min
Twierdzenie 6.1 (Rao–Blackwella) Jeżeli ĝ jest estymatorem nieobciążonym i jeżeli T jest statystyką
dostateczną zupełną, to Eθ (ĝ|T ) jest również estymatorem nieobciążonym o jednostajnie nie większej
wariancji niż wariancja estymatora ĝ.
Twierdzenie 6.2 Jeżeli T jest statystyką dostateczną zupełną i jeżeli dla danej funkcji g istnieje
funkcja ĝ taka, że
(∀θ ∈ Θ) Eθ ĝ(T ) = g(θ),
to ĝ(T ) jest EN M W [g(θ)].
W Z Statmat 6.1
Przykład (Model dwumianowy).
Model pojedynczej obserwacji X:
({0, 1}, {D(θ), θ ∈ [0, 1]})
Rodzina {D(θ), θ ∈ [0, 1]} jest rodziną wykładniczą:
pθ (x) = exp x log
θ
1−θ
+ log(1 − θ) , x = 0, 1
Statystyka dostateczna: T (x) = x
Model dla próby X1 , X2 , . . . , Xn :
n
({0, 1}, {D(θ), θ ∈ [0, 1]})
Statystyka dostateczna: T =
Model dla statystyki T
P
Xi .
({0, 1, . . . , n}, {B (n, θ) , θ ∈ [0, 1]})
W Z Statmat 6.2
Estymacja parametru θ.
Funkcja g: g(θ) = θ.
T
EN M W [θ] =
n
Estymacja wariancji θ(1 − θ).
Funkcja g: g(θ) = θ(1 − θ).
Wyznaczyć ĝ taką, że ∀θ ∈ Θ
n t
Ep ĝ(T ) =
ĝ(t)
θ (1 − θ)n−t = θ(1 − θ)
t
t=0
n
X
(Wskazówka: v = θ/(1 − θ))
EN M W [θ(1 − θ)] ==
?=
T (n − T )
n(n − 1)
..................................................
W Z Statmat 6.3
Przykład (Model Poissona). Model pojedynczej
obserwacji X:
({0, 1, 2, . . .}, {P o(θ), θ ∈ R+ })
Rodzina {P o(θ), θ ∈ R+ } jest rodziną wykładniczą:
pθ (x) = exp {−x log θ − θ} x!, x = 0, 1, 2, . . .
Statystyka dostateczna: T (x) = x
Model dla próby X1 , X2 , . . . , Xn :
({0, 1, 2 . . .}, {P o(θ), θ ∈ R+ })
Statystyka dostateczna: T =
Model dla statystyki T
P
n
Xi
({0, 1, 2, . . .}, {P o (nθ) , θ ∈ R+ })
W Z Statmat 6.4
Estymacja parametru θ.
Funkcja g: g(θ) = θ.
T
EN M W [θ] =
n
Estymacja λ = e−θ = Pθ {X = 0}. Niech
Yj =
n
1X
1, jeżeli Xj = 0,
∗
oraz λ =
Yj
0, jeżeli Xj > 0.
n j=1
Estymator λ∗ jest nieobciążony, gdyż
Eθ Yj = 1 · Pθ {X = 0} + 0 · Pθ {X > 0}
Ponieważ T jest dostateczna i zupełna, więc λ̂ =
Eθ (λ∗ |T ) jest EN M W [λ].

n

1X
∗

Eθ (λ |T = t) = Eθ
Yj |T = t
n j=1
= Eθ (Y1 |T = t) = Pθ {X1 = 0|T = t}
X
=
Pθ {X1 = 0, X2 = x2 , . . . , Xn = xn |T = t}
x2 +···+xn =t
=♥
W Z Statmat 6.5
Pθ {X1 = x1 , X2 = x2 , . . . , Xn = xn |T = t}
Pθ {X1 = x1 , X2 = x2 , . . . , Xn = xn , T = t}
=
Pθ {T = t}
(
P
0,
jeżeli
xi 6= t
P
= θx1 +···xn e−nθ
t!
· (nθ)t e−nθ , jeżeli
xi = t
x1 !...xn !
=
P
jeżeli P xi =
6 t
jeżeli
xi = t
0,
t!
nt x1 !...xn !
,
Ponieważ
X
t
(α1 + · · · + αn ) =
x1 +···+xn
więc
X
x1 +···+xn
t!
α1x1 · · · αnxn
x ! . . . xn !
=t 1
t!
= nt
x ! . . . xn !
=t 1
Zatem
♥=
X
x2 +···+xn
Czyli
t!
(n − 1)t
=
t
t
n
x
!
.
.
.
x
!
n
2
n
=t
T
1
λ̂ = 1 −
n
W Z Statmat 6.6
Porównanie wariancji estymatorów λ∗ oraz λ̂
λ(1 − λ)
e−θ (1 − e−θ )
=
=
n
n
"
t #2
∞
X
(nθ)t −nθ
1
2
e
Eθ λ̂ =
1−
n
t!
t=0
h
it
2
(n−1)
∞
θ
X
n
=
e−nθ
t!
t=0
h
it
2
(n−1)
∞
θ
X
(n−1)2
1
1
n
−(2+ n )θ
− n θ
= e−(2+ n )θ
=e
e
t!
t=0
Dθ2 λ∗
Dθ2 λ̂
1
−(2− n
)θ
=e
−2θ
−e
1
2− n
) − λ2
(
=λ
..........................................
2
.......................
.........
........
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
λ
......
......
......
......
.....
.
.
.
.
.....
....
2
........................ ......... ..................
.
.....
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
...... ....
λ
.....
....
..... .....
....
.....
.....
.
.
.
.
.
.
.
.
.
.
.... ....
....
...
.... ..
.....
.
...
.......
.
.
.
.
.
.
.
.......
.
.
..
..
.
.
.......
.
.
.
.
.
.
.
.
........
..
..
.
.
.
......
.
.
.
.
.
.
......
.
.
.
.
.
.
.
......
....
..
.
...
.
.
..
..
....
.
.
.
.
.
.
.
...
.
.
.
.
.
...
.
.
.
.
.
.
.
.
...
.
.
...
.
...
..
.
.
.
.
.
...
.
.
...........
...
.
....
D λ∗
D λ̂
λ
W Z Statmat 6.7
Niech ε > 0
Pλ {|λ∗ − λ| < ε} =?
Pλ {|λ∗ − λ| < ε}
(
= Pλ
n(λ − ε) <
Pλ {|λ̂ − λ| < ε} =?
n
X
)
Yi < n(λ + ε)
i=1
n
X
−θ
Yi ∼ B n, λ = e
i=1
Pλ {|λ̂ − λ| < ε}
)
(
n
X
log(λ − ε)
log(λ + ε)
= Pλ
Xi <
1 <
1
log(1 − n )
log(1
−
n)
i=1
n
X
Xi ∼ P o (nθ = −n log λ)
i=1
W Z Statmat 6.8
λ
Pλ {|λ̂ − λ| < ε}
Pλ {|λ∗ − λ| < ε}
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
ε = 0.05; n = 50
0.9793
0.8358
0.7275
0.6256
0.6052
0.5719
0.5912
0.6240
0.8092
0.7661
0.6235
0.5593
0.5291
0.5201
0.5291
0.5593
0.6235
0.7661
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
ε = 0.01; n = 50
0.3590
0.2197
0.2036
0.1176
0.1350
0.1567
0.1879
0.1192
0.1743
0.1850
0.1398
0.1223
0.1146
0.1123
0.1146
0.1223
0.1398
0.1849
..................................................
W Z Statmat 6.9
Przykład (Model gaussowski). Model pojedynczej obserwacji X:
2
2
R, N µ, σ , θ = (µ, σ ) ∈ R × R+
2
2
Rodzina N µ, σ , θ = (µ, σ ) ∈ R × R+ jest wykładnicza
fµ,σ (x) =
2
√
1
µ
µ
exp − 2 x2 + 2 x −
+ log σ 2π
2
2σ
σ
2σ
Statystyka dostateczna: (T1 (x), T2 (x)) = (x, x2 )
Model dla próby X1 , X2 , . . . , Xn :
n
2
2
=
R, N µ, σ , θ = (µ, σ ) ∈ R × R+
n
2
2
R , N µ1n , σ In , θ = (µ, σ ) ∈ R × R+
P
P 2
Statystyka dostateczna: (T1 , T2 ) = ( Xi , Xi )
Niech
1
X̄ =
n
n
X
i=1
Xi , S 2 =
 n
X


2

(X
−µ)
,

i






i=1
n
X
µ znane,
(Xi − X̄)2 , µ nie znane.
i=1
W Z Statmat 6.10
Zmienna losowa S 2 /σ 2 ma rozkład chi–kwadrat z ν
stopniami swobody:
n n,
µ znane,
ν = n − 1, µ nie znane.
 α
 σ
, ν + α > 0,
Eµ,σ S α = Kν,α

∞,
ν + α ≤ 0,
α
ν
ν+α
2
gdzie Kν,α = Γ 2 / 2 Γ 2
Jeżeli µ oraz σ nie są znane, to
EN M W [µ] ==
?= X̄
1
EN M W [σ ] ==
?= n − 1 S 2
n−1
Γ 2
√
EN M W [σ] ==
=
? 2Γ n S
2
√
n−1
hµi
2Γ 2 X̄
EN M W
==
=
?
n
σ
Γ 2 −1 S
2
..................................................
W Z Statmat 6.11
Definicja 6.1 Ilością informacji o θ zawartą w X
nazywamy wielkość Iθ = Eθ [{∂ log pθ (X)/∂θ}2 ].
Twierdzenie 6.3 (Nierówność Cramera–Rao)
Niech {Pθ : θ ∈ Θ} będzie rodziną rozkładów, niech
θ będzie parametrem liczbowym i niech Θ będzie
przedziałem na prostej. Zakładamy, że dla każdego
θ rozkład Pθ ma gęstość pθ . Jeżeli spełnione są pewne
warunki regularności, to nierówność
Dθ2 θ∗ ≥ Iθ−1
spełniona jest dla każdego estymatora nieobciążonego θ∗ parametru θ.
Definicja 6.2 Liczbę
−1
I
eff(θ∗ ) = θ2 ∗
Dθ θ
nazywamy efektywnością estymatora θ∗ .
Lemat. Jeżeli spełnione są warunki regularności, to
2
∂
Iθ = Eθ − 2 log pθ (X)
∂θ
W Z Statmat 6.12
Przykład (Model gaussowski). Model dla próby
X1 , X2 , . . . , Xn :
n
2
R , N µ1n , σ In , µ ∈ R
Obliczamy Iµ
)
(
n
n
1 X
1
√
exp − 2
(Xi − µ)2
pµ (x) =
2σ i=1
σ 2π
n
√ 1 X
log pµ (x) = −n log σ 2π − 2
(Xi − µ)2
2σ i=1
n
1 X
∂
log pµ (x) = 2
(Xi − µ)
∂µ
σ i=1
∂2
n
log
p
(x)
=
−
µ
∂µ2
σ2
Zatem
Iµ =
n
σ2
Ponieważ D2 X̄ = σ 2 /n, więc
eff(X̄) = 1
..................................................
W Z Statmat 6.13
Przykład . Model pojedynczej obserwacji X:
({1, 2, . . .}, {Pθ : θ > 0})
θx e−θ
Pθ {X = x} =
x!(1 − e−θ )
Zadanie: oszacować e−θ na podstawie jednej obserwacji
T (X) jest EN M W [e−θ ], jeżeli
∞
X
θx e−θ
−θ
=
e
T (x)
−θ )
x!(1
−
e
x=1
Rozwiązanie:
T (x) = (−1)x+1
..................................................
W Z Statmat 6.14
Przykład . Model pojedynczej obserwacji X:
(Z, {Pθ : θ ∈ Z})
1
Pθ {X = θ − 1} = Pθ {X = θ} = Pθ {X = θ + 1} =
3
Estymator nieobciążony: θ̂(X) = X
Wariancja: D2 θ̂ ==
?= 2/3
Niech a0 + a1 + a2 = 0 oraz

 a0 , mod(x; 3) = 0
δ(x) = a1 , mod(x; 3) = 1

a2 , mod(x; 3) = 2
Niech θ∗ (X) = X + δ(X)
Eθ θ∗ = θ
(∀θ ∈ Θ)
Dθ2 θ∗ ==
=
?

 ((a2 − 1)2 + a20 + (a1 + 1)2 )/3, mod(θ; 3) = 0
((a0 − 1)2 + a21 + (a2 + 1)2 )/3, mod(θ; 3) = 1

((a1 − 1)2 + a22 + (a0 + 1)2 )/3, mod(θ; 3) = 2
W Z Statmat 6.15
•
•
•
•......
...
...
...
.......
.......
.......
.
.
.
.
..
. ..
. ..
. ..
..
.. ....
.. ....
.. ....
..
.
.
.
.
.
.
..
..
..
..
..
..
..
..
..
..
..
.
.
.
..
.
.
..
.
.
.
.
.
.
.
.
..
..
..
..
.
.
.
.
.
..
..
.
..
..
.
.
.
..
.
.
..
.
.
.
.
.
.
.
.
..
.
.
..
..
..
..
..
..
..
..
.
.
.
.
.
..
..
..
..
.
.
.
..
.
.
..
..
..
..
..
..
..
..
.
.
.
.
.
.
.
.
..
..
..
..
.
.
.
.
.
..
.
.
..
.
.
.
.
.
........................................................................................................................................................
..
..
..
..
..
.. ...
.. ...
.. ...
..
.. ..
.. ..
.. ..
..
.. ..
.. ..
.. ..
..
....
....
....
.
.
.
.
•
•
?
?
?
?
1
?
?
2
3
4
?
?
?
5
6
7
?
•
•
•
•
0
?
•
8
9
10
? : Dθ2 θ̂
• : Dθ2 θ∗ (a0 = 0.5, a1 = 0.5, a2 = −1)
Wniosek: nie istnieje EN M W [θ]
..................................................
W Z Statmat 6.16