Nierówność Craméra - Rao Niech X = (X 1,...,Xn) będzie próbą

Nierówność Craméra - Rao
Niech X = (X1 , . . . , Xn ) będzie próbą losową na przestrzeni X , zaś P = {Pθ , θ ∈ Θ}
rodziną rozkładów prawdopodobieństwa określonych na przestrzeni próby X .
Definicja 1. Estymator T funkcji g(θ) nazywamy nieobciążonym, jeżeli
∀θ∈Θ
Eθ T (X) = g(θ).
Definicja 2. Nieobciążony estymator T funkcji g(θ) nazywamy estymatorem nieobciążonym o minimalnej wariancji (ENMW[g(θ)]), jeżeli dla każdego nieobciążonego estymatora
S funkcji g(θ) zachodzi
∀θ∈Θ V arθ T (X) ≤ V arθ S(X).
Definicja 3.
Przestrzeń statystyczna (X , A, P) jest dominowana, jeżeli istnieje σskończona miara µ na (X , A) taka, że każda P ∈ P jest absolutnie ciągła względem µ
(istnieje gęstość: dP
).
dµ
Przykłady:
- rozkłady absolutnie ciągłe (µ - miara Lebesgue’a),
- rozkłady dyskretne na przeliczalnej (lub skończonej) liczbie punktów (µ(A) = ]{xi ∈ A},
miara ’licząca’).
Definicja 4. Niech Θ ⊂ R będzie przedziałem otwartym. Model statystyczny (X , A, P)
jest regularny w sensie Craméra - Rao, jeżeli:
(1) rodzina miar P = {Pθ , θ ∈ Θ} jest dominowana przez pewną miarę µ (skończoną),
a gęstości fθ mają wspólny nośnik X (niezależny od θ).
(2) istnieje pochodna
∂
f (x),
∂θ θ
(3) można zamienić kolejność różniczkowania względem θ i całkowania względem x.
(4) dla każdego θ ∈ Θ
I(θ) = Eθ
2
∂
ln fθ (X) ∈ (0, +∞).
∂θ
Definicja 5. Informacją Fishera zmiennej losowej X nazywamy funkcję z punktu (4)
warunków regularności w sensie Craméra - Rao.
Definicja 6. Informacją Fishera próby losowej X1 , . . . , Xn nazywamy funkcję postaci
2
∂
In (θ) = Eθ
ln fθ (X1 , . . . , Xn )
∈ (0, +∞).
∂θ
1
Fakt Niech X1 , . . . , Xn będzie próbą prostą z modelu regularnego.
2
∂
(4) Jeżeli istnieje pochodna ∂θ
2 fθ (x) i można zamienić kolejności różniczkowania (drugiego rzędu) względem θ i całkowania względem x, to
I(θ) = −Eθ
∂2
ln fθ (X),
∂θ2
(5) Jeżeli próba losowa jest prosta (X1 , . . . , Xn są iid), to
In (θ) = nI(θ).
Nierówność Craméra - Rao
Niech X = (X1 , . . . , Xn ) bedzie próbą z modelu regularnego w sensie Craméra - Rao.
Jeżeli T (X)
funkcji g(θ), takim, że
R jest nieobciążonym Restymatorem
d
d
0
g (θ) = dθ X T (x)fθ (x)µ(dx) = X dθ T (x)fθ (x)µ(dx), to
∀θ∈Θ
V arθ T (X) ≥
[g 0 (θ)]2
.
In (θ)
Definicja 7. Efektywnością nieobciążonego estymatora T funkcji g(θ) nazywamy funkcję
e(T ) =
[g 0 (θ)]2
In (θ)
V arθ T (X)
=
[g 0 (θ)]2
.
V arθ T (X) · In (θ)
Definicja 8. Estymator nieobciążony T funkcji g(θ) w modelu regularnym nazywany jest
estymatorem efektywnym w sensie Craméra - Rao, jeżeli
∀θ∈Θ
e(T ) = 1.
UWAGI
(1) Jeżeli estymator T jest efektywny, to jest też estymatorem ENMW[g(θ)].
(2) Mogą istnieć ENMW, które nie są efektywne.
(3) Jeżeli model nie jest regularny, to mogą istnieć estymatory nieobciążone nadefektywne (superefektywne), tzn. takie, których wariancja jest mniejsza niż oszacowanie
wynikające z nierówności Craméra - Rao.
2