Estymatory nieobciazone z jednostajnie minimalna wariancja

Estymatory nieobciążone z jednostajnie
minimalną wariancją
Wrocław, 25 października 2014
Rozkłady wybranych statystyk próbkowych - cd
Statystyki próbkowe
Niech X = (X1 , X2 , . . . Xn )0 będzie n elementowym wektorem
losowym.
Średnia z próby:
n
1X
Xi
X̄ =
n i=1
Statystyki próbkowe
Niech X = (X1 , X2 , . . . Xn )0 będzie n elementowym wektorem
losowym.
Średnia z próby:
n
1X
Xi
X̄ =
n i=1
Wariancja nieobciążona:
S2 =
n
1 X
(Xi − X̄ )2
n − 1 i=1
Statystyki próbkowe
Niech X = (X1 , X2 , . . . Xn )0 będzie n elementowym wektorem
losowym.
Średnia z próby:
n
1X
Xi
X̄ =
n i=1
Wariancja nieobciążona:
S2 =
n
1 X
(Xi − X̄ )2
n − 1 i=1
Wariancja obciążona:
S02 =
n
1X
(Xi − X̄ )2
n i=1
Rozkłady statystyk próbkowych
Lemat 4.1:
Niech X1 , X2 , . . . Xn będzie n elementową próbą losową, a g (x),
funkcją dla której E [g (x)] oraz Var[g (x)] istnieją. Wówczas:
E
n
X
!
g (Xi )
= nE [g (X1 )]
i=1
oraz
Var
n
X
i=1
!
g (Xi )
= nVar [g (X1 )]
Rozkłady statystyk próbkowych
Twierdzenie 4.1:
Niech X1 , X2 , . . . Xn będzie n elementową próbą losową, o średniej
EXi = µ, i wariancji VarXi = σ 2 < ∞ Wówczas:
1. E X̄ = µ
σ2
n
σ2
2. Var X̄ =
3. ES 2 =
4. VarS 2 =
2
4
n−1 σ
Rozkłady statystyk próbkowych
Dowód:
Korzystając z Lematu 4.1 otrzymujemy:
E X̄ = E
n
1X
Xi
n i=1
!
1
= E
n
n
X
!
Xi
i=1
co dowodzi równości (1) w Twierdzeniu 4.1.
=
1
nEX1 = µ
n
Rozkłady statystyk próbkowych
Dowód:
Korzystając z Lematu 4.1 otrzymujemy:
E X̄ = E
n
1X
Xi
n i=1
!
1
= E
n
n
X
!
Xi
=
i=1
1
nEX1 = µ
n
co dowodzi równości (1) w Twierdzeniu 4.1.
Analogicznie dowodzimy równości (2):
Var X̄ = Var
n
1X
Xi
n i=1
!
n
X
1
= 2 Var
Xi
n
i=1
!
=
1
σ2
nVarX
=
1
n2
n
Rozkłady statystyk próbkowych
Dowód:
Aby dowieść punktu (3) Twierdzenia, najpierw pokażemy, że
zachodzi równość
n
X
(Xi − X̄ )2 =
i=1
n
X
Xi2 − nX̄ 2
(1)
i=1
Niech a ∈ R, powyższą równość dowodzimy następująco:
n
X
n
X
i=1
i=1
(Xi − X̄ )2 =
=
n
X
n
X
i=1
i=1
(Xi − a)2 + 2
=
(Xi − a + a − X̄ )2 =
(Xi − a)(a − X̄ ) +
n
X
i=1
n
X
i=1
Xi2 − nX̄ 2 .
(a − X̄ )2 =
Rozkłady statystyk próbkowych
Dowód:
Zatem korzystając z równania (1) i Lematu 4.1 dostajemy:
2
ES = E
n
1 X
(Xi − X̄ )2
n − 1 i=1
1
=
E
n−1
!
=E
n
X
n
X
1
X 2 − nX̄ 2
n − 1 i=1 i
!
Xi2
!
− nE X̄
2
=
i=1
1
=
n(σ 2 + µ2 ) − n
n−1
σ2
+ µ2
n
!!
= σ2
!!
=
Estymatory nieobciążone z jednostajnie
minimalną wariancją
Estymator
Definicja:
Statystykę T (X1 , X2 , . . . Xn ) służącą do oszacowania nieznanego
parametru populacji nazywamy estymatorem. Dla konkretnych
wartosci próby X1 = x1 , X2 = x2 , . . . , Xn = xn , liczbę
T (x1 , x2 , . . . xn ) nazywamy wartością estymatora.
Błąd średniokwadratowy
Za liczbową charakterystykę dokładności estymatora T
rzeczywistej funkcji g (θ) podlegającej ocenie, przyjmuje się bład
średnikwadratowy, oznaczany przez BSKθ (T )
Definicja:
Błędem średniokwadratowym estymatora T funkcji g (θ) nazywamy
BSKθ (T ) = Eθ [(T − g (θ))2 ]
Błąd średniokwadratowy
Za liczbową charakterystykę dokładności estymatora T
rzeczywistej funkcji g (θ) podlegającej ocenie, przyjmuje się bład
średnikwadratowy, oznaczany przez BSKθ (T )
Definicja:
Błędem średniokwadratowym estymatora T funkcji g (θ) nazywamy
BSKθ (T ) = Eθ [(T − g (θ))2 ]
Zauważmy, że
BSKθ (T ) = Eθ [(T −Eθ (T ))2 ]+(Eθ (T )−g (θ))2 = Varθ (T )+bθ (T )
gdzie bθ (T ) oznacza obciążenie estymatora.
Estymator lepszy, dopuszczalny
Definicja:
Estymator T1 jest lepszy od estymatora T2 , jeżeli
BSKθ (T1 ) ¬ BSKθ (T2 )
dla każdego θ ∈ Θ
i chociażby dla jednej wartości θ spełniona jest nierówność ostra
BSKθ (T1 ) < BSKθ (T2 )
Estymator lepszy, dopuszczalny
Definicja:
Estymator T1 jest lepszy od estymatora T2 , jeżeli
BSKθ (T1 ) ¬ BSKθ (T2 )
dla każdego θ ∈ Θ
i chociażby dla jednej wartości θ spełniona jest nierówność ostra
BSKθ (T1 ) < BSKθ (T2 )
Definicja:
Estymator T nazywa się dopuszczalny, jeżeli nie istnieje estymator
lepszy niż T . Wprzeciwnym razie estymator T nazywa się
niedopuszczalny.
Estymator lepszy, dopuszczalny
Przykład
Niech X1 , X2 będą zmiennymi losowymi takimi, że Eθ (Xi2 ) < ∞ i
niech g (θ) = Eθ (Xi ), i = 1, 2. Który z estymatorów jest lepszy
T (X1 , X2 ) = X1
czy
1
S(X1 , X2 ) = (X1 + X2 )?
2
Estymator lepszy, dopuszczalny
Przykład
Niech X1 , X2 będą zmiennymi losowymi takimi, że Eθ (Xi2 ) < ∞ i
niech g (θ) = Eθ (Xi ), i = 1, 2. Który z estymatorów jest lepszy
T (X1 , X2 ) = X1
czy
1
S(X1 , X2 ) = (X1 + X2 )?
2
Estymatory spełniają równość:
Eθ (T ) = Eθ (S) = g (θ) równoważnie bθ (T ) = bθ (S).
Jednocześnie:
1
Varθ (S) = Varθ (X1 ) < Varθ (X1 ) = Varθ (T ),
2
dla każdego θ ∈ Θ.
A zatem: BSKθ (S) < BSKθ (T ), czyli S jest estymatorem lepszym
niż T , a T jest estymatorem niedopuszczalnym.
Estymator nieobciążony
Definicja:
Estymator T (X1 , X2 , . . . , Xn ) rzeczywistej funkcji g (θ) jest
nieobciążony, jeżeli
Eθ [T (X1 , X2 , . . . , Xn )] = g (θ)
dla każdego θ ∈ Θ
Estymator nieobciążony
Definicja:
Estymator T (X1 , X2 , . . . , Xn ) rzeczywistej funkcji g (θ) jest
nieobciążony, jeżeli
Eθ [T (X1 , X2 , . . . , Xn )] = g (θ)
dla każdego θ ∈ Θ
Obciążeniem estymatora T nazywamy:
bθ (T ) = Eθ (T ) − g (θ)
Estymator nieobciążony
Przykład:
Niech X = (X1 , X2 , . . . , Xn )0 będzie wektorem losowym, dla
którego Eθ Xi = 1θ . Niech
n
1X
T (X) =
Xi = X̄ .
n i=1
Wówczas:
1
θ
A zatam średnia próbkowa jest nieobciążonym estymatorem
wartości oczekiwanej.
Eθ [T (X)] =
Estymator nieobciążony
Przykład:
Niech X1 , X2 , . . . , Xn będzie próbą z rozkładu normalnego
N(µ, σ 2 ), µ ∈ R, σ > 0. Rozważmy estymator wariancji postaci:
S2 =
n
1 X
(Xi − X̄ )2
n − 1 i=1
Ponieważ
E (S 2 ) = σ 2
wariancja próbkowa wyrażona powyższym wzorem jest
nieobciążonym estymatorem wariancji σ 2 .
Estymator nieobciążony
Przykład:
Innym estymatorem wariancji σ 2 jest estymator:
S02 =
n
1X
n−1 2
(Xi − X̄ )2 =
S ,
n i=1
n
dla którego:
ES02
=E
n−1 2
n−1 2
S =
σ ,
n
n
czyli jest on estymatorem obciążonym.
Estymator nieobciążony
Definicja:
Niech T1 i T2 będą dwoma nieobciążonymi estymatorami funkcji
g (θ). Powiemy, że estymator T1 jest lepszy od estymatora T2 ,
jeżeli:
Var (T1 ) ¬ Var (T2 ), dla każdego θ ∈ Θ
i dla co najmniej jednej wartości θ zachodzi:
Var (T1 ) < Var (T2 ).
Estymator nieobciążony
Definicja:
Niech T1 i T2 będą dwoma nieobciążonymi estymatorami funkcji
g (θ). Powiemy, że estymator T1 jest lepszy od estymatora T2 ,
jeżeli:
Var (T1 ) ¬ Var (T2 ), dla każdego θ ∈ Θ
i dla co najmniej jednej wartości θ zachodzi:
Var (T1 ) < Var (T2 ).
Estymator nieobciążony
Przykład:
Niech X1 , X2 , X3 będzie daną próbą losową o średniej E (Xi ) = µ i
P
wariancji Var (Xi ) = σ 2 i niech T1 (X1 , X2 , X3 ) = 31 3i=1 Xi i
T2 (X1 , X2 , X3 ) = 12 X1 + 32 X2 − 16 X3 będą dwoma estymatorami
średniej µ. Który z nich jest lepszy?
Estymator nieobciążony
Przykład:
Niech X1 , X2 , X3 będzie daną próbą losową o średniej E (Xi ) = µ i
P
wariancji Var (Xi ) = σ 2 i niech T1 (X1 , X2 , X3 ) = 31 3i=1 Xi i
T2 (X1 , X2 , X3 ) = 12 X1 + 32 X2 − 16 X3 będą dwoma estymatorami
średniej µ. Który z nich jest lepszy?
Sprawdźmy ich nieobciążoność:
E
E
3
1X
Xi
3 i=1
!
1
= 3µ = µ
3
1
2
1
1
2
1
X1 + X2 − X3 = µ + µ − µ = µ,
2
3
6
2
3
6
a zatem oba estymatory są nieobciążone.
Estymator nieobciążony
Przykład:
Wyznaczmy zatem wariancje tych estymatorów:
Var
Var
3
1X
Xi
3 i=1
!
1
1
= 3Var (X1 ) = σ 2
9
3
1
2
1
1
4
1
26
X1 + X2 − X3 = σ 2 + σ 2 + σ 2 = σ 2 ,
2
3
6
4
9
36
36
czyli
12
26
<
= Var (T2 ),
36
36
a stąd estymator T1 jest lepszy od T2 .
Var (T1 ) =
Estymator nieobciążony z jednostajnie minimalną wariancją
Definicja:
Niech g (θ) będzie funkcją estymowalną i niech W będzie zbiorem
jej wszystkich estymatorów nieobciążonych posiadających
skończoną wariancję dla każdego θ ∈ Θ. Statystyka T ∈ W jest
nazywana estymatorem nieobciążonym o minimalnej wariancji
funkcji g (θ) (estymatorem NJMW), jeżeli:
• Eθ (T 2 ) < ∞, dla każdego θ ∈ Θ
• Varθ (T ) = Varθ (U), dla każdego U ∈ W i każdego θ ∈ Θ