METODY ESTYMACJI PUNKTOWEJ X1,...,Xn

METODY ESTYMACJI PUNKTOWEJ
X1, . . . , Xn - próbka z rozkładu Pθ , θ ∈ Θ (θ jest
nieznane).
Definicja. Estymatorem (punktowym) parametru θ
nazywamy dowolną statystykę T (X1, . . . , Xn) o wartościach w Θ, którą uznajemy za przybliżenie θ.
Metoda podstawiania częstości. Polega na szacowaniu nieznanego parametru (lub prawdopodobieństwa)
poprzez jego empiryczny odpowiednik.
W Przykładzie 1 (patrz temat Modele statystyczne)
chcemy oszacować frakcję θ jednostek w populacji, posiadających pewną własność. Parametr θ możemy traktować jako nieznane prawdopodobieństwo wylosowania
z populacji jednostki, posiadającej tę własność. Oczywistym estymatorem dla θ jest θb = X̄, ponieważ X̄
jest frakcją jednostek posiadających tę własność wśród
zbadanych (jest to też odpowiedne prawdopodobieństwo empiryczne).
Wada tej metody: estymator nie musi wyznaczać się w
sposób jednoznaczny.
Metoda momentów. Polega na przyrównaniu momentów rozkładu Pθ do odpowiednich momentów empirycznych. Z powstałego w ten sposób układu równań
wyliczamy θ. Układamy tyle równań, ile jest niewiado1
mych parametrów (współrzędnych wektora θ), np.:
Eθ X = X̄,
Eθ (X − Eθ X)k = m
b k, k > 2
(tutaj X oznacza zmienną losową o rozkładzie Pθ ).
Przykład (rozkład gamma). Rozkład Γ(α, λ), α > 0,
λ > 0, jest rozkładem o gęstości
λαxα−1e−λx
f (x) =
, x > 0.
Γ(α)
Chcemy oszacować θ = (α, λ). Ponieważ mamy dwa
nieznane parametry, wyliczamy:
α
α
Varθ X = 2 .
Eθ X = ,
λ
λ
Zatem układamy równania:
α
α
b2,
= X̄,
=
S
λ
λ2
skąd otrzymujemy
2
X̄
X̄
b= ,
λ
α
b=
.
2
2
b
b
S
S
Estymatory metody momentów też nie muszą wyznaczać się w sposób jednoznaczny.
Przykład (rozkład Poissona). Rozkład Poissona P(λ),
λ > 0, określa się jako
λk −λ
P (X = k) = e , k = 0, 1, . . . .
k!
2
Chcemy oszacować λ. Wyliczamy:
EλX = VarλX = λ.
b = X̄ lub λ
b = Sb2.
Zatem λ
Metoda kwantyli. Polega na przyrównaniu kwantyli
rozkładu Pθ do odpowiednich kwantyli empirycznych.
Otrzymujemy równania postaci ξp(θ) = ξbp, lub równoważnie p = Fθ (ξbp). Bierzemy tyle różnych wartości p,
ile mamy niewiadomych, i rozwiązujemy układ równań
względem współrzędnych wektora θ. Estymatory też
nie muszą wyznaczać się w sposób jednoznaczny.
Przykład (rozkład Weibulla). Rozkład Weibulla W(α, c),
α > 0, c > 0 jest określony przez dystrybuantę
α
Fα,c(x) = 1 − e−(cx) , x > 0.
Chcemy oszacować θ = (α, c). Ponieważ mamy dwa
nieznane parametry, ułożymy równania dla dwóch kwantyli, np. weźmy p = 1/4 i p = 3/4:
{
{
−(cξb1/4 )α
−(cξb1/4 )α
1−e
= 1/4
e
= 3/4
⇐⇒
⇐⇒
−(cξb3/4 )α
−(cξb3/4 )α
1−e
= 3/4
e
= 1/4
{
{
(cξb1/4)α = − ln 3/4
(ξb1/4/ξb3/4)α = (ln 4 − ln 3)/ ln 4
⇐⇒
α
b
(cξ3/4) = − ln 1/4
(cξb3/4)α = ln 4
=⇒
ln(ln 4 − ln 3) − ln ln 4
,
α
b=
b
b
ln ξ1/4 − ln ξ3/4
3
(ln 4)1/bα
b
c=
.
b
ξ3/4
Metoda największej wiarogodności. Idea polega
na tym, że za estymator θ bierzemy taką wartość parametru, dla której otrzymane wyniki doświadczenia są
najbardziej prawdopodobne.
Niech fθ (x1, . . . , xn) będzie łączną gęstością próbki
X1, . . . , Xn, do której są podstawione wartości obserwacji x1, . . . , xn (w przypadku rozkładu dyskretnego bierzemy fθ (x1, . . . , xn) = Pθ (X1 = x1, . . . , Xn = xn)).
Zauważmy, że
n
∏
fθ (x1, . . . , xn) =
fθ (xi),
(1)
i=1
gdzie fθ jest gęstością rozkładu Pθ (w przypadku rozkładu dyskretnego bierzemyfθ (x) = Pθ (Xi = x)). Funkcję (1), rozważaną jako funkcję z Θ do R, nazywamy
wiarogodnością, lub funkcją wiarogodności (standardowo
oznaczamy tę funkcję jako L).
b 1, . . . , Xn) jest
Definicja. Mówimy, że statystyka θ(X
estymatorem największej wiarogodności (ENW) parametru θ, jeśli
b 1, . . . , xn) ∈ Arg sup L(θ, x1, . . . , xn).
θ(x
θ∈Θ
Uwaga. Nieujemna funkcja L osiąga maksimum w tym
4
samym punkcie, co funkcja
ln L(θ, x1, . . . , xn) =
n
∑
ln fθ (xi).
i=1
Przykład (rozkład wykładniczy). Dla rozkładu wykładniczego z parametrem λ > 0 funkcja wiarogodności zadaje się wzorem
n
n
∑
∏
( −λx )
λe i
=⇒ ln L(λ) = n ln λ−λ
xi .
L(λ) =
i=1
i=1
Biorąc pochodną względem λ i przyrównując ją do zera,
otrzymujemy
n
b 1 , . . . , Xn ) = 1 .
− nx̄ = 0 =⇒ λ(X
λ
X̄
Przykład (rozkład Poissona). Dla rozkładu Poissona
P(λ), λ > 0, funkcja wiarogodności zadaje się wzorem
n ( x −λ )
∏
λ ie
L(λ) =
=⇒
x
!
i
i=1
ln L(λ) = ln λ
n
∑
xi − nλ − ln(x1! . . . xn!).
i=1
Zatem
nx̄
−n=0
λ
b 1, . . . , Xn) = X̄.
λ(X
=⇒
5
Przykład (rozkład normalny). Dla rozkładu normalnego N (µ, σ 2), niech θ = (µ, σ). Mamy
(x − µ)2
1
.
ln fθ (x) = − ln(2π) − ln σ −
2
2σ 2
Zatem
n
n
1 ∑
ln L(θ) = − ln(2π) − n ln σ − 2
(xi − µ)2.
2
2σ i=1
Tworząc układ równań
∂ ln L
∂ ln L
= 0,
= 0,
∂µ
∂σ
otrzymujemy
n
n
1 ∑
nx̄ nµ
2
(x
−
µ)
= 0 =⇒
−
=
0,
−
+
i
σ2
σ2
σ σ 3 i=1
v
u n
u1 ∑
b
µ
b(X1, . . . , Xn) = X̄, σ
b(X1, . . . , Xn) =t
(Xi − X̄)2 = S.
n i=1
Przykład (rozkład Laplace’a). Dla rozkładu Laplace’a
z parametrami µ, λ > 0 o gęstości
λ
fθ (x) = e−λ|x−µ|, x ∈ R,
2
funkcja wiarogodności zadaje się wzorem
)
n (
∏
λ −λ|xi−µ|
L(θ) =
e
,
θ = (µ, λ).
2
i=1
6
Zatem
ln L(θ) = n ln λ − n ln 2 − λ
n
∑
|xi − µ|
=⇒
i=1
n ∑
|xi − µ| = 0,
−
λ i=1
n
λ
n
∑
sign(xi − µ) = 0.
i=1
Zatem
d 1, . . . , Xn),
µ
b(X1, . . . , Xn) = med(X
n
b
λ(X1, . . . , Xn) = ∑n
.
d
|Xi − med(X1, . . . , Xn)|
i=1
Przykład (rozkład jednostajny). Dla rozkładu jednostajnego na [0, θ], gdzie θ > 0, funkcja wiarogodności
zadaje się wzorem
{ −n
θ dla θ > max(x1, . . . , xn) = xn:n
L(θ) =
0 w p.p.
Jest oczywiste, że funkcja L(θ) osiąga swój maksimum
na lewym końcu półprostej [xn:n, ∞), czyli
b 1, . . . , Xn) = Xn:n.
θ(X
7