Lista czwarta

Inżynierskie zastosowania statystyki — ćwiczenia
Tydzień 4: Estymacja parametrów rozkładu metodą największej wiarogodności
Poniżej opisano używane pojęcia i zebrano charakterystyczne dla tego tematu typy zadań
Zadania
1. Wyznacz estymator µ dla niezależnych zmiennych losowych X1 , X2 , . . . , Xn pochodzących z rozkładu
normalnego N (µ, 1).
Przypomnienie: Funkcja gęstości rozkładu N (µ, σ) wynosi fσ (x) =
√1
σ 2π
2
exp( −(x−µ)
2σ 2 ).
Rozwiązanie tego zadania omówione jest na kolejnej stronie wyjaśniającej metodę estymacji
metodą największej wiarogodności.
2. Dana jest próbka N = 100 wartości obserwacji (xi ) zmiennej losowej X pochodzącej z rozkładu BernoulP
liego B(n, p). Wiedząc, że n = 30 i znając sumę obserwacji N
i=1 xi = 2500 oblicz wartość estymatora p̂
parametru p za pomocą MNW.
Przypomnienie: dla X pochodzącego z rozkładu
Bernoulliego B(n, p) o prawdopodobieństwie sukcesu p
oraz liczbie prób n zachodzi: P (X = k) = nk pk (1 − p)n−k dla k ∈ {0, 1, . . . , n}.
3. Dana jest próbka n mierzonych wartości xi . Metodą największej wiarogodności oszacuj wartość parametru
λ populacji Poissona z której próbka została zaczerpnięta.
Przypomnienie: dla X pochodzącego z rozkładu Poissona zachodzi: P (X = k) = e−λ λk! 1N (k).
k
4. Rozważmy próbkę prostą z rozkładu wykładniczego o nieznanym parametrze λ > 0. Znajdź estymator
największej wiarygodności dla tego parametru.
Przypomnienie: funkcją gęstości rozkładu wykładniczego jest funkcja f (x) = λe−λx 1[0,∞) (x).
5. Metodą największej wiarogodności wyznacz estymator odchylenia standardowego σ dla próby losowej
X = (X1 , X2 , . . . , Xn ) niezależnych zmiennych losowych pochodzących z rozkładu normalnego N (0, σ).
6. Funkcja gęstości prawdopodobieństwa niezależnych zmiennych losowych pochodzących z tego samego rozkładu wyraża się wzorem
fθ (x) = θ1(−∞,0) (x) + (1 − θ)1(0,∞) (x), θ ∈ (0, 1).
W n = 100 próbach otrzymano 6 dodatnich wyników. Oblicz estymator θ̂ parametru θ wykorzystując
MNW.
7. (*) W losowaniu lotto stwierdzono następujące wygrane:
trafienie
6/6
5/6
4/6
3/6
liczba trafień
2
114
6566
103869
Korzystając z metody największej wiarogodności oszacuj liczbę grających.
(Weryfikacja: prawdziwa liczba grających 19.11.2013 to 4 633 135)
Teoria
W estymacji metodą największej wiarogodności obliczamy funkcję wiarogodności, która dla rozkładu
Q
dyskretnego jest iloczynem poszczególnych prawdopodobieństw: L(θ, x1 , x2 , . . . , xn ) = ni=1 P (Xi = xi ) dla
próby (X1 , X2 , . . . , Xn ) niezależnych zmiennych losowych o jednakowym rozkładzie, zaś dla rozkładu ciągłego
Q
jest iloczynem poszczególnych funkcji gęstości: L(θ, x1 , x2 , . . . , xn ) = ni=1 fθ (xi ) dla próby (X1 , X2 , . . . , Xn ) niezależnych zmiennych losowych o jednakowym rozkładzie. Estymatorem największej wiarogodności jest parametr
θ̂, który maksymalizuje wartość funkcji wiarogodności, tzn. dla każdej wartości θ mamy L(θ̂, x1 , x2 , . . . , xn ) ­
L(θ, x1 , x2 , . . . , xn ). Taki parametr może w ogólności nie istnieć.
Jeżeli L(θ, x1 , . . . , xn ) jest funkcją różniczkowalną, to estymatora największej wiarogodności poszukujemy
1 ,...,xn )
wśród punktów spełniających równanie ∂L(θ,x∂θ
= 0. Często wygodniej używać logarytmu naturalnego
funkcji L niż samej funkcji L, ponieważ funkcja logarytmiczna jest ściśle rosnąca, co powoduje, że ekstrema
funkcji L(θ, x1 , . . . , xn ) oraz logarytmu wiarogodności l(θ, x1 , . . . , xn ) = ln(L(θ, x1 , . . . , xn )) są osiągane w tym
samym punkcie.
W zadaniu pierwszym zadany jest rozkład ciągły, zatem funkcja wiarogodności wynosi
n
Y
n
Y
(xi −µ)2
n
1
√ e− 2
L(µ, x1 , . . . , xn ) =
fµ (xi ) =
= (2π)− 2 e−
2π
i=1
i=1
Pn
i=1
(xi −µ)2
2
Naturalnym wyborem będzie poszukiwanie minimum logarytmu naturalnego l funkcji wiarogodności L:
n
n
n
n
1X
1X
(xi − µ)2 = − ln(2π) −
(x2 − 2µxi + µ2 )
l(µ, x1 , . . . , xn ) = ln(L(µ, x1 , . . . , xn )) = − ln(2π) −
2
2 i=1
2
2 i=1 i
Po dalszym uproszczeniu otrzymujemy wyrażenie:
n
n
X
n
n
1X
x i − µ2
x2i + µ
l(µ, x1 , . . . , xn ) = − ln(2π) −
2
2 i=1
2
i=1
Naszym zadaniem jest próba odnalezienia takiego µ̂, by wartość l(µ̂, x1 , . . . , xn ) była największa. W tym
celu poszukajmy miejsc zerowych pochodnej cząstkowej z logarytmu funkcji wiarogodności względem nieznanego
parametru µ:
n
∂l(µ, x1 , . . . , xn ) X
xi − nµ.
=
∂µ
i=1
Powyższe wyrażenie przyjmuje wartość zero dla µ̂ = n1 ni=1 xi . Pozostaje sprawdzić, czy w tym punkcie funkcja
l ma maksimum. W tym celu można na przykład policzyć drugą pochodną funkcji l w punkcie µ = µ̂:
P
∂2l
(µ̂, x1 , . . . , xn ) = −n < 0.
∂µ2
Skoro druga pochodna w punkcie µ̂ jest ujemna, to w tym punkcie funkcja wiarogodności ma maksimum.
Ostatecznie udało się nam wyznaczyć estymator µ̂ średniej µ dla próby (x1 , . . . , xn ) pochodzącej z rozkładu
normalnego N (µ, 1) metodą największej wiarogodności i wynosi on
µ̂ =
n
1X
xi .
n i=1