Metody probabilistyczne i statystyka Pojęcie estymacji Rodzaje

Poj cie estymacji
Szacowanie warto ci parametrów lub rozkładu zmiennej losowej w
populacji generalnej na podstawie rozkładu empirycznego,
uzyskanego z próby losowej pobranej z tej populacji nazywa si
estymacj .
Metody probabilistyczne i statystyka
Wykład 9: Estymacja punktowa. Własno ci
estymatorów.
populacja generalna
Małgorzata Kr towska
Wydział Informatyki
Politechnika Białostocka
próba losowa
f(x)
5
N(µ,σ)
licznosc
4
e-mail: [email protected]
strona www: http://aragorn.pb.bialystok.pl/~gkret
3
2
1
0
µ-σ
Modele statystyczne, studia zaoczne
1
µ
µ+σ
x
0
0.5
1.0
1.5
2.0
2.5
3.0
3.5
4.0
Modele statystyczne, studia zaoczne
2
Estymator
Załó my, e rozkład zmiennej losowej X w populacji generalnej
zale y od nieznanego parametru θ.
Rodzaje estymacji
Estymacja punktowa
Wyznaczana jest jedna warto
Estymatorem parametru θ rozkładu zmiennej X nazywamy tak
statystyk
Estymacja przedziałowa
Wyznaczany jest przedział warto ci
tzw. przedział ufno ci
θˆn = g ( X 1 , X 2 ,..., X n )
b d c funkcj próby losowej pobranej z tej populacji, której
rozkład prawdopodobie stwa zale y od szacowanego parametru.
Modele statystyczne, studia zaoczne
3
Modele statystyczne, studia zaoczne
4
Własno ci estymatorów
Zgodno
Estymator parametru θ nazywamy zgodnym, je eli jest
stochastycznie (w sensie prawdopodobie stwa) zbie ny do
szacowanego parametru
• Zgodno
• Nieobci ono
(
)
lim P θˆn − θ < ε = 1, ε > 0
n→∞
• Efektywno
Interpretacja:
wraz ze wzrostem liczno ci próby wzrasta dokładno
parametru θ.
• Dostateczno
Modele statystyczne, studia zaoczne
5
Nieobci ono
n
własno ciami
zgodno ci
i
• je eli estymator θn parametru θ jest nieobci ony (lub
asymptotycznie nieobci ony) oraz je eli jego wariancja w miar
wzrostu liczebno ci próby zmierza do zera, to θn jest estymatorem
zgodnym
n
Interpretacja
Własno nieobci ono ci oznacza, e przy wielokrotnym losowaniu próby
rednia z warto ci przyjmowanych przez estymator nieobci ony równa
si warto ci szacowanego parametru. Własno
ta gwarantuje
otrzymanie za jego pomoc ocen wolnych od bł du systematycznego.
Modele statystyczne, studia zaoczne
i nieobci ono
• je eli estymator θn parametru jest zgodny, to równocze nie jest
asymtotycznie nieobci ony; twierdzenie odwrotne nie jest
prawdziwe
Bn (θˆn ) = E (θˆn ) − θ
Estymator asymptotycznie nieobci ony
lim B (θˆ ) = 0
n →∞
6
Współzale no ci
pomi dzy
nieobci ono ci:
E (θˆn ) = θ , dla kazdego n
Obci enie estymatora:
Modele statystyczne, studia zaoczne
Zgodno
Estymator jest nieobci ony je eli:
oszacowania
7
Modele statystyczne, studia zaoczne
8
Efektywno
Dostateczno
Estymator θn parametru θ jest dostateczny, je eli zawiera wszystkie
informacje, jakie na temat parametru θ wyst puj w próbie, i
aden inny estymator nie mo e da dodatkowych informacji o
szacowanym parametrze.
Estymator nieobci ony θn parametru θ który ma najmniejsz
wariancj spo ród wszystkich nieobci onych estymatorów
danego parametru θ wyznaczonych z prób n-elementowych
nazywamy najefektywniejszym.
ef (θˆn ) =
Miara efektywno ci estymatora:
Vθˆn*
Vθˆn
gdzie θˆn* estymator najefektywniejszy
0 < ef (θˆn ) ≤ 1
Estymator asymtotycznie najefektywniejszy:
lim ef (θˆ ) = 1
n →∞
n
Modele statystyczne, studia zaoczne
9
Metody wyznaczania estymatorów
10
Metoda najwi kszej wiarogodno ci
Niech rozkład badanej cechy X zale y od k nieznanych parametrów θ1, θ2,
..., θk, które chcemy oszacowa na podstawie n-elementowej próby
losowej prostej X1, X2, ..., Xn. Wyznaczamy tzw. funkcj wiarogodno ci
L:
• Metoda momentów
– estymatory zgodne, ale przewa nie obci one i mało efektywne
L = f ( x1 ;θ1 ,θ 2 ,...,θ k ) ⋅ ... ⋅ f ( xn ;θ1 ,θ 2 ,...,θ k )
• Metoda najwi kszej wiarogodno ci
– estymatory zgodne, asymptotycznie nieobci one i asymptotycznie
efektywne
gdzie f( ) oznacza g sto prawdopodobie stwa (cecha ci gła) lub
funkcj rozkładu prawdopodobie stwa (cecha dyskretna).
• Metoda najmniejszych kwadratów (estymacja parametrów
wyra aj cych ró ne zale no ci pomi dzy zmiennymi losowymi)
Estymatorami uzyskanym metod najwi kszej wiarogodno ci nazywamy
takie estymatory, dla których funkcja wiarogodno ci przyjmuje warto
najwi ksz .
– estymatory zgodne nieobci one i najefektywniejsze w klasie
estymatorów liniowych
Modele statystyczne, studia zaoczne
Modele statystyczne, studia zaoczne
11
Modele statystyczne, studia zaoczne
12
Metoda najwi kszej wiarogodno ci
Estymatory parametrów rozkładu normalnego
• utwórz funkcj wiarogodno ci
L = f ( x1 ;θ1 ,θ 2 ,...,θ k ) ⋅ ... ⋅ f ( xn ;θ1 ,θ 2 ,...,θ k )
• policz logarytm naturalny z funkcji L
lnL
• policz pochodne funkcji lnL wzgl dem poszczególnych
parametrów θ1, θ2, ..., θk
∂ ln L
∂θ i
Próba n elementowa poprana z populacji o rozkładzie normalnym
N (µ ,σ )
Estymatory uzyskane metod najwi kszej wiarogodno ci:
µ̂ = x =
σ̂ = s =
• przyrównaj otrzymane pochodne do warto ci 0
1
n
1
n
n
i =1
n
i =1
xi
( xi − x ) 2
∂ ln L
=0
∂θ i
Modele statystyczne, studia zaoczne
13
Modele statystyczne, studia zaoczne
14