Od średniej w modelu gaussowskim do kwantyli w podstawowym

Transkrypt

Od średniej w modelu gaussowskim
do kwantyli w podstawowym modelu nieparametrycznym
IMPAN 1.X.2009
Rozszerzona wersja wykładu:
O ŚREDNIEJ STATYSTYCZNEJ
Ryszard Zieliński
XII Międzynarodowe Warsztaty dla Młodych Matematyków
Rachunek Prawdopodobieństwa i Statystyka
Kraków, 20–26 IX 2009 r.
Ryszard Zieliński XII Międzynarodowe Warsztaty dla Młodych Matematyków”Rachunek
Prawdopodobieństwa i Statystyka”Kraków
WYNIKI OBSERWACJI
X1 , X2 , . . . , Xn
WYNIKI OBSERWACJI
X1 , X2 , . . . , Xn
Model statystyczny:
Xi = µ + εi ,
i = 1, 2, . . . , n
WYNIKI OBSERWACJI
X1 , X2 , . . . , Xn
Model statystyczny:
Xi = µ + εi ,
0.4
0.3
0.2
0.1
i = 1, 2, . . . , n
..........
........ .............
.....
.....
.....
.....
.....
.....
.
.
.
.....
.....
.....
....
.
.
.....
.
...
.....
.
.
.
..
.....
.
.
.
.
.....
...
.
.
.
.....
.
...
.
.....
.
.
.
.....
...
.
.
.
.
.....
....
.
......
.
.
.
.......
...
.
.
.
.
.
.
........
....
.
.
.
.
............
.
.
.
.
.
..
.................
......................
-1
0
1
•
2
µ
3
4
5
UŚREDNIENIE
X =
n
1X
Xj
n j=1
UŚREDNIENIE
X =
0.4
0.3
0.2
0.1
n
1X
Xj
n j=1
............................
.....
......
.....
.....
.....
.....
.....
.....
.
.
.
.....
...
.
.
.
.....
...
.
.....
.
.
...
.....
.
.
.
.....
..
.
.
.
.
.....
...
.
.
.....
.
.
...
.....
.
.
.
.
.....
...
.
.
.
......
.
....
.
......
.
.
.
.
.......
....
.
.
.
.
.
..........
.
.
......
.
.
.....................
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.........
-1
0
1
µ
X
• •
2
3
4
5
UZASADNIENIE
średnia X minimalizuje względem µ funkcję
Pn
j=1 (Xi
− µ)2
astronomia, metrologia, geodezja, ...
ROZKŁAD NORMALNY N(µ, σ 2 )
n 1
1
ϕ(x) = √ exp −
2
σ 2π
x −µ
σ
2 o
Funkcja charakterystyczna rozkładu normalnego N(µ, σ):
1
φX (t) = exp{iµt − σ 2 t 2 }
2
Funkcja charakterystyczna średniej X =
Pn
j=1 Xj /n:
!
1 σ2 2
φX (t) = exp{iµt −
t }
2 n
Funkcja charakterystyczna rozkładu normalnego N(µ, σ):
1
φX (t) = exp{iµt − σ 2 t 2 }
2
Funkcja charakterystyczna średniej X =
Pn
j=1 Xj /n:
!
1 σ2 2
φX (t) = exp{iµt −
t }
2 n
Inne rozkłady?
Rozkłady o trochę tłuściejszych ogonach:
......
0.4................
.. .. ....
. . ........
... ...
.. ...
.0.3
... ...
... ...
... ...
... ...
.. ..
... ...
... 0.2
...
... ...
.. ..
... ...
... ...
.. ..
... ...
.... ...
.. ...... 0.1
........
.
.
.
.
.
.
.
........
.
.
.
....
...............
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
...................................................
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
..
........................... ..........
.....
-5
-4
-3
-2
-1
0
1
2
3
4
5
TŁUSTE OGONY
- rozmiar finansowej odpowiedzialności ubezpieczyciela
w związku z wypadkami losowymi jego klientów przy ubezpieczeniu
OC, AC oraz od wypadków przy pracy
TŁUSTE OGONY
- wielkość plików przesyłanych w internecie
TŁUSTE OGONY
- pojemność złóż ropy naftowej
TŁUSTE OGONY
- rozmiary osiedli ludzkich
TŁUSTE OGONY
- rozmiary osiedli ludzkich
- tzw. zwroty w operacjach giełdowych
ROZKŁAD CAUCHY’EGO (Lorenza, Breita-Wignera) Ca(µ, λ)
g (y ) =
λ
1
,
2
π λ + (y − µ)2
G (y ) =
y −µ
1 1
+ arctg
2 π
λ
Funkcja charakterystyczna:
φY (t) = exp{iµt − |λt|}
g (y ) =
λ
1
,
2
π λ + (y − µ)2
G (y ) =
y −µ
1 1
+ arctg
2 π
λ
Funkcja charakterystyczna średniej Y =
Pn
j=1 Yj /n:
g (y ) =
λ
1
,
2
π λ + (y − µ)2
G (y ) =
y −µ
1 1
+ arctg
2 π
λ
Funkcja charakterystyczna średniej Y =
Pn
j=1 Yj /n:
ROZKŁAD CAUCHY’EGO
ROZKŁAD ŚREDNIEJ ARYTMETYCZNEJ Z PRÓBY
JEST TAKI SAM JAK
ROZKŁAD POJEDYNCZEJ OBSERWACJI
Ogólniej:
SYMETRYCZNE ROZKŁADY α-STABILNE
exp{iµt − |λt|α }
Ogólniej:
SYMETRYCZNE ROZKŁADY α-STABILNE
exp{iµt − |λt|α }
t
t
exp{iµ − |λ |α }
n
n
α = 2 – rozkład normalny;
n
= exp{iµt − |n1/α−1 λt|α }
α = 1 – rozkład Cauchy’ego
1.0
0.8
...........
... .....
...
...
...
..
.
...
...
...
..
.
...
..
...
.
..
...
.
..
..
.
........................................ .....
.
....... ..
...
.
.
.
.
.
.
........
.... ...
.
.
.......
.
.
..
.........
...... ...
... .......
...... ....
... .......
......
.
.
.
.
.
.
... ........
.
.
.
.
....
.
.
........
.
.....
.
.
.
.
.
.
.
.
...
......
.....
...
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.......... .....................................
.........
...
............................
— rozkÃlad pojedynczej obserwacji
0.6
0.4
0.2
-1
— rozkÃlad średniej
0
1
2
3
4
5
MEDIANA
Mediana M minimalizuje względem µ funkcję
Pn
j=1 |Xi
− µ|
MEDIANA
Próba:
X1 , X2 , . . . , Xn
Statystyki pozycyjne:
X1:n , X2:n , . . . , Xn:n
X1:n ¬ X2:n ¬ . . . ¬ Xn:n
MEDIANA
Wyniki obserwacji:
X1 , X2 , . . . , X2n+1
Mediana z próby:
Xn+1:2n+1
n
(2n + 1)! F (x)[1 − F (x)] f (x)
2
(n!)
1.6
...
.. ....
... ....
. ..
1.2
... ...
.... .....
1.0
.. ... n = 25
.. ....
.
. .
0.8
.. ............
...... ........
0.6
..
.
.................................... n = 5
.
........
0.4
......
.........
........
.
.
.
... ..........
.
.
.
.
.
0.2
.
.
.
.
... ..................n. = 1
............. ...
.
.
.
.
.
.
.
.
.
...... .........................................................
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.
.............. ...............
................ ................
............................................
............................................
-1
0
1
2
3
4
5
µ=2
1.4
Mediana z próby X1 , X2 , . . . , Xn
 1

n
n

X
+
X
:n
+1:n ,
2
2
Mn =


X
[ n+1
]:n ,
2
2
jeżeli n jest parzyste,
jeżeli n jest nieparzyste
Efektywność mediany w rozkładzie N(0, 1)
e(n) =
Var (X n )
Var (Mn )
Efektywność mediany w rozkładzie N(0, 1)
e(n) =
n
1
2
3
4
5
6
7
8
9
10
Var (X n )
Var (Mn )
e(n)
1.000
1.000
0.743
0.838
0.697
0.776
0.679
0.743
0.669
0.723
Efektywność mediany w rozkładzie U(0, 1)
Efektywność mediany w rozkładzie U(0, 1)
n
1
2
3
4
5
6
7
8
9
10
e(n)
1.000
1.000
0.556
0.625
0.467
0.519
0.429
0.469
0.407
0.440
Szacowanie µ w rozkładzie normalnym:
σ
X̄ ± 2 √
n
lub X̄ ± 2 S
σ
X̄ ± 2 √
n
lub X̄ ± 2 S
Szacowanie µ w symetrycznym rozkładzie α-stabilnym (ogólniej?):
Mediana z próby ±
???
Mediana z próby parzystej jest najczęściej definiowana jako średnia
arytmetyczna dwóch środkowych obserwacji
Ogólniej: liniowy estymator kwantyla rzędu q (L-statystyka)
c1 X1:n + c2 X2:n + . . . + cn Xn:n
c1 X1:n + c2 X2:n + . . . + cn Xn:n
Efektywne konstrukcje w modelach z parametrem położenia
c1 X1:n + c2 X2:n + . . . + cn Xn:n
Modele statystyczne z parametrem położenia:
X = µ + ε,
µ nieznane,
ε ∼ F , F znane
c1 X1:n + c2 X2:n + . . . + cn Xn:n
X = µ + ε,
µ nieznane,
ε ∼ F , F znane
Estymacja kwantyla ?
c1 X1:n + c2 X2:n + . . . + cn Xn:n
X = µ + ε,
µ nieznane,
ε ∼ F , F znane
Niesymetryczne F,
c1 X1:n + c2 X2:n + . . . + cn Xn:n
X = µ + ε,
µ nieznane,
ε ∼ F , F znane
Niesymetryczne F, V@R
Liniowy estymator nieobciążony o minimalnej wariancji:
C =M

−1
T
R R M
−1
R
−1
F −1 (q)
1
!

EF X1:n 1


. . . ,
R =  ...
EF Xn:n 1
Mi,j = CovF (Xi:n , Xj:n )
C =M

−1
T
R R M
−1
R
−1
F −1 (q)
1
!

EF X1:n 1


. . . ,
R =  ...
EF Xn:n 1
Minimalna wariancja:
!T
VarL (q, n) =
F −1 (q)
1
T
R M
−1
R
−1
F −1 (q)
1
!
C =M

−1
T
R R M
−1
R
F −1 (q)
1
−1
!

EF X1:n 1


. . . ,
R =  ...
EF Xn:n 1
Minimalna wariancja:
!T
VarL (q, n) =
F −1 (q)
1
T
R M
−1
R
VarL (q, n + 1) < VarL (q, n)
−1
F −1 (q)
1
!
???
Przykład:
Estymacja kwantyla rzędu q rozkładu normalnego:
(VarUMVU(q, 5),VarL (q, 5)) =

0.2000,
0.2599,

0.4164,

=
0.9131,

1.4583,
2.0225,



0.2000
0.5
 0.75 
0.2607



 0.9 
0.4190



 dla q = 

 0.99 
0.9215



 0.999 
1.4732
2.0440
0.9999
Przykład:
Estymacja mediany rozkładu Cauchy’ego:
c3 X3:n + c4 X4:n + . . . + cn−2 Xn−2:n
C = M −1 R R T M −1 R

−1
!
0
1

EF X3:n
1


. . .
R =  ...
EF Xn−2:n 1
BŁĄD OSZACOWANIA:
σ
X̄ ± 2 √
n
lub X̄ ± 2 S
BŁĄD OSZACOWANIA:
σ
X̄ ± 2 √
n
lub X̄ ± 2 S
Mediana z próby ±
???
Szacowanie µ w modelu z parametrem położenia
L − statystyka ±
???
”Duży model nieparametryczny”:
rodzina F wszystkich rozkładów o ciągłych i ściśle rosnących
dystrybuantach na prostej
Mediana z próby pochodzącej z rozkładu F jako estymator
mediany m(F ) tego rozkładu
Twierdzenie. Dla każdego C > 0 istnieje taki rozkład F ∈ F, że
MedF
X n2 :n + X n2 +1:n
2
!
− m(F ) > C
Twierdzenie. Dla każdego C > 0 istnieje taki rozkład F ∈ F, że
MedF
X n2 :n + X n2 +1:n
2
!
− m(F ) > C
TWIERDZENIE JEST PRAWDZIWE DLA WSZYSTKICH
NIETRYWIALNYCH L-STATYSTYK !
Duży model nieparametryczny F
Rodzina wszystkich rozkładów o ciągłych i ściśle rosnących dystrybuantach
Jeżeli X ma rozkład F z rodziny F i jeżeli g : R 1 → R 1 jest
przekształceniem monotonicznym, to zmienna losowa g (X ) też ma
rozkład z rodziny F
Jeżeli X ma rozkład F ∈ F z medianą m(F ) i jeżeli g : R 1 → R 1
jest przekształceniem monotonicznym, to zmienna losowa g (X ) ma
rozkład z medianą g (m(F )).
Jeżeli X ma rozkład F ∈ F z medianą m(F ) i jeżeli g : R 1 → R 1
jest przekształceniem monotonicznym, to zmienna losowa g (X ) ma
rozkład z medianą g (m(F )).
Jeżeli X ma rozkład F ∈ F z kwantylem xq (F ) rzędu q i jeżeli
g : R 1 → R 1 jest przekształceniem monotonicznym, to zmienna
losowa g (X ) rozkład z kwantylem rzędu q równym g (xq (F )).
Postulat pod adresem estymatora mediany (kwantyla):
Jeżeli T jest nieobciążonym estymatorem mediany (kwantyla
rzędu q) zmiennej losowej X , to g (T ) jest nieobciążonym
estymatorem mediany (kwantyla rzędu q) zmiennej losowej g (X )
Postulat pod adresem estymatora mediany (kwantyla):
Jeżeli T jest nieobciążonym estymatorem mediany (kwantyla
rzędu q) zmiennej losowej X , to g (T ) jest nieobciążonym
estymatorem mediany (kwantyla rzędu q) zmiennej losowej g (X )
Nieobciążony ?
Estymacja kwantyla xq (F ) rzędu q rozkładu F .
Konstrukcja medianowo nieobciążonego estymatora
o maksymalnej koncentracji:
P {T ≤ x}
1
0.5
0
..
...
..
..
...
..
..
...
..
..
..
.......................................................................
..
..
..
..
..
..
...
...
..
..
..
..
xq
.................................................................................................................................................................................................................................................................................................................
..
.....
....
.......
...
.......
...
.......
..
.
.
..
...
......
...
...
...
.....
....
...
..
....
...
...
...
....
....
.. .....
... .
... ...
..... ..
....
.....
.
. ....
.
.
.. ...
.. ...
... ....
..
..
...
...
..
..
.
.
.
.
.
..
...
...
..
..
...
..
.
.
.
.
.....
...
...
...
..
.....
...
.
.
.
.
.
.
.
.
.
.........................................
x
Definiujemy
πk (q) = PF {Xk:n ¬ xq (F )} =
Wybieramy k takie, że πk (q)
Obliczamy λ∗k =
1
2
n
X
n
j=k
j
!
q j (1 − q)n−j
> πk+1 (q)
1
2
− πk+1 (q)
πk (q) − πk+1 (q)
Medianowo nieobciążony estymator o maksymalnej koncentracji
ma postać
T ∗ = XJ ∗ :n ,
P{J ∗ = k} = λ∗k ,
P{J ∗ = k +1} = 1−λ∗k
Estymacja mediany (q = 1/2)
πk
1
2
=
1
2n
n
X
n
j
j=k
πm+1
1
2
=

1

 ,

 1 − 1 2m , n = 2m
2m
2
Estymator =
n = 2m + 1,
2
2
m

Xm+1 ,

1(0,0.5] (R)Xm + 1(0.5,1) (R)Xm+1 ,
n = 2m + 1
n = 2m
R ∼ U(0, 1)
BŁĄD OSZACOWANIA
σ
X̄ ± 2 √
n
lub X̄ ± 2 S
BŁĄD OSZACOWANIA
σ
X̄ ± 2 √
n
lub X̄ ± 2 S
Mediana z próby ±
???
Szacowanie µ w modelu z parametrem położenia:
L − statystyka ±
???
Szacowanie kwantyla w podstawowym modelu nieparametrycznym:
Nieobciążony estymator o maksymalnej koncentracji±
???
PODSUMOWANIE
PODSUMOWANIE
• Rozkład normalny
PODSUMOWANIE
• Symetryczne rozkłady α-stabilne (rozkłady symetryczne)
PODSUMOWANIE
• Modele statystyczne z parametrem położenia:
X = µ + ε,
µ nieznane,
ε ∼ F , F znane
PODSUMOWANIE
X = µ + ε,
µ nieznane,
ε ∼ F , F znane
• Modele statystyczne z parametrami położenia i skali, skala
nieznana
PODSUMOWANIE
X = µ + ε,
µ nieznane,
ε ∼ F , F znane
nieznana
• Model nieparametryczny: rodzina wszystkich rozkładów, które
mają pierwszy (dwa pierwsze) momenty
PODSUMOWANIE
X = µ + ε,
µ nieznane,
ε ∼ F , F znane
nieznana
• Podstawowy model nieparametryczny: rodzina wszystkich
rozkładów o ciągłych i ściśle rosnących (lokalnie) dystrybuantach
PODSUMOWANIE
X = µ + ε,
µ nieznane,
ε ∼ F , F znane
nieznana
Estymatory medianowo nieobciążone o maksymalnej koncentracji
PODSUMOWANIE
X = µ + ε,
µ nieznane,
ε ∼ F , F znane
nieznana
Teoria ENMW, MSE, MAD, ...
PODSUMOWANIE
X = µ + ε,
µ nieznane,
ε ∼ F , F znane
nieznana
BŁĄD OSZACOWANIA
PODSUMOWANIE
X = µ + ε,
µ nieznane,
ε ∼ F , F znane
nieznana
BŁĄD OSZACOWANIA
;)

Od średniej w modelu gaussowskim do kwantyli w podstawowym

Transkrypt

Podobne dokumenty

STATYSTYKA CBOS - ROŚNIE ZAUFANIE DO POLICJI (STYCZEŃ

Podstawy statystyki w analizie badań naukowych

O przyszłości nauk matematycznych w Polsce

Rachunek prawdopodobieństwa z elementami statystyki

STATYSTYKA NIELEGALNA ADOPCJA (ART.211A)

statystyka eutanazja (art. 150)

Analiza danych - Jakub Wróblewski

statystyka kazirodztwo (art. 201)

tworzenie , utrzymanie i rozwój aplikacji bazodanowych