Detekcja rozkładów o ciężkich ogonach

Transkrypt

Detekcja rozkładów o cieżkich
˛
ogonach
J. Śmiarowska, P. Jamer
Wydział Matematyki i Nauk Informacyjnych
Politechnika Warszawska
24 kwietnia 2012
J. Śmiarowska, P. Jamer (Politechnika Warszawska)
˛
ogonach
24 kwietnia 2012
1 / 40
Spis treści
1
Rozkłady o cieżkich
˛
ogonach
Informacje wstepne
˛
Rodzina podwykładnicza
Rozkłady typu Pareto
2
Detekcja rozkładów o grubych ogonach
Analiza problemu
Wykresy kwantylowe
Empiryczna średnia nadwyżka
˛
ogonach
24 kwietnia 2012
2 / 40
Spis treści
1
˛
ogonach
Informacje wstepne
˛
2
Analiza problemu
Wykresy kwantylowe
˛
ogonach
24 kwietnia 2012
3 / 40
Definicja
Rozkład o lekkim ogonie
Niech X bedzie
˛
nieujemna˛ zmienna˛ losowa˛ o dystrybuancie F .
Zmienna losowa X ma rozkład o lekkim ogonie przy x → ∞, jeśli
(∃A, b > 0) (∃x0 > 0) (∀x ≥ x0 ) F (x) ≤ Ae−bx .
Rozkład o cieżkim
˛
ogonie
Nieujemna zmienna losowa X ma rozkład o cieżkim
˛
ogonie przy
x → ∞, jeśli nie ma rozkładu o lekkim ogonie.
˛
ogonach
24 kwietnia 2012
3 / 40
Warunek równoważny
Twierdzenie
Zmienna losowa nieujemna X ma cieżki
˛
ogon wtedy i tylko wtedy, gdy
(∀t > 0) MX (t) = ∞.
Dowód:
Pokażemy, że zmienna losowa ma lekki ogon wtedy i tylko wtedy, gdy
(∀t < t0 ) MX (t) < ∞.
˛
ogonach
24 kwietnia 2012
4 / 40
(⇒) Z założenia mamy, że istnieja˛ A, b, x0 > 0 takie, że
(∀x ≥ x0 ) F (x) ≤ Ae−bx .
Zatem mamy
MX (t) = E e
tX
Z
∞
Z
tx
e dF (x) = −
=
0
∞
= −etx F (x) 0 + t
∞
etx dF (x) =
0
Z
∞
F (x) etx dx < ∞,
0
bo dla odpowiednio małych t :
limx→∞ etx F (x) ≤ limx→∞ etx Ae−bx = limx→∞ Ae(t−b)x = 0,
R∞
R ∞ −bx tx
R∞
tx
e dx = 0 Ae(t−b)x dx < ∞.
0 F (x) e dx ≤ 0 Ae
˛
ogonach
24 kwietnia 2012
5 / 40
(⇐) Załóżmy nie wprost, że zachodzi
(∀t ≤ t0 ) MX (t) < ∞,
ale zmienna losowa nie ma lekkiego ogona.
Zatem
(∀A, b > 0) (∀x0 > 0) (∃x ≥ x0 ) F (x) > Ae−bx .
Wówczas
∞
MX (t) = −etx F (x) 0 + t
Z
∞
F (x) etx dx < ∞,
0
ale dla t > b
h
i
h
i
lim etx F (x) ≥ lim etx Ae−bx = lim Ae(t−b)x = ∞.
x→∞
x→∞
x→∞
Zatem MX (t) = ∞, co prowadzi do sprzeczności.
˛
ogonach
24 kwietnia 2012
6 / 40
Twierdzenie
Definicja
Niech
− ln F (x)
,
x
x→∞
αF := lim sup
gdzie F (0−) = 0, F - dystrybuanta.
Twierdzenie
Załóżmy, że αF = 0, wówczas F ma cieżki
˛
ogon.
˛
ogonach
24 kwietnia 2012
7 / 40
Twierdzenie
Dowód:
Niech αF = 0. Wówczas
(∀ε > 0) ∃x 0 > 0
∀x ≥ x 0 − ln F (x) ≤ εx.
Zatem po przeskalowaniu
(∀x ≥ 0) F (x) ≥ ce−εx ,
a stad
˛
Z
(∀s ≥ ε)
∞
esx F (x) dx = ∞.
0
Z dowolności ε dostajemy, że F ma cieżki
˛
ogon.
˛
ogonach
24 kwietnia 2012
8 / 40
Przykłady
Rozkład Lognormalny
Rozkład Lognormalny
Y ∼ etX , X ∼ N µ, σ 2
Policzmy k -ty moment Y :
1 2 2 2
mk ,Y = E Y k = E ektX = MX (kt) = eµkt+ 2 σ k t .
Zatem
∞
X
mk ,Y
k =0
k!
t k = ∞.
Co jest równoważne temu, że nie istnieje
MY (t) , t > 0.
Zastosowanie: ubezpieczenia komunikacyjne.
˛
ogonach
24 kwietnia 2012
9 / 40
Przykłady
Rozkład Weibulla
Rozkład Weibulla
X ∼ W (r , c) ,
r
F (x) = e−cx , x > 0, c > 0.
Bezpośrednio z definicji widać, że
gdy r ≥ 1, to rozkład Weibulla ma lekki ogon,
gdy r < 1, to rozkład Weibulla ma cieżki
˛
ogon.
˛
ogonach
24 kwietnia 2012
10 / 40
Przykłady
Rozkład Pareto
Rozkład Pareto
X ∼ Par (α, c) ,
c α
F (x) =
,x > c
x
Bezpośrednio z definicji widać, że rozkład ma cieżki
˛
ogon.
Zastosowanie: ubezpieczenia przeciwpożarowe.
˛
ogonach
24 kwietnia 2012
11 / 40
Spis treści
1
˛
ogonach
Informacje wstepne
˛
2
Analiza problemu
Wykresy kwantylowe
˛
ogonach
24 kwietnia 2012
12 / 40
Definicja
Dystrybuanta F , F (0−) = 0, jest podwykładnicza, jeśli
∗2
F (x)
lim
= 2.
x→∞ F (x)
Oznaczenie: F ∈ S.
˛
ogonach
24 kwietnia 2012
12 / 40
Twierdzenie
Twierdzenie
Jeśli F ∈ S, to F ma cieżki
˛
ogon.
Lemat
Niech F ∈ S. Wówczas dla każdego x 0 > 0 :
1
limx→∞
2
limx→∞
F (x−x 0 )
F (x)
Rx
0
= 1,
F (x−y )
dF
F (x)
(y ) = 1.
˛
ogonach
24 kwietnia 2012
13 / 40
Twierdzenie
Dowód:
Niech F ∈ S. Przyjmijmy m (x) := − ln F (x) . Wówczas z
wcześniejszego twierdzenia wynika, iż wystarczy pokazać, że
m (x)
= 0.
x
x→∞
αF = lim sup
Z lematu mamy, że dla każdego x 0 > 0 :
F (x − x 0 )
= 1.
x→∞
F (x)
lim
Co dla każdego x 0 > 0 daje nam
lim ln F x − x 0 − ln F (x) = lim m (x) − m x − x 0 = 0.
x→∞
x→∞
˛
ogonach
24 kwietnia 2012
14 / 40
Twierdzenie
Zatem
(∀ε > 0) (∃x0 > 0) (∀x ≥ x0 ) m (x) − m (x − 1) < ε.
Wynika stad,
˛ że
m (x) ≤ m (x − 1) + ε ≤ m (x − 2) + 2ε ≤ . . . ≤ m (x − n) + nε,
gdzie x0 ≤ x − n < x0 + 1.
Możemy wiec
˛ ogólniej napisać
m (x) ≤
sup
x0 ≤x 0 ≤x0 +1
m x 0 + (x − x0 ) ε, x ≥ x0 .
Ostatecznie z dowolności ε dostajemy
lim
x→∞
m (x)
= 0.
x
˛
ogonach
24 kwietnia 2012
15 / 40
Spis treści
1
˛
ogonach
Informacje wstepne
˛
2
Analiza problemu
Wykresy kwantylowe
˛
ogonach
24 kwietnia 2012
16 / 40
Definicja
Powiemy, że funkcja L : [0, ∞) → (0, ∞) jest wolno zmieniajac
˛ a˛ sie˛
funkcja˛ przy x → ∞ wtedy i tylko wtedy, gdy
L (tx)
=1
x→∞ L (x)
(∀t > 0) lim
Oznaczenie: L ∈ R0 .
Definicja
Dystrybuanta F jest typu Pareto z wykładnikeim α > 0, jeśli
F (x) ∼ x −α L (x)
przy x → ∞, gdzie L jest funkcja˛ wolno zmieniajac
˛ a˛ sie.
˛
Oznaczenie: F ∈ R−α ⇔ F ∼ L (x) x −α , x → ∞, gdzie L ∈ R0 .
˛
ogonach
24 kwietnia 2012
16 / 40
Twierdzenie
Twierdzenie
Jeśli F ∈ R−α , to F ∈ S.
Dowód:
Niech X , X1 , X2 iid F ∈ R−α .
Niech x > 0. Wówczas dla dowolnego ε ∈ (0, 1) zdarzenie
{X1 + X2 > x}
implikuje zdarzenie
{X1 > (1 − ε) x} ∪ {X2 > (1 − ε) x} ∪ {X1 > εx ∩ X2 > εx} .
Wynika stad,
˛ że
P (X1 + X2 > x) ≤ 2P (X > (1 − ε) x) + (P (X > εx))2
2
P (X1 + X2 > x) ≤ 2F ((1 − ε) x) + F (εx)
˛
ogonach
24 kwietnia 2012
17 / 40
Twierdzenie
Zatem
∗2
F (x)
P (X1 + X2 > x)
lim sup
= lim sup
≤2
F (x)
x→∞ F (x)
x→∞
Z drugiej strony dla dowolnej dystrybuanty F mamy
∗2
F (x)
=1+
F (x)
Z
0
x
F (x − y )
dF (y ) ≥ 1 + F (x) ,
F (x)
co po przejściu do granicy daje nam
∗2
F (x)
≥2
x→∞ F (x)
lim inf
˛
ogonach
24 kwietnia 2012
18 / 40
Spis treści
1
˛
ogonach
Informacje wstepne
˛
2
Analiza problemu
Wykresy kwantylowe
˛
ogonach
24 kwietnia 2012
19 / 40
Oznaczenia
{Ui : 1 ≤ i ≤ n} — portfel roszczeń.
Xn = U1 + U2 + . . . + Un — całkowita suma roszczeń.
U(1) , U(2) , . . . , U(n) — roszczenia uporzadkowane
˛
tak, że
min Ui = U(1) ≤ U(2) ≤ . . . ≤ U(n) = max Ui .
1≤i≤n
˛
ogonach
1≤i≤n
24 kwietnia 2012
19 / 40
Intuicje
Wysokie roszczenie
Roszczenie bedziemy
˛
nazywać dużym, gdy łaczna
˛
suma roszczeń jest
w znacznej mierze przez nie determinowana.
Powyższe stwierdzenie znajduje wiele interpretacji. Przykładowo
roszczenie możemy nazywać dużym, gdy
jego wartość jest nietypowa, pojawia sie˛ rzadko.
stosunek U(n) do Xn jest duży. Czyli powiemy, że U(n) jest duże,
gdy
U(n)/Xn
d
=Z
ma wiekszość
˛
masy prawdopodobieństwa w okolicy 1.
stanowi ono duża˛ cz˛eść całkowitej sumy roszczeń Xn . Czyli
powiemy, że U(m) jest duże, gdy
m ≥ min k : U(k ) > pXn ,
gdzie p to odpowiednio duża cz˛eść całkowitej sumy roszczeń.
˛
ogonach
24 kwietnia 2012
20 / 40
Formalizm
Podejście I
Podejście I
Całkowita suma roszczeń jest duża, ponieważ najwieksze
˛
roszczenie
jest duże. Czyli matematycznie
P (Xn > x) ∼ P U(n) > x , x → ∞.
Takie podejście prowadzi w naturalny sposób do podwykładniczej
rodziny rozkładów S.
Statystyczna weryfikacja hipotezy F = FU ∈ S jest jednak daleka
od prostoty.
˛
ogonach
24 kwietnia 2012
21 / 40
Formalizm
Podejście II
Podejście II
Opierajac
˛ sie˛ na jednym z wcześniejszych twierdzeń. Rozkłady o
cieżkich
˛
ogonach możemy wykrywać w oparciu o warunek
− log (1 − F (x))
= 0.
x
x→∞
αF = lim sup
Statystycznie interesowałoby nas analizowanie warunku
log kn
− log (1 − Fn (Un−k ))
= lim sup
= 0,
Un−k
x→∞
x→∞ Un−k
lim sup
gdzie k/n → 0.
Jest on niestety nieweryfikowalny z uwagi na granice˛ we wzorze.
˛
ogonach
24 kwietnia 2012
22 / 40
Formalizm
Podejście III
Podejście III
Możemy oprzeć nasze wnioskowanie na funkcji
Z ∞
1 − F (y )
µF (x) = E (U − x | U > x) =
dy ,
1 − F (x)
x
wiedzac,
˛ że zachodzi relacja
lim µF (x) = ∞ ⇒ αF = 0.
x→∞
Na potrzeby obliczeń powyższy wzór przekształcić można do postaci
1
µn U(n−k ) =
k
n
X
U(j) − U(n−k ) , k/n → 0.
j=n−k +1
Nie jest jednak statystycznie oczywistym jak badać, czy powyższe
wyrażenie zbiega do ∞.
˛
ogonach
24 kwietnia 2012
23 / 40
Konkluzje
Ściśle formalne, statystyczne postawienie problemu wykrywania
rozkładów o cieżkich
˛
ogonach okazało sie˛ być zadaniem trudnym.
Koniecznym jest poświecenie
˛
formalizmu na rzecz prostoty.
Skupimy sie˛ na porównywaniu ogonów rozkładów empirycznych z
ogonami rozkładów wzorcowych.
Dobrym rozkładem wzorcowym jest tutaj rozkład wykładniczy
f (x) = λe−λx I(0,∞) (x) , λ > 0.
Powiemy, że rozkład F ma cieższy
˛
ogon niż rozkład wykładniczy,
jeżeli
1 − F (x) > ce−ax , x ≥ 0, a, c > 0.
Zachodzenie powyższej nierówności dla wszystkich a > 0
gwarantuje nam, że
αF = 0.
˛
ogonach
24 kwietnia 2012
24 / 40
Spis treści
1
˛
ogonach
Informacje wstepne
˛
2
Analiza problemu
Wykresy kwantylowe
˛
ogonach
24 kwietnia 2012
25 / 40
Idea
Rozkład wykładniczy
Rozważamy jako rozkład wzorcowy standardowy rozkład
wykładniczy o dystrybuancie
G ∼ Exp (1) .
Jesteśmy zainteresowani sprawdzeniem, czy dystrybuanta
empiryczna wielkości roszczenia F ma ten sam rozkład co G z
dokładnościa˛ do parametru λ :
F ∼ Exp (λ) .
Sprawdzenia powyższego dokonamy tworzac
˛ wykres kwantylowy
funkcji kwantylwej QG ∼ G oraz Qn ∼ F .
˛
ogonach
24 kwietnia 2012
25 / 40
Funkcja kwantylowa
Definicja
Niech F bedzie
˛
dystrybuanta˛ pewnego rozkładu prawdopodobieństwa.
Wówczas mianem funkcji kwantylowej tego rozkładu określimy funkcje˛
zdefiniowana˛ nastepuj
˛ aco
˛
QF (y ) = F −1 (y ) = inf {x : F (x) ≥ y } .
Definicja
Niech Fn bedzie
˛
dystrybuanta˛ empiryczna˛ zbudowana˛ na bazie próbki
n − elementowej. Niech U(1) ≤ U(2) ≤ . . . ≤ U(n) bedzie
˛
wspomniana˛
próbka˛ po uporzadkowaniu.
˛
Empiryczna˛ funkcja˛ kwantylowa˛
zbudowana˛ na bazie powyższej próbki nazwiemy funkcje˛ spełniajac
˛ a˛
poniższy warunek
Qn (y ) = U(k ) ⇔
k −1
k
<y ≤ .
n
n
˛
ogonach
24 kwietnia 2012
26 / 40
Wykres kwantylowy
Rozkład wykładniczy
Nanosimy na układ współrz˛ednych punkty
k
1
k
k
QG
, Qn
= − log 1 −
, U(k ) .
n
n
λ
n
Jeżeli nasze dane pochodza˛ z rozkładu o ogonie zbliżonym do
tego, jaki posiada rozkład wykładniczy, to na wykresie uzyskamy
w przybliżeniu linie˛ prosta.
˛
Parametr λ−1 wyraża nachylenie tej prostej.
Jeżeli nasze dane pochodza˛ z rozkładu o ogonie cieższym
˛
do
tego, jaki posiada rozkład wykładniczy, wówczas funkcja rośnie
szybciej niż linia prosta.
Jeżeli nasze dane pochodza˛ z rozkładu o ogonie lżejszym do
tego, jaki posiada rozkład wykładniczy, wówczas funkcja rośnie
wolniej niż linia prosta.
˛
ogonach
24 kwietnia 2012
27 / 40
Wykres kwantylowy
Poprawka na ciagłość
˛
Zauważmy, że dla k = n zachodzi
k
= ∞.
QG
n
Z tego wzgledu,
˛
rysujac
˛ wykres kwantylowy, cz˛esto zamiast punktów
k
:1≤k ≤n ,
n
nanosi sie˛ na niego punkty
k
:1≤k ≤n .
n+1
˛
ogonach
24 kwietnia 2012
28 / 40
Estymacja parametru rozkładu
Jeżeli F ma w przybliżeniu rozkład wykładniczy o parametrze λ.
Wówczas parametr ten możemy wyestymować z pomoca˛ MNK:
Pn
k
U
Q
k =1 (k ) G n+1
λ̂−1 =
2 .
Pn k
k =1 QG n+1
˛
ogonach
24 kwietnia 2012
29 / 40
Siła zależności liniowej
Możemy zbadać siłe˛ zależności liniowej miedzy
˛
QG oraz Qn
wykorzystujac
˛ empiryczny współczynnik korelacji:
Pn
k
QG n+1
− QG
k =1 u(k ) − u
,
r (u1 , u2 , . . . , un ) = r
2 P
Pn 2
n
k
k =1 QG n+1 − Q G
k =1 u(k ) − u
gdzie:
u=
1
n
QG =
Pn
k =1 uk
1 Pn
n
=
k =1 QG
1
n
Pn
k
n+1
k =1 u(k ) ,
= − n1
log
1−
k =1
Pn
˛
ogonach
k
n+1
.
24 kwietnia 2012
30 / 40
Dane uciete
˛
Niech U ∼ Exp (λ) . Wówczas ogonem dystrybuanty ucietego
˛
rozkładu
wykładniczego nazwiemy funkcje˛
F [0,a] (x) = P (U > x | U > a) =
P (U > x)
= e−λ(x−a) , x > a.
P (U > a)
Odpowiadajaca
˛ jej funkcja kwantylowa, to
Q[0,a] (y ) = a −
1
log (1 − y ) , 0 < y < 1.
λ
Estymatorem parametru a tak zdefiniowanego rozkładu jest punkt
przeciecia
˛
wykresu kwantylowego z prosta˛ y = 0.
˛
ogonach
24 kwietnia 2012
31 / 40
Inne rozkłady
Przy tworzeniu wykresu kwantylowego, jako rozkład wzorcowy można
rozważać oczywiście nie tylko rozkład wykładniczy.
k
Rozkład normalny N µ, σ 2 : Φ−1 n+1
, U(k ) .
Wyraz wolny prostej estymuje parametr µ.
Współczynnik kierunkowy prostej estymuje parametr σ.
k
Rozkład lognormalny: Φ−1 n+1
, log U(k ) .
k
Rozkład Pareto Par (α, c) : − log 1 − n+1
, log U(k ) .
Wyraz wolny prostej estymuje parametr log c.
Współczynnik kierunkowy prostej estymuje parametr α−1 .
Rozkład Weibulla W (r , c) : log − log 1 −
k
n+1
, log U(k ) .
Wyraz wolny prostej estymuje parametr −r −1 log c.
Współczynnik kierunkowy prostej estymuje parametr r −1 .
˛
ogonach
24 kwietnia 2012
32 / 40
Przykład 1
˛
ogonach
24 kwietnia 2012
33 / 40
Przykład 2
˛
ogonach
24 kwietnia 2012
34 / 40
Przykład 3
˛
ogonach
24 kwietnia 2012
35 / 40
Spis treści
1
˛
ogonach
Informacje wstepne
˛
2
Analiza problemu
Wykresy kwantylowe
˛
ogonach
24 kwietnia 2012
36 / 40
Wzór empiryczny
Rozważać bedziemy
˛
funkcje˛ średniej nadwyżki
Z ∞
1 − F (y )
µF (x) =
dy .
1 − F (x)
x
Wyprowadzimy dla niej wzór empiryczny przy k takim, że k/n → 0.
Z ∞
1 − Fn (y )
dy =
µn U(n−k ) =
U(n−k ) 1 − Fn U(n−k )
n−1 Z U(i+1)
n−1
n X
1 X
=
(1 − Fn (y )) =
(n − i) U(i+1) − U(i) =
k
k
i=n−k U(i)
i=n−k


n
n
X
1
1 X
= 
U(j) − U(n−k ) .
U(j) − kU(n−k )  =
k
k
j=n−k +1
j=n−k +1
˛
ogonach
24 kwietnia 2012
36 / 40
Idea
Zauważmy, że dla rozkładu wykładniczego z parametrem λ
µF (x) = λ−1 = const.
Podobnie, jeśli µF (x) = const, to F jest dystrybuanta˛ rozkładu
wykładniczego.
Możemy wiec
˛ stosujac
˛ empiryczna˛ funkcje˛ µn U(n−k )
porównywać rozkłady wartości roszczeń z rozkładem
wykładniczym.
˛
ogonach
24 kwietnia 2012
37 / 40
Interpretacja
Jeśli dystrybuanta F ma cieższy
˛
ogon niż dystrybuanta rozkładu
wykładniczego. Wówczas jej empiryczna średnia nadwyżka
µn U(n−k ) : 1 < k ≤ n
bedzie
˛
znajdowała sie˛ powyżej analogicznej funkcji dla rozkładu
wykładniczego (bedzie
˛
rosła).
Jeśli dystrybuanta F ma lżejszy ogon niż dystrybuanta rozkładu
wykładniczego. Wówczas jej empiryczna średnia nadwyżka
µn U(n−k ) : 1 < k ≤ n
bedzie
˛
znajdowała sie˛ poniżej analogicznej funkcji dla rozkładu
wykładniczego (bedzie
˛
malała).
˛
ogonach
24 kwietnia 2012
38 / 40
Wykresy
˛
ogonach
24 kwietnia 2012
39 / 40
Dziekujemy
˛
za uwage!
˛
˛
ogonach
24 kwietnia 2012
40 / 40

Detekcja rozkładów o ciężkich ogonach

Transkrypt

Podobne dokumenty

Wieszak na garnitury 15-750 czarny z gąbką

Zbigniew Jan Grabowski Prof. zw. dr hab. inż. ur. 08.03.1930 r

Życiorys zawodowy Członka Zarządu

Program MiT 2016_28 kwietnia 2016 (002)

POLITECHNIKA WARSZAWSKA STAWIA NA INNOWACJE Centrum

86 jœ j œ œ j œ œ j œ œ j œ œ j œ œ j œ .œ - Liturgia

Panie pragnienia ludzkich serc

Program