Funkcje charakterystyczne

Arkadiusz Kwoska
Rafał Kukliński
Funkcje charakterystyczne
Zadanie 1
Jaki rozkład ma suma niezależnych zmiennych losowych X i Y o rozkładach
a) N(E1,σ1) i N(E2,σ2)
Przy rozwiązywaniu tego zadania będziemy korzystali z funkcji charakterystycznych
Definicja
Funkcję charakterystyczną zmiennej losowej X definiujemy jako:
ϕ X (ν ) = Ee jνX

e jνx dFX ( x)
∫

=  ζ ( Ω )jνx
k
 ∑ e P ( X = xk )
 xk ∈ζ ( Ω )
Jeżeli szukamy funkcji charakterystycznej sumy dwóch niezależnych zmiennych losowych, to można
napisać, że:
ϕ X +Yν
z definicji
=
(
Ee jν ( X +Y ) = E e jνX ⋅ e jνY
)
z niezleznosci
=
Ee jνX ⋅ Ee jνY = ϕ X (ν ) ⋅ ϕ Y (ν )
Czyli można sformułować wniosek, że dodawanie wielkości niezależnych odpowiada mnożeniu ich
funkcji charakterystycznych i splataniu gęstości prawdopodobieństwa1
Tak więc, aby otrzymać rozkład prawdopodobieństwa sumy zmiennych losowych skorzystamy z funkcji
charakterystycznych. Do przedstawienia zmiennych losowych X i Y w postaci funkcji charakterystycznych
wykorzystam dodatkową zmienną losową Z o rozkładzie normalnym N(0,1). Wiem, że gęstość
prawdopodobieństwa dla takiej zmiennej losowej wyraża się wzorem:
z2
1 −2
pZ ( z ) =
e
2π
Funkcja charakterystyczna policzona z definicji ma postać:
ϕ Z (ν ) =
∞
∫p
−∞
jνz
Z
( z ) ⋅ e dz =
∞
∫
−∞
z2
ν2
−
−
1
⋅ e 2 ⋅ e jνz dz = e 2
2π
Dla tak określonej zmiennej losowej nietrudno zauważyć, że:
X = σ 1Z + E1 oraz
Y = σ 2 Z + E2
powyższe nierówności wynikają, z wyglądu rozkładu zmiennej losowej Z:
Tak więc wymnożenie funkcji rozkładu przez σ1 przeskaluje ją, natomiast dodanie E1 powoduje
przesunięcie rozkładu we właściwe miejsce.
1
Wniosek ten będę wykorzystywał wielokrotnie w kolejnych zadaniach
Korzystając z wymienionych równości można napisać:
ϕ X (ν ) = ϕσ1Z + E1 (ν )
z wlasnosci liniowosci
=
ϕ Z (σ 1ν )e
jνE1
korzystajac z funkcji charakterystycznej Z
=
e
−
σ 12ν 2
+ jνE1
2
Postępując analogicznie w stosunku do zmiennej losowej Y otrzymuję jej funkcję charakterystyczną:
ϕ Y (ν ) = e
−
σ 2 2ν 2
+ jνE2
2
Jak już przedstawiliśmy powyżej funkcja charakterystyczna sumy zmiennych losowych jest iloczynem
funkcji charakterystycznych tych zmiennych, a więc:
ϕ X +Y (ν ) = ϕ X (ν ) ⋅ ϕ Y (ν ) = e
(
ν2
− σ 12 +σ 22
2
)
e jν ( E1 + E2 )
Na podstawie funkcji charakterystycznej można odtworzyć funkcję rozkładu prawdopodobieństwa.
Moglibyśmy więc skorzystać z twierdzenia o jednoznaczności:
1
p X ( x) =
2π
∫
∞
∞
e ϕ X (ν )dν = ∫ e
jνx
−∞
(
)
ν2
jνx − σ12 +σ 22 + jν ( E1 + E2 )
2
−∞
dν
Ale już na podstawie obserwacji funkcji charakterystycznej sumy zmiennych losowych można zauważyć,
że:
ϕ X +Y (ν ) = e
gdzie
−
σ 32ν 2
+ jνE3
2
σ 3 = σ 12 + σ 2 2 oraz E3=E1+E2
Stąd widać już, że rozkład sumy zmiennych losowych będzie rozkładem normalnym.
Odp. Rozkład sumy dwóch zmiennych losowych o rozkładach normalnych N(E 1,σ1) i N(E2,σ2) jest również
rozkładem normalnym postaci
2
2
N  E1 + E2 , σ 1 + σ 2  .


b) Poissona z parametrami a i b:
a ne−a
b n e −b
i
, n=0,1,… , a,b>0
P ( X = n) =
P (Y = n) =
n!
n!
Przypomnijmy na początek jak wygląda rozkład Poissona2:
Podobnie jak w punkcie poprzednim skorzystam z funkcji charakterystycznych. Najpierw policzę funkcje
charakterystyczne zmiennych losowych X i Y z definicji:
∞
ϕ X (ν ) = ∑ e
k =0
2
wykresu
jνk
(
∞
a k e −a
ae jν
= e −a ∑
k!
k!
k =0
)
k
Osie są nie opisane, gdyż konkretne wartości zależą od zmiennych a (lub b). Wykres ma jedynie przedstawić kształt
Korzystając z faktu, że:
ex = ∑
i ≥0
xi
można funkcję charakterystyczną zapisać jako3:
i!
ϕ X (ν ) = e −a e ae = e a ( e
jν
i analogicznie
ϕY (ν ) = e b ( e
jν
jν
)
−1
)
−1
Teraz korzystając z faktu, że funkcja charakterystyczna sumy zmiennych losowych jest iloczynem funkcji
charakterystycznych:
ϕ X +Y (ν ) = e a ( e
) ⋅ eb ( e ν −1) = e ( a +b ) ( e ν −1)
jν
−1
j
j
Podobnie jak w punkcie a zamiast korzystać z transformaty odwrotnej, wystarczy zauważyć, że:
ϕ X +Y (ν ) = e c ( e
jν
)
−1
gdzie c=a+b
czyli mamy tu do czynienia z rozkładem Poissona o parametrze a+b.
Odp. Rozkład sumy dwóch zmiennych losowych o rozkładach Poissona z parametrami a i b jest również
rozkładem Poissona, z parametrem a+b czyli:
P ( X + Y = n) =
( a + b ) n e − ( a +b )
n!
Zadanie 3
a)
Znajdź funkcję charakterystyczną
liczby szóstek w N rzutach kostką symetryczną
Zgodnie z sugestią zawartą w skrypcie przedstawię poszczególne rzuty jako niezależne zmienne losowe o
rozkładzie dwupunktowym:
Niech Xi=0 oznacza porażkę, czyli wyrzucenie liczby oczek różnej od 6, natomiast Xi=1 to sukces czyli
wyrzucenie 6. Prawdopodobieństwa tych zdarzeń wynoszą odpowiednio
q = 1− p =
5
1
oraz p = .
6
6
Można więc napisać:
1
6
5
P ( X i = 0) =
6
P ( X i = 1) =
Tak więc Xi to wynik rzutu w i-tej próbie. Funkcja charakterystyczna tej zmiennej losowej to:
1
ϕ X (ν ) = ∑ e jνn P( X = n) =e jν
n =0
1
5
1 5
+ e jν 0 = e jν +
6
6
6 6
Wprowadzimy nową zmienną losową Y aby przedstawić ilość sukcesów tzn. liczbę szóstek po N rzutach:
Y=X1+…XN
Funkcja charakterystyczna tej zmiennej ma postać:
ϕ Y (ν ) = ϕ X1 +...+ X N (ν )
z niezaleznosci
=
1 5

ϕ X1 (ν ) ⋅ ... ⋅ ϕ X N (ν ) = ( ϕ X (ν ) ) N =  e jν + 
6 6

N
Korzystając z wzoru dwumianowego Newtona można powyższy wynik wyrazić w formie równoważnej:
1
ϕ Y (ν ) =  
6
N N
 N  jνk N −k  5 
 e 5
= 
∑
6
k =0  k 
N N
 N  e jν
 
∑
k =0  k  5



k
Odp. Funkcja charakterystyczna liczby szóstek w N rzutach kostką symetryczną ma postać:
3
To podstawienie wykonuję jedynie w tym miejscu. W kolejnych zadaniach będę traktował funkcję
charakterystyczną rozkładu Poissona jako znaną.
N
N N
(
)
N
5
= 
6
 N  e jν
 
∑
k =0  k  5
k



b) sumy K niezależnych zmiennych losowych o rozkładach wykładniczych p ( x) = ae − ax , x ≥ 0 , co się
K
= c pozostaje stałe
dzieje gdy K → ∞ i a → ∞ w ten sposób, że
a
1
ϕ Y (ν ) =   e jν + 5
6
Znów skorzystamy z funkcji charakterystycznych. Funkcja charakterystyczna zmiennej losowej X o danym
rozkładzie ma postać:
∞
ϕ X (ν ) = ∫ ae −ax e − jνx dx =
0
a
a − jν
4
teraz aby znaleźć funkcję charakterystyczną sumy niezależnych zmiennych losowych o funkcjach
charakterystycznych korzystam z faktu, iż jest to iloczyn tych funkcji charakterystycznych. A ponieważ
wszystkie K zmiennych ma identyczne funkcje charakterystyczne więc:
ϕ Y (ν ) = ( ϕ X (ν ) )
K
 a
= 
 a − jν



K
gdzie Y=X1+…+XK
Rozkład prawdopodobieństwa dla zmiennej losowej o takiej funkcji charakterystycznej ma postać:
pY ( y ) =
a K y K −1e − ay
Γ( K )
Rozkład taki można przedstawić na wykresie:
Celowo nie umieściliśmy opisów osi, gdyż wartości zależą od współczynnika a oraz od ilości zmiennych K. Od
parametrów tych zależy również kształt rozkładu.
Rozważmy teraz sytuację, gdy K oraz a dążą do nieskończoności, natomiast ich stosunek pozostaje stały.
Wówczas:
 a
ϕ Y (ν ) = 
 a − jν
K

1
1
1
 =
=
=
K
K
K
K
jνc 
 a − jν 



j
ν
1
−






a 
K 
 a 

1 −
K 





→ e jνc
K →∞
a →∞
K
=const
a
czyli jak widzimy rozkład Gamma przy granicy przechodzi w deltę. Trzeba przyznać, że jest to nieco
zaskakujący wynik:
4
Warto zwrócić uwagę na podobieństwo do rozwinięcia Fouriera
Cofnijmy się nieco i zauważmy, że rozkład jaki uzyskaliśmy, jest rozkładem Erlanga K-tego rzędu. Policzmy
wartości σ oraz E dla tego rozkładu:
PROBLEM, ŻE JESZCZE NIE WIEM JAK POLICZYĆ
c) liczby rzutów kostką symetryczną do wyrzucenia „szóstki” po raz K-ty
Innymi słowy interesuje nas ilość prób poprzedzających K-ty sukces, przy czym sukcesem jest wyrzucenie
szóstki, a próba polega na rzucie kostką. Oznaczmy zatem f ( r , K , p ) jako prawdopodobieństwo, że K-ty
sukces zrealizuje się w próbie o numerze K+r. Oznacza to, że wśród pierwszych K+r-1 prób mamy dokładnie n
porażek i (r+K) – ta próba zakończyła się sukcesem. Odpowiednie prawdopodobieństwa są
 K + r − 1

 = p K −1q r
r


oraz p. Tak więc otrzymujemy rozkład:
 K + r − 1 K r
 p q
f (r , K , p) = 
r


zwany rozkładem Pascala, gdzie K-liczba sukcesów, r+K=x – ilość prób. p –prawdopodobieństwo sukcesu,
q=1-p – prawdopodobieństwo porażki. Tak więc jeśli naszą zmienną losową oznaczymy jako X, to jej rozkład
prawdopodobieństwa:
 x − 1  K x−K
 p q
P ( X = K ) = 
x − K
gdzie
p=
1
- prawdopodobieństwo wyrzucenia szóstki, x- liczba rzutów, K – ilość wyrzuconych szóstek
6
Mamy tutaj do czynienia ze zmienną losową dyskretną, więc aby znaleźć funkcję charakterystyczną należy
posłużyć się wzorem:
K
ϕ X (ν ) = ∑ e jvn P( X = n)
n=0
Spróbujmy podejść do problemu z innej strony. W tym celu zdefiniujemy zmienną losową Yi – oznaczającą i
rzutów do wyrzucenia pierwszej szóstki. Wówczas można opisać zmienną losową X – liczba rzutów do
wyrzucenia K szóstek jako: X=Y1+…+YK. Rozkład prawdopodobieństwa tak zdefiniowanej zmiennej losowej Y
ma postać:
5
P(Y = i ) =  
6
i −1
1
6
Natomiast funkcja charakterystyczna:
∞
ϕY (ν ) = ∑ e
k =1
jνk
1 ∞
5
P(Y = k ) = ∑ e jνk  
6 k =1
6
k −1
Ponieważ poszczególne rzuty kostką są zdarzeniami niezależnymi, więc możemy skorzystać z faktu, że
funkcja charakterystyczna sumy niezależnych zmiennych losowych jest iloczynem funkcji charakterystycznych
tych zmiennych, więc:
ϕ X (ν ) = ϕ Y1 +...+YK (ν ) = ( ϕ Y (ν ) )
K
 1 ∞ jνk  5  k −1 
=  ∑e   
 6 k =1
 6  

K
CO Z TYM DALEJ, TO JEDEN PAN BÓG WIE
Zadanie 4
Potrzebuję X sekund na dokończenie obliczeń, a za Y sekund mój komputer padnie. Y ma rozkład
pY ( y ) = ae − ay . Wyraź przy pomocy ϕX(ν) prawdopodobieństwo, że zdążę.
W tym zadaniu interesuje nas jakie jest prawdopodobieństwo, że jednak czas na skończenie obliczeń
okaże się krótszy od czasu prawidłowej pracy komputera. Można to zapisać:
P( X ≤ Y )
Interesujące nas prawdopodobieństwo można zapisać korzystając z twierdzenia o prawdopodobieństwie
całkowitym:
+∞
P( X ≤ Y ) = ∫ p ( X ≤ Y | x ≤ Y < x + dx) p ( x ≤ Y < x + dx )dx
−∞
Stąd można zapisać:
+∞
P( X ≤ Y ) = ∫ p ( X ≤ Y | x ≤ Y < x + dx) p ( x)dx
−∞
Teraz skorzystajmy z faktu, że:
P( X ≤ Y | x ≤ Y < x + dx) = ∫
+∞
x
+∞
+∞
x
x
p ( y )dy = ∫ ae −ay dy = − e −ay
= e −ax
czyli szukane prawdopodobieństwo można zapisać jako:
+∞
P( X ≤ Y ) = ∫ e −ax p ( x)dx
−∞
Jeżeli podstawimy, że − a = jν , to wówczas można zauważyć, że szukane prawdopodobieństwo jest
funkcją charakterystyczną:
+∞
P( X ≤ Y ) = ∫ e jνx p( x)dx = ϕ X (ν )
−∞
przy czym:
ν=
− a − aj
= 2 = aj
j
j
czyli otrzymujemy równość:
+∞
P( X ≤ Y ) = ∫ e jνx p( x)dx = ϕ X (aj )
−∞
Odp. Poszukiwane prawdopodobieństwo, że zdążę dokończyć obliczenia zanim mój komputer padnie
wyrazić można w postaci funkcji charakterystycznej postaci:
P ( X ≤ Y ) = ϕ X (aj )
gdzie a – parametr rozkładu wykładniczego, że mój komputer padnie
Zadanie 6
Znajdź rozkład Y, jeżeli:
a) Y – liczba sukcesów w serii niezależnych doświadczeń ze stałym prawdopodobieństwem sukcesu p,
której długość N ma rozkład Poissona z parametrem a.
Przedstawmy serię niezależnych doświadczeń jako:
Y = X 1 + ... + X N
gdzie doświadczenie Xi ma rozkład binarny, czyli:
P ( X i = 1) = p
P ( X i = 0) = q = 1 − p
gdzie p to dane prawdopodobieństwo sukcesu w i-tej próbie.
Funkcję charakterystyczną takiej zmiennej losowej liczyliśmy już w zadaniu 3, a więc:
ϕ X (ν ) = e jν p + q
Długość serii N ma rozkład Poissona z parametrem a, więc:
a k e−a
P( N = k ) =
k!
Ponieważ mamy do czynienia ze zdarzeniami niezależnymi, więc przy warunku, że N=n możnaby
napisać:
ϕY (ν ) = ( ϕ X (ν ) )
n
Uwzględniając fakt, że różne długości serii występują z różnymi prawdopodobieństwami piszemy,
korzystając ze średniej warunkowej, że funkcja charakterystyczna ma postać:
(
∞
k
a k e −a jv
ae jν p + aq
−a
ϕY (ν ) = ∑ P ( N = k )( ϕ X (ν ) ) = ∑
e p+q =e ∑
k!
k!
k =0
k =0
k =0
∞
Korzystając z faktu, że
k
ex = ∑
i ≥0
(
∞
)
)
k
xi
przedstawimy funkcję charakterystyczną jako:
i!
ϕ Y (ν ) = e −a e ae
jν
p + aq
= ea(e
jν
p + q −1
)
Jeśli zauważymy, że p=1-q to powyższą funkcję charakterystyczną można zapisać w postaci:
ϕ Y (ν ) = e ae
jν
− ae jν q + aq − a
= ea(e
jν
) (
−1 − aq e jν −1
) = e a (1−q ) ( e ν −1) = e ap ( e ν −1)
j
j
Jak łatwo zauważyć, mamy tutaj do czynienia z rozkładem Poissona o parametrze ap. Stąd można już
sformułować odpowiedź
Odp. Rozkład zmiennej losowej Y reprezentującej liczbę sukcesów w serii niezależnych doświadczeń ze
stałym prawdopodobieństwem sukcesu p, której długość ma rozkład Poissona z parametrem a ma postać
rozkładu Poissona z parametrem ap tzn:
k
(
ap ) e − ap
P(Y = k ) =
k!
b) Y – łączny czas pobytu zadania w kolejce do procesora; zakładamy, że każdorazowy pobyt w kolejce
ma rozkład wykładniczy. Po przetworzeniu zadanie wraca do kolejki z prawdopodobieństwem p i
opuszcza system z prawdopodobieństwem 1-p, zaś czasy kolejnych pobytów w kolejce są wzajemnie
niezależne.
Wprowadźmy dodatkową zmienną losową Xi oznaczającą czas pobytu zadania w kolejce po raz i-ty. Z
treści zadania wiadomo, że Xi ma rozkład wykładniczy, a więc:
p X i ( x) = ae − ax
Natomiast funkcja charakterystyczna tej zmiennej losowej jak wiemy z zadania 3b wynosi:
ϕ X i (ν ) =
a
a − jν
Dodatkowo wiadomo, że po przetworzeniu zadania prawdopodobieństwo, że trafi ono z powrotem do
kolejki wynosi p. Łączny czas pobytu zadania w kolejce można zapisać jako:
Y = X 1 + X 2 + ... + X N + ...
Natomiast rozkład N ilości pobytów zadania w kolejce:
pk −1
P( N = k ) = 1 + p + p + ... + p =
p −1
2
k
Tak więc funkcja charakterystyczna zmiennej losowej Y ma postać:
∞
ϕ Y (ν ) = ∑ P( N = k )( ϕ X (ν ) )
k =0
k
 p k − 1  a

= ∑ 
k =0  p − 1  a − jν
∞



k
Po przekształceniach i zastosowaniu wzór na szereg geometryczny otrzymujemy:
1  ∞  pa
ϕ Y (ν ) =
∑
p − 1  k =0  a − jν

k
∞

 a
 − ∑ 
 k =0  a − j ν
Po krótkich obliczeniach otrzymujemy:
ϕ Y (ν ) =
k



1
1
1

=
−
 p −1
pa
a

 1 − a − jν 1 − a − jν

1
a (1 − p )
a
⋅ 2
=
2
p − 1 pa − pa − jν pa − pa − jν
NIE WIEM JAK PRZEJŚĆ NA ROZKŁAD
Odp.








