Metody probabilistyczne informatyki

Metody probabilistyczne informatyki
Zmienna losowa: jej rozkład i dystrybuanta
Katedra Algorytmiki
Uniwersytet Jagielloński
22 październik 2015
Metody probabilistyczne informatyki
Piotr Micek
spacer losowy z dwiema barierami: rozwiązanie
A – skończymy na liczbie n
B – w pierwszym kroku dodaliśmy 1
Pk – miara przestrzeni przy założeniu, że startujemy z k
Pk (A) = Pk (A|B)P(B) + Pk (A|B 0 )P(B 0 )
1
= (Pk+1 (A) + Pk−1 (A))
2
Metody probabilistyczne informatyki
Piotr Micek
spacer losowy z dwiema barierami: rozwiązanie
A – skończymy na liczbie n
B – w pierwszym kroku dodaliśmy 1
Pk – miara przestrzeni przy założeniu, że startujemy z k
Pk (A) = Pk (A|B)P(B) + Pk (A|B 0 )P(B 0 )
1
= (Pk+1 (A) + Pk−1 (A))
2
W skrócie: dla pk = Pk (A) zachodzi
pk+1 − pk = pk − pk−1 , dla 0 < k < n
p0 = 0,
pn = 1.
Metody probabilistyczne informatyki
Piotr Micek
spacer losowy z dwiema barierami: rozwiązanie
A – skończymy na liczbie n
B – w pierwszym kroku dodaliśmy 1
Pk – miara przestrzeni przy założeniu, że startujemy z k
Pk (A) = Pk (A|B)P(B) + Pk (A|B 0 )P(B 0 )
1
= (Pk+1 (A) + Pk−1 (A))
2
W skrócie: dla pk = Pk (A) zachodzi
pk+1 − pk = pk − pk−1 , dla 0 < k < n
p0 = 0,
pn = 1.
Zatem (pk ) to ciąg arytmetyczny: pk = kp1 . Z warunków
brzegowych otrzymujemy:
pk =
Metody probabilistyczne informatyki
k
n
Piotr Micek
spacer losowy z jedną barierą
Startujemy doświadczenie z liczbą 0. Dopóki aktualna liczba jest
mniejsza od n dodajemy do niej 1 lub −1 z równym
prawdopodobieństwem.
Jakie jest prawdopodobieństwo, że dotrzemy do n?
Metody probabilistyczne informatyki
Piotr Micek
spacer losowy z jedną barierą
Startujemy doświadczenie z liczbą 0. Dopóki aktualna liczba jest
mniejsza od n dodajemy do niej 1 lub −1 z równym
prawdopodobieństwem.
Jakie jest prawdopodobieństwo, że dotrzemy do n?
A – dotrzemy do n
wróćmy do dwóch barier:
A1,n+1 – startując z 1 dotrzemy do n + 1 nieprzechodząc przez 0
Ak,n+k – startując z k dotrzemy do n + k nieprzechodząc przez 0
Metody probabilistyczne informatyki
Piotr Micek
spacer losowy z jedną barierą
Startujemy doświadczenie z liczbą 0. Dopóki aktualna liczba jest
mniejsza od n dodajemy do niej 1 lub −1 z równym
prawdopodobieństwem.
Jakie jest prawdopodobieństwo, że dotrzemy do n?
A – dotrzemy do n
wróćmy do dwóch barier:
A1,n+1 – startując z 1 dotrzemy do n + 1 nieprzechodząc przez 0
Ak,n+k – startując z k dotrzemy do n + k nieprzechodząc przez 0
A1,n+1 ⊆ A2,n+2 ⊆ . . .
A=
[
Ak,n+k
k
Metody probabilistyczne informatyki
Piotr Micek
spacer losowy z jedną barierą
Startujemy doświadczenie z liczbą 0. Dopóki aktualna liczba jest
mniejsza od n dodajemy do niej 1 lub −1 z równym
prawdopodobieństwem.
Jakie jest prawdopodobieństwo, że dotrzemy do n?
A – dotrzemy do n
wróćmy do dwóch barier:
A1,n+1 – startując z 1 dotrzemy do n + 1 nieprzechodząc przez 0
Ak,n+k – startując z k dotrzemy do n + k nieprzechodząc przez 0
A1,n+1 ⊆ A2,n+2 ⊆ . . .
A=
[
Ak,n+k
k
Z ciągłości prawdopodobieństwa:
[
P(A) = P(
k
Ak,n+k ) = lim P(Ak,n+k ) = lim
k→∞
Metody probabilistyczne informatyki
k→∞
k
= 1.
n+k
Piotr Micek
zmienna losowa
Zmienną losową, określoną na przestrzeni probabilistycznej
(Ω, F, P), nazywamy dowolną funkcję X : Ω → Rn taką, że
X −1 (B) ∈ F dla każdego B ∈ B(Rn ).
Metody probabilistyczne informatyki
Piotr Micek
zmienna losowa
Zmienną losową, określoną na przestrzeni probabilistycznej
(Ω, F, P), nazywamy dowolną funkcję X : Ω → Rn taką, że
X −1 (B) ∈ F dla każdego B ∈ B(Rn ).
Inaczej mówiąc, X jest zmienną losową jeśli jest odwzorowaniem
mierzalnym (Ω, F) w (Rn , B(Rn )).
Metody probabilistyczne informatyki
Piotr Micek
zmienna losowa
Zmienną losową, określoną na przestrzeni probabilistycznej
(Ω, F, P), nazywamy dowolną funkcję X : Ω → Rn taką, że
X −1 (B) ∈ F dla każdego B ∈ B(Rn ).
Inaczej mówiąc, X jest zmienną losową jeśli jest odwzorowaniem
mierzalnym (Ω, F) w (Rn , B(Rn )).
Funkcja f : Rn → Rm jest borelowska, jeśli przeciwobrazy zbiorów
borelowskich w Rm są zbiorami borelowskimi w Rn .
Niech X : Ω → Rn będzie zmienną losową, a f : Rn → Rm funkcją
borelowską. Wtedy f (X ) jest zmienna losową o wartościach w Rm .
Metody probabilistyczne informatyki
Piotr Micek
zmienna losowa
Zmienną losową, określoną na przestrzeni probabilistycznej
(Ω, F, P), nazywamy dowolną funkcję X : Ω → Rn taką, że
X −1 (B) ∈ F dla każdego B ∈ B(Rn ).
Inaczej mówiąc, X jest zmienną losową jeśli jest odwzorowaniem
mierzalnym (Ω, F) w (Rn , B(Rn )).
Funkcja f : Rn → Rm jest borelowska, jeśli przeciwobrazy zbiorów
borelowskich w Rm są zbiorami borelowskimi w Rn .
Niech X : Ω → Rn będzie zmienną losową, a f : Rn → Rm funkcją
borelowską. Wtedy f (X ) jest zmienna losową o wartościach w Rm .
Jeśli F = 2Ω to każda funkcja wychodząca z Ω jest zmienną losową.
Metody probabilistyczne informatyki
Piotr Micek
rozkład zmiennej losowej
Rozkładem prawdopodobieństwa na Rn nazywamy dowolna miarę
probabilistyczną na B(Rn ).
Rozkładem prawdopodobieństwa zmiennej losowej X o wartościach
w Rn nazywamy rozkład prawdopodobieństwa PX zadany przez
PX (B) = P(X −1 (B)) = P(X ∈ B) = P({ω : X (ω) ∈ B}).
Metody probabilistyczne informatyki
Piotr Micek
rozkład zmiennej losowej
Rozkładem prawdopodobieństwa na Rn nazywamy dowolna miarę
probabilistyczną na B(Rn ).
Rozkładem prawdopodobieństwa zmiennej losowej X o wartościach
w Rn nazywamy rozkład prawdopodobieństwa PX zadany przez
PX (B) = P(X −1 (B)) = P(X ∈ B) = P({ω : X (ω) ∈ B}).
Atomem rozkładu PX nazywamy każdą liczbę rzeczywistą x, dla
której PX ({x}) > 0. Atomów jest co najwyżej przeliczalnie wiele.
Metody probabilistyczne informatyki
Piotr Micek
rozkład zmiennej losowej
Rozkładem prawdopodobieństwa na Rn nazywamy dowolna miarę
probabilistyczną na B(Rn ).
Rozkładem prawdopodobieństwa zmiennej losowej X o wartościach
w Rn nazywamy rozkład prawdopodobieństwa PX zadany przez
PX (B) = P(X −1 (B)) = P(X ∈ B) = P({ω : X (ω) ∈ B}).
Atomem rozkładu PX nazywamy każdą liczbę rzeczywistą x, dla
której PX ({x}) > 0. Atomów jest co najwyżej przeliczalnie wiele.
W przypadku skończonym lub przeliczalnym, tzn. gdy
X (Ω) = {x1 , x2 , . . .}, ciąg pi = PX ({xi }) = P({ω : X (ω) = xi })
wyznacza jednoznacznie miarę PX wzorem
X
PX (B) =
pi .
xi ∈B
Metody probabilistyczne informatyki
Piotr Micek
dystrybuanta zmiennej losowej
Dystrybuantą zmiennej losowej X nazywamy funkcję
FX : R → [0, 1] zadaną przez
FX (x) = PX ((−∞, x]) = P({ω : X (ω) ¬ x}).
Metody probabilistyczne informatyki
Piotr Micek
dystrybuanta zmiennej losowej
Dystrybuantą zmiennej losowej X nazywamy funkcję
FX : R → [0, 1] zadaną przez
FX (x) = PX ((−∞, x]) = P({ω : X (ω) ¬ x}).
Oczywiście w przypadku dyskretnym, funkcja FX wyznacza
bezpośrednio rozkład PX poprzez
P({xi }) = FX (xi ) − FX (xi−1 ).
Metody probabilistyczne informatyki
Piotr Micek
przykłady dyskretne
Podaj rozkład i dystrybuantę następujących zmiennych losowych:
rzut kostką: X (wypadło i oczek) = i
n rzutów monetą: X ((a1 , . . . , an )) = a1 + . . . + an , czyli X to
liczba orłów
Metody probabilistyczne informatyki
Piotr Micek
własności dystrybuanty
Własności
Dytrybuanta dowolnej zmiennej losowej jest
niemalejąca
prawostronnie ciągła
jej granice w +∞ i −∞ są równe odpowiednio 1 i 0.
Uwaga: Dowolna funkcja o powyższych własnościach jest
dystrybuantą pewnej zmiennej losowej. Z dystrybuanty FX można
odtworzyć jednoznacznie miarę PX na całej rodzinie zbiorów
borelowskich (tzw. miara Lebesguea-Stieltjesa).
Własność (zadanie)
Dla dowolnej zmiennej losowej X zbiór atomów jej rozkładu PX to
dokładnie zbiór punktów skokowych dystrybuanty FX .
Metody probabilistyczne informatyki
Piotr Micek
ciągłe zmienne losowe
Zmienna losowa X jest ciągła, jeśli jej dystrybuantę można wyrazić
Zx
F (x) =
f (u) du
x ∈R
−∞
Dystrybuanta F zmiennej losowej o rozkładzie absolutnie ciągłym
posiada prawie wszędzie pochodną f = F 0 całkowalną w sensie
Lebesguea i spełniającą dla wszystkich a < b warunek
Zb
f (x) dx = F (b) − F (a).
a
Metody probabilistyczne informatyki
Piotr Micek
ciągłe zmienne losowe
Zmienna losowa X jest ciągła, jeśli jej dystrybuantę można wyrazić
Zx
F (x) =
f (u) du
x ∈R
−∞
Dystrybuanta F zmiennej losowej o rozkładzie absolutnie ciągłym
posiada prawie wszędzie pochodną f = F 0 całkowalną w sensie
Lebesguea i spełniającą dla wszystkich a < b warunek
Zb
f (x) dx = F (b) − F (a).
a
Funkcję f nazywamy gęstością (rozkładu) zmiennej losowej X .
Metody probabilistyczne informatyki
Piotr Micek
ciągłe zmienne losowe
Zmienna losowa X jest ciągła, jeśli jej dystrybuantę można wyrazić
Zx
F (x) =
f (u) du
x ∈R
−∞
Dystrybuanta F zmiennej losowej o rozkładzie absolutnie ciągłym
posiada prawie wszędzie pochodną f = F 0 całkowalną w sensie
Lebesguea i spełniającą dla wszystkich a < b warunek
Zb
f (x) dx = F (b) − F (a).
a
Funkcję f nazywamy gęstością (rozkładu) zmiennej losowej X .
Dystrybuanta i gęstość dają dwa sposoby obliczania
prawdopodobieństw . . .
P(1 < X < 2) = FX (2) − FX (1) =
Z2
f (x) dx.
1
Metody probabilistyczne informatyki
Piotr Micek
gęstość ciągłych zmiennych
Jeszcze raz własności:
f ­ 0,
R∞
f (x) dx = 1.
−∞
Metody probabilistyczne informatyki
Piotr Micek
gęstość ciągłych zmiennych
Jeszcze raz własności:
f ­ 0,
R∞
f (x) dx = 1.
−∞
Każda całkowalna funkcja spełniająca te dwa warunki jest gęstością
pewnego rozkładu absolutnie ciągłego.
Metody probabilistyczne informatyki
Piotr Micek
gęstość ciągłych zmiennych
Jeszcze raz własności:
f ­ 0,
R∞
f (x) dx = 1.
−∞
Każda całkowalna funkcja spełniająca te dwa warunki jest gęstością
pewnego rozkładu absolutnie ciągłego.
Gęstość jest tym dla rozkładu ciągłego, czym ciąg (p1 , p2 , . . .) dla
rozkładu dyskretnego. Pokazuje, jak masa prawdopodobieństwa
(= 1) rozkłada się w zbiorze R. Użycie w tym celu (w przypadku
ciągłym) prawdopodobieństw PX (x) nie ma sensu, bo najczęściej są
one wszystkie równe zero.
Metody probabilistyczne informatyki
Piotr Micek
przykład ciągły
wybór punktu
p z kwadratu jednostkowego:
X (x, y ) = x 2 + y 2 , czyli odległość od środka układu
współrzędnych
rzut patykiem na płaską powierzchnię . . .
Ω = [0, 2π] – czyli kąt pomiędzy patykiem (ustalonym
końcem), a kierunkiem północnym. Przyjmujemy, że miara
zdarzenia (α, β), to jest tego, że patyk upadł pod kątem z
powyższego przedziału jest równa:
P((α, β)) =
β−α
.
2π
Niech X (ω) = ω. Wtedy
FX (x) =



0,
x
 2π

1
Metody probabilistyczne informatyki
x ¬0
0 ¬ x < 2π
x ­ 2π
Piotr Micek