Wyk³ad 13 - Procesy stochastyczne

Wykład 13
Procesy stochastyczne
Procesy stochastyczne X(t)
Proces stochastyczny to funkcja losowa X(t), czyli funkcja, której
wartości X leŜą w przestrzeni zdarzeń losowych.
Najprostszym przykładem procesu stochastycznego X(n), jest
wielokrotny rzut monetą: dziedziną funkcji jest zbiór liczb naturalnych N
(liczba rzutów n), natomiast wartością funkcji dla danej liczby n jest
jeden z dwóch moŜliwych stanów losowania: orzeł lub reszka (zdarzenie
losowe).
W praktyce dziedziną, na której zdefiniowana jest funkcja X(t), jest
najczęściej przedział czasowy (taki proces stochastyczny nazywany jest
szeregiem czasowym) lub obszar przestrzeni (wtedy nazywany jest polem
losowym).
Przykładami szeregów czasowych są: notowania giełdowe, sygnały
dźwiękowe takie jak mowa lub dźwięk pracującej maszyny, dane
medyczne takie jak EKG, EEG, ciśnienie krwi lub temperatura ciała,.
Przykładami pól losowych są obrazy krajobrazu, temperatura mierzona w
określonym czasie na pewnej powierzchni lub układ składników w
niejednorodnych materiale.
Procesy stochastyczne X(t)
Matematycznie, proces stochastyczny jest zazwyczaj
definiowany jako rodzina zmiennych losowych:
gdzie: Xt - zmienna losowa, zaś T to zbiór indeksów procesu
stochastycznego.
Zmienne Xt muszą być określone na tej samej przestrzeni
probabilistycznej.
Zbiór wartości zmiennych losowych Xt nazywamy
przestrzenią stanów procesu stochastycznego, zaś
pojedyncza wartość zmiennej losowej to stan procesu
stochastycznego.
Procesy stochastyczne Xn zdefiniowane na dyskretnej
przestrzeni stanów nazywane są łańcuchami.
Łańcuchy Markowa z przeliczalnym zbiorem stanów
Przestrzeń stanów (przestrzeń fazowa) E
E = {e1, e2,.........,eN} N = [1,2,......., N] (skończona liczba stanów)
E = {e1, e2,..............} N = [1,2,3, ........] (nieskończona liczba stanów)
Łańcuch Markowa
Ciąg zmiennych (X0, X1, X2,,,,,,,) taki, Ŝe
P{Xn = ei(n) / X0 = ei(0), X1 = ei(1),..........................., Xn-1 = ei(n-1)} =
P{Xn = ei(n) / Xn-1 = ei(n-1)} = Pi(n-1),i(n)
″niezaleŜność przyszłości od przeszłości przy znanej teraźniejszości″
P{X0 = ei(0), X1 = ei(1),..........................., Xn = ei(n)} =
= P{X0=ei(0)}P{X1=ei(1) /X0=ei(0)}.......... P{Xn=ei(n) /Xn-1=ei(n-1)}
Xn – stan cząstki (układu) w n-tym kroku
pi = P{X0 = ei} – rozkład początkowy
def
pi,j(n) = P{Xn = ej / X0 = ei}= P{Xk+n = ej / Xk = ei}
Łańcuchy Markowa
P = (pi,j) – macierz przejścia (macierz stochastyczna)
Warunki: pi,j ≥ 0; (∀i) Σ pi,j = 1;
j = 1,....,N
Pn = (pi,j(n)) (P0 = P)
pi,j(n) – stoi w i-tym wierszu i j-tej kolumnie macierzy Pn
pi,j(0) = 1 dla i = j, oraz pi,j(0) = 0 dla i ≠ j.
Równanie Chapmana-Kołmogorowa
pi,j(n + m) = Σ pi,k(n) pk,j(m)
k = 1,....,N
lub
Pn+m = Pn Pm
Łańcuchy Markowa
fj(n) = pj(n) = P{Xn =
def.
e j} –
rozkład prawdopodobieństwa
w n-tym kroku
pj(n +1) = Σ pi(n) pi,j
i = 1,....,N
pj(n) = Σ pi(0) pi,j(n)
i = 1,....,N
def.
p(n) = [p1(n), p2(n), ....., pN(n)]T
p(n + 1) = PT p(n)
p(n + 1) = (PT)n p(0)
Przykład: Klasycznym przykładem łańcucha Markowa jest spacer
losowy po prostej. Wyobraźmy sobie cząsteczkę, która moŜe się
poruszać wzdłuŜ linii prostej według następujących reguł: w chwili zero
cząsteczka znajduje się w punkcie o współrzędnej zero, natomiast w
następnych momentach czasu (1, 2, 3i tak dalej) moŜe się przesuwać o
jeden w lewo lub o jeden w prawo, z prawdopodobieństwami równymi
odpowiednio p oraz q, przy czym p + q = 1, JeŜeli p = q, to mówimy, Ŝe
spacer losowy jest standardowy.
Ergodyczność
T
π
=
lim
p
(
n
),
gdzie
p
(
n
)
=
[
p
(
n
)
,
p
(
n
),.....,
p
(
n
)
]
1
2
N
),
.
n→∞
π = [π1, π2, ....., πN]T - rozkład graniczny (stacjonarny)
Def. Łańcuch Markowa jest ergodyczny, jeŜeli istnieje rozkład graniczny
π niezaleŜny od rozkładu początkowego p(0):
(∀i) lim pi,j(n) = πj
n→∞
Równanie rozkładu stacjonarnego:
PTπ = π lub (PT - I)π = 0
gdzie I jest macierzą jednostkową.
Warunek unormowania: πT1 = 1.
Ergodyczność oznacza, Ŝe dla duŜych prawdopodobieństwo przejścia ze
stanu do stanu w krokach jest dodatnie i zaleŜy faktycznie od stanu
końcowego , zaś nie zaleŜy od stanu początkowego - prawdopodobieństwa
te moŜna otrzymać, rozwiązując odpowiedni układ równań liniowych.
Ergodyczność
Tw. ergodyczne: JeŜeli istnieje taka liczba naturalna n, Ŝe macierz Pn ma co
najmniej jedną kolumnę o wszystkich wyrazach dodatnich, to łańcuch
Markowa jest ergodyczny.
Przykład 1 (Kubik): Mamy daną macierz przejścia P:
 q p 0
P= q 0 p ,
gdzie 0 < p < 1, q = 1- p
 0 q p
MoŜna sprawdzić, Ŝe macierz P2 = P P ma wszystkie wyrazy dodatnie.
ZałoŜenia twierdzenia ergodycznego są więc spełnione. Stąd:
q π1 + q π2 = π1
oraz π1 + π2 + π3 = 1
p π1 + q π3 = π2
p π2 + p π3 = π3
Rozwiązanie układu równań: πi = (p / q)i-1/(1 + p / q + (p / q)2)
gdzie i = 1, 2, 3.
Przykład 2 (schemat urnowy jako sposób reprezentacji łańcucha Markowa
o N stanach): Mamy N urn z których kaŜda zawiera N rodzajów kul
ponumerowanych od 1 do N. Losujemy ze zwracaniem i w kolejnym
kroku przechodzimy do urny, o numerze wylosowanej kuli.
Klasyfikacja stanów łańcucha Markowa
Stany łańcucha Markowa moŜna pogrupować w klasy w zaleŜności od
tego, czy mogą one być osiągnięta z dowolnego stanu danej klasy.
″stan i jest osiągalny ze stanu j (i → j)″
wtedy i tylko wtedy, gdy istnieje takie n, Ŝe pi,j(n) > 0.
″stan i komunikuje się ze stanem j (i ↔ j)″
wtedy i tylko wtedy, gdy zarówno i → j jak równieŜ i ← j.
Relacja ″→ ″ jest przechodnia: ″i → j″ oraz ″j → k″ ⇒ ″i → k″
Klasą stanów nazywamy największy podzbiór przestrzeni stanów taki, Ŝe
dowolne dwa jego stany komunikują się ze sobą (″i ↔ j″).
Relacja ″i ↔ j″ nie jest zwrotna, moŜe istnieć niekomunikujący się ze sobą
a zarazem z Ŝadnym innym stanem (stan niepowracalny).
Podzbiór (klasę) M przestrzeni stanów nazywamy zamknięty wtedy i tylko
wtedy, gdy (∀i∈ M) Σ pi,j = 1 (wyjście ze zbioru M jest niemoŜliwe)
j∈M
Przykładem zbioru zamkniętego jest stan pochłaniający (pi,i = 1).
Stan i jest powracalny wtedy i tylko wtedy, gdy (∃ n ≥1) pi,j(n) > 0.
Klasyfikacja stanów łańcucha Markowa
Stan i jest powracalny wtedy i tylko wtedy, gdy (∃ n ≥1) pi,j(n) > 0.
JeŜeli i jest stanem powracalnym, to moŜemy zdefiniować jego okres di
jako największy wspólny dzielnik wszystkich liczb naturalnych m dla
których pi,j(m) > 0. Stan i jest okresowy, jeŜeli di > 1 oraz nieokresowy,
gdy di = 1.
Tw. Dwa róŜne stany naleŜące do tej samej klasy mają taki sam okres.
Innymi słowy, okresowość (o długości d) jest własnością klasy.
Klasa jest okresowa (periodyczna, cykliczna) albo nieokresowa
(aperiodyczna) w zaleŜności od tego czy d > 1 czy teŜ d = 1.
Przykład: Zagadnienie ruiny gracza. Pierwszy gracz ma na początku k jednostek
 1 0 0......0 kapitału a drugi l – k jednostek. Przegrywający gracz
q 0 p.... ..0 płaci jednostkę kapitału. Pierwszy gracz wygrywa z
P = .................... prawdopodobieństwem p a drugi z prawdop. q,
0 0 ... q 0 p gdzie 0 < p < 1, q = 1- p
 0 0... ...0 1
Błądzenie przypadkowe z ekranami pochłaniającymi (absorbującymi) w stanach 0 i l.
Procesy stochastyczne X(t, ω)
Przestrzeń probabilistyczna (Ω,B,P).
X(t, ω) = Xω(t)) - proces losowy z ciągłym czasem t. Funkcja czasu, która
dla kaŜdej wybranej chwili czasowej t jest zmienną losową.
x(t) = x(t, ω) – realizacja procesu stochastycznego (dla ustalonego
zdarzenia elementarnego ω).
t0 < t1 < t2 <............ < tn
X(t0), X(t1), X(t2),................, X(tn)
Xn = [X(t0), X(t1), ............., X(tn)]T (n → ∞)
Charakterystyka procesu losowego X(t, ω) przez wektor losowy Xn(ω) o
nieskończonej liczbie składowych X(ti). Funkcje dystrybuanty lub
gęstości wektora losowego Xn(ω) w pełni określają jego właściwości
stochastyczne.
,
Momenty procesu stochastycznego
Def. Momentem zwyczajnym mx(t0, t1,......, tk ) k-tego rzędu procesu
stochastycznego X(t) nazywamy wartość oczekiwaną iloczynu
zmiennych losowych X(t1)............X(tk):
mx( t1,......, tk ) = E[X(t1)............X(tk)] =
+∞
+∞
= ∫ ..........∫ x1...... xk fx(x1,..... ,xk; t1,......, tk ) dx
d 1...........dx
...........d k
-∞
-∞
Moment pierwszego rzędu (wartość oczekiwana) mx(t) procesu
stochastycznego X(t):
+∞
mx( t) = E[X(t)] = ∫ x fx(x; t ) dx
d
-∞
Moment centralny µx( t1,..., tk ) k-tego rzędu procesu stochastycznego X(t)
µx( t1,..., tk ) = +∞ +∞
= ∫ ....∫ (x1-mx(t1)).... (xk-mx(tk)) fx(x1,... ,xk; t1,..., tk ) dx
d 1....dx
....d k
-∞
-∞
Funkcja autokorelacji procesu
stochastycznego
Kx(t1, t2) – funkcja autokorelacji procesu stochastycznego X(t)
+∞ +∞
Kx(t1, t2) = ∫ ∫ (x1 - mx(t1)) (x2 -mx(t2)) fx(x1,,x2; t1, t2 ) dx
d 1dx2
-∞ -∞
Wx(t ) = Kx(t, t) – wariancja procesu stochastycznego X(t)
kx(t1, t2) = Kx(t1, t2) / (Wx(t1)Wx(t2)) - unormowana funkcja
autokorelacji procesu stochastycznego X(t)
Procesy ergodyczne
(procesy stacjonarne)
Wszystkie realizacje procesu stochastycznego X(t) są ″typowe″
Znajomość pojedynczej realizacji X*(t) na dostatecznie długim odcinku
czasowym pozwala wyznaczyć rozkład prawdopodobieństwa (lub jego
parametrów) w innej realizacji procesie X(t).
P{X(t) < y}= lim (1/T){ łączna długość odcinków czasowych z
T→∞
przedziału [0,T], kiedy było X*(t) < y}
T
E[X(τ)] = m = lim (1/T) ∫ X*(t) dt
T→∞
-∞
Szacowanie wartości oczekiwanej za pomocą ″średniej czasowej″.
Procesy Markowa
Zainteresowani jesteśmy wyznaczeniem prawdopodobieństw
warunkowych:
P{X(τ) < y / I}
gdzie I to informacje o przebiegu procesu X(t) dla pewnych
chwil ti < τ (t0 < t1 < ............ < tn < τ).
Dystrybuanta procesu Markowa charakteryzuje się właściwością:
P{X(τ) < y / X(tn-1) = xn-1,......., X(t0) = x0} =
= P{X(τ) < y / X(tn-1) = xn-1}
JeŜeli w poszczególnych chwilach realizacje procesu są
niezaleŜne od siebie to mamy proces z brakiem pamięci:
P{X(τ) < y / X(tn-1) = xn-1,....., X(t0) = x0} = P{X(τ) < y}
Procesy o przyrostach niezaleŜnych
X(t0), X(t1) - X(t0),.........., X(tn) - X(tn-1)
przyrosty zmiennej X(tk) - X(tk-1) są
niezaleŜne od siebie
Procesy o przyrostach jednorodnych
Proces o przyrostach jednorodnych (proces jednorodny) mamy
wtedy, gdy rozkład prawdopodobieństwa P{X(t2) - X(t1)}
zaleŜy tylko od róŜnicy t2 - t1 a nie zaleŜy od chwili t1.
Przykład: Emisja cząstek α przez pewną substancję
promieniotwórczą
Proces emisji obserwujemy w przedziale czasu [0,∞
[0, ]
tk – chwila emisji k-tej cząstki (k = 1, 2,...)
τ(t) – liczba wyemitowanych cząstek w przedziale
czasu [0,t].
dla 0 ≤ t < t1
τ(t) =
dla t1 ≤ t < t2
dla t2 ≤ t < t3
..................
Dodatkowe załoŜenia o procesie emisji cząstek α:
1o. Proces jest jednorodny w czasie
Rozkład liczby cząstek emitowanych w określonym przedziale czasu
(np. jednej godziny) nie zaleŜy od momentu obserwacji
0
1
2
Przykład: Dodatkowe załoŜenia o procesie emisji cząstek α.
2o. Proces ma własność braku pamięci
Przebieg procesu emisji cząstek α po dowolnej chwili nie
zaleŜy od przebiegu procesu emisji do tej chwili.
Emisje cząstek w rozłącznych przedziałach czasu moŜna
traktować jako doświadczenia niezaleŜne (proces o
przyrostach niezaleŜnych)
nych
3o. Pojedynczość procesu. Częstość λ emisji cząstki α w ciągu
bardzo krótkiego przedziału czasu jest w przybliŜeniu
proporcjonalna do jego długości. Emisja więcej niŜ jednej
cząstki w ciągu bardzo krótkiego przedziału czasu prawie nie
zdarza się.
Pt(k) - prawdopodobieństwo wyemitowania k cząstek w
przedziale czasu [0,t].
Zgodnie z właściwością 2o:
(∀ t1 > 0, t2 > 0)
Pt1+t2(k) = Σ Pt1(j) Pt2(k-j)
j = 1,....,k
Zgodnie z właściwością 3o:
dla t ≈ 0 Pt(1) = λ t + o(t) oraz Σ Pt(k) = o(t)
k = 2,....,∞
Jedyną rodziną rozkładów spełniającą postulaty 1o, 2o oraz 3o
jest rodzina rozkładów Poissona:
Pt(k) = e-λt (λt)k / k!
λ - intensywność procesu Poissona.
(k = 0,1,2,.....)
Rozkład Poissona dobrze opisuje te doświadczenia w których
spełnione są postulaty 1o, 2o oraz 3o
Przykład: Proces zgłoszeń abonentów do centrali telefonicznej
def
pi,k(t) = P{X(t2) = k / X(t1) = i},
gdzie t = t2 - t1
Dla procesu Poissona zachodzą poniŜsze związki dla małych
wartości przedziału czasu t (t > 0):
pi,i+1(t) = λ t + o(t)
pi,j(t) = o(t) (j = i +2, i + 3,.....)
pi,i(t) = 1 - λ t + o(t)
Uogólnienia procesu Poissona
Proces urodzin (populacja bakterii)
pi,i+1(t) = λ i t + o(t)
pi,j(t) = o(t) (j = i +2, i + 3,.....)
pi,i(t) = 1 - λ i t + o(t)
Częstość pojawiania się nowego elementu dla bardzo
krótkiego przedziału czasu t jest w przybliŜeniu
proporcjonalna do długości przedziału, przy czym
współczynnik proporcjonalności λi zaleŜy od stanu układu i
na początku tego przedziału
Proces urodzin i śmierci (populacja bakterii)
pi,i+1(t) = λ i t + o(t)
pi,i-1(t) = µ i t + o(t)
pi,j(t) = o(t) (j = i +2, i + 3,.....)
pi,i(t) = 1 – (λ + µ) i t + o(t)