Łancuchy Markowa z czasem ciagłym Procesy Stochastyczne

Łańcuchy Markowa z czasem ciągłym
Procesy Stochastyczne, wykład 7, T. Byczkowski,
Procesy Stochastyczne, PPT, Matematyka
MAP1136
26 marzec, 2012
Łańcuchy Markowa z czasem ciągłym
Łańcuchy z czasem ciągłym
S = {0, 1, . . . , }, BS = 2S , ale T = [0, ∞) lub T = (0, ∞). Gdy S
skończone, to otrzymujemy rodzinę macierzy stochastycznych
P(t) spełniających warunek półgrupowości:
P(t)P(s) = P(t + s),
s, t > 0.
Dla przypadku jednowymiarowego ciągłe rozwiązania - funkcje
wykładnicze. Pokażemy, że tutaj jest podobnie. Dalej zakładamy,
że P(0) = I oraz, że limt→0+ P(t) = I (ciągłość w 0). Ciągłą w
zerze stochastyczną funkcję macierzową spełniającą warunek
półgrupowości nazywamy markowską macierzą przejścia.
Definicja
Dla macierzy A (n × n) definiujemy
exp(A) =
∞
X
Ak
k=0
k!
,
(A0 = I).
Łańcuchy Markowa z czasem ciągłym
Generator półgrupy markowskiej
Tw. 3.
Niech P(t), t ≥ 0, będzie markowską macierzą przejścia (n × n).
Wtedy
P(t) = exp(tG) ,
gdzie G = [gij ] (=generator)
jest macierzą (n × n) spełniającą
P
gij ≥ 0, dla i 6= j, oraz j gij = 0, dla wszystkich i. Powyższy
wzór ustala wzajemnie jednoznaczną odpowiedniość między
markowskimi macierzami przejścia a macierzami G o w/wym.
własnościach (generatorami).
Ćwiczenie. Szereg definiujący exp(A) jest zbieżny w normie. Gdy
AB = BA to exp(A + B) = exp(A) exp(B) Ponadto
d
exp(tA) = A exp(tA) = exp(tA)A.
dt
Łańcuchy Markowa z czasem ciągłym
Generator półgrupy markowskiej cd.
Dowód
Półgrupa P(t) jest ciągła (normowo) dla wszystkich t > 0:
P(t + h) = P(t)P(h) oraz P(t − h) = P(t)P(h)−1 ; gdzie P(h)−1
istnieje dla małych h > 0, bo P(h) → I.
Załóżmy dodatkowo, że P(t) jest prawostronnie różniczkowalna w
0, tzn. że
pij (t) − δij
lim+
= gij
t
t→0
istniejePdla dow. i, j. Macierz G = [gij ] ma własność: gij ≥ 0, dla
i 6= j, j gij = 0. Zachodzi
dP(t)
P(t + h) − P(t)
P(h) − I
= lim+
= lim+
P(t) = GP(t).
dt
h
h
h→0
h→0
Także P0 (t) = P(t)G. Analogicznie sprawdzamy lewostronną
różniczkowalność w t > 0. Z teorii r.r. obydwa równania różn.
posiadają jedyne rozwiązania przy war. początkowym P(0) = I.
Łańcuchy Markowa z czasem ciągłym
Generator półgrupy markowskiej cd.
Jednocześnie wiadomo, że exp(tG) spełnia powyższe r.r. i war.
początkowy P(0) = I, więc z jednoznaczności otrzymujemy:
P(t) = exp(tG).
Macierz G nazywamy generatorem półgrupy markowskiej P(t).
Na odwrót, dla dowolnego generatora G, P(t) = exp(tG) jest
markowską macierzą przejścia:
P(t) jest macierzą stochastyczną:
Niech 1 oznacza wektor kolumnowy złożony z samych jedynek.
Ponieważ wyrazy każdego wiersza G sumują sie do 0 więc
P(t)1 =
∞ n n
X
t G 1
n=0
n!
= (tG)0 1 = 1,
czyli wyrazy każdego wiersza P(t) sumują się do 1.
Łańcuchy Markowa z czasem ciągłym
Generator półgrupy markowskiej cd.
Przypuśćmy, że gij > 0, dla wszystkich i 6= j. Zachodzi
pij (t) = δij + tgij + O(t 2 )
więc pij (t) > 0, dla małych t > 0. Ponieważ P(t) = P(t/k)k więc
P(t) > 0 dla wszystkich t > 0. W ogólnym przypadku def.
[Gε ]ij = gij + ε, ε > 0. Z poprzednich rozważań
Pε (t) = exp(tGε ) > 0. Ze zbieżności P(t) = limε→0+ Pε (t)
otrzymujemy P(t) ≥ 0.
Uzupełnienie: istnienie P0 (0). Dla dow. h > 0 i dow. n zachodzi
następująca tożsamość:
[P(h) − I][I + P(h) + . . . + P(nh − h)] = P(nh) − I
Gdy h → 0 oraz nh → t to z ciągłości P(·) otrzymujemy
Z t
n−1
X
h
P(kh) →
P(u) du
0
k=0
Gdy t > 0 jest małe, macierz
Rt
0
P(u) du jest odwracalna.
Łańcuchy Markowa z czasem ciągłym
Istnienie P0 (0).
Pokażemy, że gdy ||A − I|| < 1, to A - odwracalna. P(t) → I, gdy
t → 0, więc istnieje t > 0, że dla 0 < u < t, ||P(u) − I|| < 1/2.
Wtedy
Z t
Z t
||1/t
P(u)du − I|| ≤ 1/t
||P(u) − I||du ≤ 1/2.
0
0
Dla małych h > 0 suma Riemanna przybliżająca całkę jest
nieosobliwa. Ponadto P(nh) → P(t). Z naszej tożsamości
otrzymujemy
Z
lim (1/h)[P(h) − I] = [P(t) − I]
h→0+
−1
t
P(u) du
0
więc P0 (0+) istnieje.
Łańcuchy Markowa z czasem ciągłym
Macierze odwracalne są zbiorem otwartym.
Lemat. Zbiór macierzy odwracalnych jest otwarty w
(L(V ), || · ||).
1. Gdy
||A − I|| < 1 to A jest odwracalna. Rzeczywiście, niech
P∞
Y = 0 (I − A)n . Wtedy AY = YA = I :
k
k
X
X
n
A
(I − A) = [I − (I − A)]
(I − A)n = I − (I − A)k+1 → I.
0
0
Analogicznie sprawdzamy, że YA = I, więc Y = (A)−1 .
2. Gdy B odwracalna oraz C taka, że ||C|| < 1/2||B−1 ||−1 , to
B + C = B(I + B−1 C)
oraz ||B−1 C|| < 1/2 zatem I + B−1 C odwracalna, więc także
B + C odwracalna.
Łańcuchy Markowa z czasem ciągłym
Kryterium nieprzywiedlności P(t)
Markowską macierz przejścia P(t) nazywamy nieprzywiedlną gdy
pij (t) > 0 dla dow. i, j oraz wszystkich t > 0.
Kryterium
P(t) = exp(tG) jest nieprzywiedlna ⇔ dla dowolnych i, j; i 6= j,
istnieje skończony ciąg stanów i = i0 , i1 , . . . , in = j, taki, że
gik ik+1 6= 0 dla 0 ≤ k ≤ n − 1
Dowód. Gdy istnieje skończony ciąg stanów i1 , . . . , in o
własnościach jak wyżej mówimy, że istnieje droga z i do j, i 6= j.
Załóżmy, że nie istnieje droga z i do j, i 6= j. Wtedy
(n)
gij = [Gn ]ij = 0 dla dowolnych i oraz j, i 6= j, n = 1, 2, . . . oraz
pij (t) =
∞ n
X
t [Gn ]ij
n=0
n!
=0
dla wszystkich t > 0, więc P(·) nie jest nieprzywiedlna.
Łańcuchy Markowa z czasem ciągłym
Dostateczność kryterium nieprzywiedlności
Na odwrót, gdy istnieją drogi od i do j, (i 6= j), niech n0 - długość
najkrótszej. Gdyby dla pewnego k pojawił sie wyraz gkk 6= 0, to
wykreślając go otrzymalibyśmy krótszą drogę. W takim razie
gik ik+1 > 0, bo ik 6= ik+1 . Jeśli n0 = 1, to gij > 0 wiec pij (t) > 0
(n0 −1)
dla małych t. Indukcja wzgl. n0 : Gdy n0 ≥ 2 to gij = gij
i dla pewnego i1 , gii1 > 0 oraz
(n −1)
gi1 j 0
=0
(n0 )
gij
=
+
X
(n −1)
=0
> 0. Wtedy zachodzi
=0
z }| { z }| {
(n −1)
(n −1)
(n −1)
+ gij gjj 0
+gii1 gi1 j 0
= gii gij 0
gik gkj 0
X
(n −1)
(n −1)
gik gkj 0
≥ gii1 gi1 j 0
>0
k6=i1 ,i,j
Tak więc [Gn ]ij = 0 dla n < n0 oraz [Gn0 ]ij > 0. Stąd, dla małych
t > 0 zachodzi pij (t) > 0. Tak jest dla wszystkich i, j więc dla
małych t > 0 (zatem dla wszystkich t > 0) zachodzi P(t) > 0.
Łańcuchy Markowa z czasem ciągłym
Istnienie limt→∞ P(t)
Tw. 4.
Niech P(t), t ≥ 0 będzie nieprzywiedlną macierzą przejścia o
skończonej ilości stanów. Wtedy limt→∞ P(t) = π istnieje, macierz
graniczna π ma stałe kolumny. Jej (identyczne) wektory wierszowe
π są jedynymi wektorami prob. spełniającymi π = πP(t) dla
wszystkich t ≥ 0.
Dowód. Dla dowolnego h > 0, P(h) > 0. Z twierdzenia
dotyczącego przypadku dyskretnego, dla dowolnego h > 0
lim P(nh) = lim P(h)n = π
n→∞
n→∞
istnieje, gdzie (identyczne)
P wektory wierszowe π są jedynymi
wektorami prob. (t.j.
πi = 1) spełniającymi π = πP(h).
Poprzednio jednak pokazaliśmy, że P(t) jest jednostajnie ciągła na
[0, ∞). Istnienie limt→∞ P(t) otrzymujemy z następującego
lematu:
Łańcuchy Markowa z czasem ciągłym
Istnienie limt→∞ P(t)
Lemat.
Niech f będzie jednostajnie ciągłą, ograniczoną funkcją rzeczywistą
na [0, ∞) mającą własność
lim f (nh)
n→∞
istnieje dla dowolnego h > 0. Wtedy limt→∞ f (t) istnieje.
[Niech ε > 0 oraz h > 0 takie, że oscylacja f na odcinku o
długości h ≤ ε/2. Niech limn→∞ f (nh) = A. Wybieramy n0 takie,
że |f (nh) − A| < ε/2, dla n ≥ n0 . Niech t > n0 h oraz niech
n1 = [t/h]. Wtedy |f (t) − A| ≤ |f (t) − f (n1 h)| + |f (n1 h) − A| < ε.]
Zauważmy, że π jest takie samo dla każdego h więc
π = πP(t),
dla każdego t. Rozwiązanie powyższego równania jest jedyne
(nawet dla pojedynczego ustalonego t > 0), co kończy dowód.
Łańcuchy Markowa z czasem ciągłym