Łancuchy Markowa z czasem dyskretnym Procesy Stochastyczne

Łańcuchy Markowa z czasem dyskretnym
Procesy Stochastyczne, wykład 6, T. Byczkowski,
Procesy Stochastyczne, PPT, Matematyka
MAP1136
19 marzec, 2012
Łańcuchy Markowa z czasem dyskretnym
Przykłady procesów Markowa
P
(i). P = (pij ) - macierz stochastyczna, tzn. pij ≥ 0, j pij = 1.
Definiujemy
X
P1 (i, A) =
pij , (pij = P1 (i, {j})).
j∈A
Z równania Chapmana-Kołmogorowa macierz (P2 (i, {j})) przejścia w dwóch krokach - powinna spełniać
X
(2)
pij = P2 (i, {j}) =
pik pkj .
k
Stąd, macierz przejścia P(2) w dwóch krokach, będzie iloczynem
macierzy P: P(2) = P2 oraz ogólniej: P(s+k) = P(s) P(k) = Ps+k .
Bezpośrednio sprawdzamy, że taka definicja prawd. przejścia
pociąga za sobą równość Chapmana-Kołmogorowa, więc każda
macierz stochastyczna definiuje prawd. przejścia Pt (x, E ), gdzie
T = {0, 1, . . . , }, S = {0, 1, . . . , }, BS = 2S .
Łańcuchy Markowa z czasem dyskretnym
Przykłady procesów Markowa cd.
(ii). Niech T = [0, ∞), S = {0, 1, . . . , }, BS = 2S . Dla λ > 0
definiujemy
pi,i+j (t) := Pt (i, {i + j}) = e −λt (λt)j /j!.
Są to prawd. przejścia w procesie Poissona o intensywności λ.
[P(Xt+h = i + j|Xh = i) = P(Xt = j) = pi,i+j (t)].
(iii). Niech T = [0, ∞), S = R, BS = BR . Dla A borelowskiego
na S = R kładziemy
Z
√
2
e −y /2t dy
Pt (x, A) = 1/ 2πt
A−x
Są to prawd. przejścia w procesie Wienera
[P(Xt+h ∈ A|Xh = x) = P((Xt+h − Xh ) + Xh ∈ A|Xh = x) =
P(Xt ∈ A − x)].
Łańcuchy Markowa z czasem dyskretnym
Łańcuchy Markowa
Rozpatrujemy przypadek T = {0, 1, . . . , }, S = {0, 1, . . . , },
BS = 2S .Ppj,k - prawd. przejścia w jednym kroku z stanu j do
stanu k, k pj,k = 1. Prawd. przejścia z stanu j do stanu k w
(n + 1) krokach dane jest przez
X
(n+1)
(n)
pj,k
=
pj,l pl,k , n = 1, 2, . . .
l
Zakładamy dalej, że S - skończony. Prawd. przejścia określają
macierz stochastyczną (n × n). Macierz przejścia w n krokach jest
dana wzorem P(n) = Pn . Równania Chapmana-Kołmogorowa
redukują sie do
P(n+m) = P(n) P(m) = Pn Pm .
Podstawowy problem - zachowanie systemu tzn. Pn w czasie
(n)
n → ∞. Przy pewnych założeniach prawd. przejścia pj,k → gdy
n → ∞. Mówimy, że po upływie długiego czasu system jest
stacjonarny.
Łańcuchy Markowa z czasem dyskretnym
Zbieżność Pn
Tw. 1.
Niech P będzie macierzą stochastyczną. Załóżmy, że dla pewnego
(m)
m, pi,j > 0 dla wszystkich i, j. Wtedy
lim Pn = π
istnieje.
i jest macierzą stochastyczną o identycznych wierszach.
Dowód.
Załóżmy, że m = 1. Wtedy pi,j ≥ ε > 0, dla każdego i, j. Niech
(n)
mj (n) = min pi,j będzie najmniejszym elementem j-tej kolumny
(n)
Pn ; analogicznie, niech Mj (n) = max pi,j . Wtedy
P
P
(n)
(n−1)
pi,j = k pi,k pk,j
≥ k pi,k mj (n − 1) = mj (n − 1)
dla każdego i, czyli mj (n) ≥ mj (n − 1).
Łańcuchy Markowa z czasem dyskretnym
Zbieżność Pn cd.
Analogicznie pokazujemy, że Mj (n) ≤ Mj (n − 1). Istnieją więc
(n)
granice ciągów mj (n) i Mj (n). Załóżmy, że mj (n) = pi0 j oraz
(n−1)
Mj (n − 1) = pi1 j
. Wtedy
(n)
mj (n) = pi0 j =
X
(n−1)
pi0 ,k pk,j
=
k
(n−1)
εpi1 j
(n−1)
+ (pi0 ,i1 − ε)pi1 j
X
+
(n−1)
pi0 ,k pk,j
≥
k6=i1
εMj (n − 1) + [pi0 ,i1 − ε +
X
pi0 ,k ]mj (n − 1)
k6=i1
Stąd
mj (n) ≥ εMj (n − 1) + (1 − ε)mj (n − 1)
Niech mj = lim mj (n) , Mj = lim Mj (n). Przechodząc w
poprzednim wierszu do granicy otrzymujemy
mj ≥ εMj + (1 − ε)mj
Łańcuchy Markowa z czasem dyskretnym
Zbieżność Pn cd.
czyli mj ≥ Mj więc mj = Mj . Oznacza to,że kolumny macierzy
granicznej π są stałe, więc macierz ma identyczne wiersze.
Niech teraz m > 1. Z poprzedniej cześci dowodu otrzymujemy, że
lim Pnm = π.
n→∞
Gdy teraz ln → ∞ to zapisując ln = mjn + kn , 0 ≤ kn < m,
otrzymujemy
||Pln − π|| = ||Pmjn +kn − Pkn π|| ≤
||Pkn || ||Pmjn − π|| = ||Pmjn − π|| → 0,
gdy n → ∞. Tutaj π = Pkn π bo π ma stałe kolumny, a suma
wyrazów każdego wiersza Pkn jest równa 1.
Łańcuchy Markowa z czasem dyskretnym
Zbieżność Pn cd.
Wniosek
Wiersze macierzy π spełniają relacje
X
πi pij = πj , πj > 0,
X
i
πi = 1 .
i
Wektor π = (πi ) jest jedynym wektorem spełniającym powyższe
relacje.
Dowód.
Zachodzi
(n)
pkj =
X
(n−1)
pki
pij .
i
Przechodząc do granicy otrzymujemy
X
πj =
πi pij .
i
Łańcuchy Markowa z czasem dyskretnym
Zbieżność Pn cd.
Założyliśmy pij ≥ ε > 0 więc
(n)
pkj =
X
i
(n−1)
pki
pij ≥ ε
X
(n−1)
pki
= ε.
i
P (n)
P
Zachodzi i pki = 1 więc także i πi = 1.
Jedyność. Przypuśćmy, że v jest wektorem spełniającym powyższe
założenia. Wtedy
v = vP = vPn = lim vPn = vπ = π,
P
bo π ma kolumny złożone ze stałych, zaś i vi = 1.
Gdy π dodatnie i zachodzi zbieżność Pn → π punktowo, to także
(n)
jednostajnie, więc pkj > 0, począwszy od pewnego n, dla
wszystkich k, j.
Łańcuchy Markowa z czasem dyskretnym
Klasyfikacja stanów
Definicja. Łańcuch Markowa nazywamy nieprzywiedlnym
(n)
gdy dla każdego i, j istnieje n = n(i, j) takie, że pij > 0. Okres di
(n)
stanu i: n.w.d. zbioru {n ≥ 1; pii > 0} (n.w.d. = najwiekszy
wspólny dzielnik). Stan i nazywamy aperiodycznym, gdy di = 1.
Tw. 2. Macierz stochastyczna P spełnia Pm > 0 dla pewn. m
(warunek dodatniości) wtedy i tylko wtedy, gdy łańcuch Markowa
jest nieprzywiedlny i posiada co najmniej jeden stan aperiodyczny.
Dowód. Gdy Pm > 0 to dla wszystkich dużych potęg m zachodzi
(m)
(m+1)
Pm > 0 (zbieżność Pm → π > 0). Stąd pii > 0 i pii
> 0, dla
dużych m, wiec di = 1. [m = km ρ, m + 1 = km+1 ρ].
Na odwrót, załóżmy, że stan i jest aperiodyczny. Wtedy
X (n) (m)
(n+m)
(n) (m)
pii
=
pik pki ≥ pii pii .
k
Łańcuchy Markowa z czasem dyskretnym
Klasyfikacja stanów
(n)
Zatem D = {n; pii
> 0} jest półgrupą w N.
Zadanie (Ćwiczenia)
Z tego, że n.w.d. liczb w D wynosi 1 wynika, że od pewnego m0 ,
D zawiera wszystkie liczby naturalne.
Ustalamy stan i; niech j - inny stan. k oraz l wybieramy tak, aby
pijk > 0 oraz pjil > 0. Wtedy dla wszystkich m ≥ m0 ,
(m+k+l)
pjj
≥ pjil piim pijk > 0
(m)
czyli pjj > 0 dla odpowiednio dużych m więc j też jest
aperiodyczny. Analogicznie
(m+l)
pji
≥ pjil piim > 0,
dla m ≥ m0 , więc także wyrazy poza przekątną główną są
dodatnie, dla dużych m. Ponieważ P - macierz (n × n), więc dla
dużych m zachodzi Pm > 0.
Łańcuchy Markowa z czasem dyskretnym
Klasyfikacja stanów
Uwagi.
1. Gdy łańcuch jest nieprzywiedlny ale pewien stan ma okres
d > 1 to wszystkie stany mają ten okres, Pn nie musi być już
zbieżne; zachodzi jednak zbieżność średnich:
(P0 + P1 + . . . + Pn )/n → π;
dla Pn zachodzi zbieżność (mod d).
2. Gdy założenie nieprzywiedlności nie jest spełnione to zbiór
stanów rozpada się na klasy stanów wzajemnie komunikujacych się
oraz pewne stany do których nie ma powrotu (nie należą do żadnej
klasy).
3. Gdy S nieskończony, sytuacja bardziej skomplikowana ale dalej
można badać nieprzywiedlność, komunikowanie się stanów,
okresowość, istnienie rozkładów stacjonarnych, itd.
Łańcuchy Markowa z czasem dyskretnym