Procesy stochastyczne

Transkrypt

Rozkłady stacjonarne łańcuchów Markowa
Istnienie rozkładów stacjonarnych
Wykład III:
16 marca 2015
Wykład III: Rozkłady stacjonarne łańcuchów Markowa
Ewolucja rozkładów brzegowych łańcuchów Markowa
Stacjonarność łańcuchów Markowa
Elementy definicji łańcuchów Markowa
E - przeliczalny zbiór stanów.
P = {pij }i,j∈E - macierz prawdopodobieństw przejścia, tzn.
pij 0, i, j ∈ E oraz
X
pij = 1, i ∈ E.
j∈E
π̄ = {πj }j∈E - rozkład początkowy.
Jednorodny łańcuch Markowa - proces stochastyczny
X0 , X1 , X2 , . . . o rozkładach skończenie wymiarowych danych
wzorem
Pπ̄ X0 = i0 , X1 = i1 , X2 = i2 , . . . , Xm−1 = im−1 , Xm = im =
= πi0 · pi0 ,i1 · pi1 ,i2 · . . . · pim−1 ,im .
Ewolucja rozkładów brzegowych
Jak znajdujemy rozkłady brzegowe łańcucha Markowa?
Pπ̄ X0 = i = πi , i ∈ E, czyli Pπ̄X0 = π̄.
Pπ̄ X1 = i = π̄P i , i ∈ E.
Ogólnie: Pπ̄ Xm = i = π̄Pm i , i ∈ E.
Wniosek
Jeśli π̄P = π̄, to L(X0 ) = L(X1 ) = L(X2 ) = . . ..
Definicja (Rozkład stacjonarny)
Rozkład π̄ na E nazywamy stacjonarnym, jeśli
π̄P = π̄.
Rozkłady stacjonarne
Twierdzenie
Następujące warunki są równoważne:
(i) π̄P = π̄.
(ii) π̄ = Pπ̄X0 = Pπ̄X1 = Pπ̄X2 . . ..
(iii) Dla każdych m, n ∈ N
Pπ̄(X0 ,X1 ,X2 ,...,Xm ) = Pπ̄(Xn ,Xn+1 ,Xn+2 ,...,Xn+m ) .
Warunek (iii) słownie wyrażamy w sposób następujący:
Rozkłady skończenie wymiarowe są niezmiennicze ze względu
na przesunięcie w czasie.
Jeśli łańcuch Markowa ewoluuje z rozkładu stacjonarnego, to
jego własności statystyczne nie zależą od momentu
rozpoczęcia obserwacji.
Twierdzenie o istnieniu
Równanie równowagi szczegółowej
Istnienie rozkładów stacjonarnych: postawienie problemu
Znaleźć rozkład stacjonarny dla P, to rozwiązać układ równań
liniowych
X
πi · pij = πj , j ∈ E,
i∈E
przy dodatkowym warunku
X
πi = 1.
i∈E
Nie zawsze jest to możliwe.
Przykład: Błądzenie symetryczne po kracie Z
Połóżmy: E = Z,
pij =

1


2
1
2

0
gdy j = i + 1,
gdy j = i − 1,
gdy |j − i| =
6 1.
Twierdzenie
Niech P będzie macierzą stochastyczną na E. Jeśli #E < +∞, to
istnieje macierz stochastyczna Q taka, że:
każdy wiersz macierzy Q jest rozkładem stacjonarnym dla P,
każdy rozkład stacjonarny dla P jest wypukłą kombinacją
liniową wierszy macierzy Q.
Zbiór rozkładów stacjonarnych jest zbiorem wypukłym i
zwartym.
Punktami ekstremalnymi zbioru rozkładów stacjonarnych są
wiersze macierzy Q.
Idea dowodu: pokazać, że istnieje
I + P + P2 + . . . + Pn−1
=: Q.
n
n→∞
lim
W wielu zagadnieniach możliwe jest odgadnięcie π̄ w drodze
rozwiązania równania równowagi szczegółowej:
πi pij = πj pji ,
i, j ∈ E.
Twierdzenie
Jeżeli rozkład prawdopodobieństwa π̄ na E spełnia równanie
równowagi szczegółowej dla każdej pary i, j ∈ E, to jest rozkładem
stacjonarnym dla P.
Wniosek
Niech π̄ spełnia równanie równowagi szczegółowej. Wtedy dla
dowolnej „trajektorii” i0 , i1 , i2 , . . . , in ma miejsce równość:
Pπ̄ X0 = i0 , X1 , = i1 , X2 = i2 , . . . , Xn−1 = in−1 , Xn = in =
Pπ̄ X0 = in , X1 , = in−1 , X2 = in−2 , . . . , Xn−1 = i1 , Xn = i0 .

Procesy stochastyczne

Transkrypt

Podobne dokumenty

Geometryczny opis łańcuchów Markowa

Główny katalog - Fenner Drives

ewolucyjne metody uczenia ukrytych modeli

Opracowanie - Instytut Łączności