Procesy stochastyczne

Transkrypt

Definicja łańcucha Markowa
Istnienie łańcuchów Markowa
Własności łańcuchów Markowa
Wykład II:
Jednorodne łańcuchy Markowa
9 marca 2015
Wykład II: Jednorodne łańcuchy Markowa
Pojęcia podstawowe
Definicja
Definicja jednorodnego łańcucha Markowa
E - przeliczalny zbiór, którego elementy interpretujemy jako
„stany”.
P = {pij }i,j∈E - macierz stochastyczna, którą nazywamy
macierzą prawdopodobieństw przejścia. Fakt, że P jest
macierzą stochastyczną oznacza, że pij 0, i, j ∈ E oraz
X
pij = 1, i ∈ E.
j∈E
(Tzn. każdy wiersz macierzy P jest rozkładem
prawdopodobieństwa na E).
π̄ = {πj }j∈E - rozkład prawdopodobieństwa na E, nazywany
rozkładem początkowym.
Pojęcia podstawowe
Definicja
Definicja jednorodnego łańcucha Markowa
Definicja
Jednorodnym łańcuchem Markowa na przestrzeni stanów E, z
macierzą prawdopodobieństw przejścia P = {pij } i rozkładem
początkowym π̄ = {πi } nazywamy proces stochastyczny
X0 , X1 , X2 , . . . o wartościach w E i rozkładach skończenie
wymiarowych danych wzorem
Pπ̄ X0 = i0 , X1 = i1 , X2 = i2 , . . . , Xm−1 = im−1 , Xm = im =
= πi0 · pi0 ,i1 · pi1 ,i2 · . . . · pim−1 ,im .
Umowa: Jeśli rozkład π̄ jest skupiony w pewnym punkcie i ∈ E
(tzn. πi = 1, πj = 0 dla j 6= i), to piszemy Pi zamiast Pπ̄ .
Twierdzenie o istnieniu
Szkic dowodu
Twierdzenie
Jeżeli P jest macierzą stochastyczną na E, a π̄ jest rozkładem
prawdopodobieństwa na E, to istnieje jednorodny łańcuch
Markowa X0 , X1 , X2 , . . . o rozkładzie początkowym π̄ i macierzy
prawdopodobieństw przejścia P.
Twierdzenie o istnieniu
Szkic dowodu
Szkic dowodu
Utożsamiamy elementy przestrzeni E z podzbiorem N.
Wtedy rozkłady skończenie wymiarowe µ0,1,2,...,m zadane są na
Nm = {(i0 , i1 , i2 , . . . , im−1 , im ) ; i0 , i1 , . . . im ∈ N}
wzorami
µ0,1,2,...,m (i0 , i1 , i2 , . . . , im−1 , im ) = πi0 ·pi0 ,i1 ·pi1 ,i2 ·. . .·pim−1 ,im .
Sprawdzamy zgodność rozkładów skończenie wymiarowych.
Bezpośrednie wnioski z definicji
Własność Markowa
Formalna postać własności Markowa
Rozkłady jednowymiarowe
Pπ̄ X0 = i = πi , i ∈ E, czyli Pπ̄X0 = π̄.
Pπ̄ X1 = i = π̄P i , i ∈ E.
Ogólnie: Pπ̄ Xm = i = π̄Pm i , i ∈ E.
Własność Markowa
Oznaczmy przez pij (m), i, j ∈ E elementy macierzy Pm .
Z definicji mnożenia macierzy mamy ważny wzór
pij (m + n) =
X
pik (m) · pkj (n).
k∈E
Macierz przejścia w m krokach
Ma miejsce równość Pπ̄ Xm = j, X0 = i = P π̄ X0 = i · pij (m)
i, j ∈ E, m ∈ N, więc dopuszczalna jest interpretacja
pij (m) = Pπ̄ Xm = j X0 = i .
Własność Markowa
Własność Markowa
Pπ̄ Xm = j X0 = i = pij (m) nie zależy od π̄!
Dlatego piszemy pij (m) = P Xm = j X0 = i .
pij = P X1 = j X0 = i = P Xn+1 = j Xn = i , n ∈ N.
pij (m) = P Xm = j X0 = i = P Xn+m = j Xn = i , n ∈ N.
P Xn+1 = in+1 Xn = in , Xn−1 = in−1 , . . . , X0 = i0 =
pin ,in+1 = P Xn+1 = in+1 Xn = in .
Xn = in , X0 = i0 = pi ,i
P Xn+1 = in+1
n n+1 = P Xn+1 =
in+1 Xn = in .
Własność Markowa
Proces zapomina o „przeszłości” lub „przyszłość” zależy tylko od
„teraźniejszości”.
Własność Markowa
Jak formalnie wyrazić własność Markowa?
Definiujemy P B X0 , X1 , . . . , Xn jako
X
P B X0 = io , X1 = i1 , . . . , Xn = in 1I {X0 =i0 ,X1 =i1 ,...,Xn =in } .
(i0 ,i1 ,...,in )∈En+1
Podobnie definiujemy
P B Xn =
X
P B Xn = i 1I {Xn =i} .
i∈En+1
Twierdzenie
Dla dowolnych n, m ∈ N oraz dowolnego zbioru A ⊂ Em ma
miejsce równość:
P (Xn+1 , Xn+2 , . . . , Xn+m ) ∈ AX0 , X1 , . . . , Xn =
= P (Xn+1 , Xn+2 , . . . , Xn+m ) ∈ AXn .

Procesy stochastyczne

Transkrypt

Podobne dokumenty

Zadania z procesów stochastycznych. Zadanie. Niech X1,X2

Elementy modelowania matematycznego

Polski Skateshop w UK

„Matematyki w biologii” dla kierunku „Biotechnologia” I roku, sem

rozeznanie rynku na zorganizowanie i przeprowadzenie

Teoretyczne podstawy algorytmów komputerowego modelowania

uniwersytet wrocławski

Geometryczna ergodyczność algorytmu Rao i Teha dla skokowych