Procesy Markowa Procesy Stochastyczne, wykład 5, T. Byczkowski,

Procesy Markowa
Procesy Stochastyczne, wykład 5, T. Byczkowski,
Procesy Stochastyczne, PPT, Matematyka
MAP1136
12 marzec, 2012
Procesy Markowa
Podstawowe pojęcia, definicje
(Xt )t∈T , T ⊆ [0, ∞), jest procesem Markowa, gdy dla dow.
s ∈ T przyszła ewolucja (zachowanie w t ≥ s) zależy tylko od Xs
(=”teraźniejszość”) nie zależy od ”przeszłości” (tzn. od Xr ; r < s).
Uściślenie
X posiada własność Markowa, gdy dla dow. B ∈ σ{Xt ; t ≥ s}, s
- dow. ustalone zachodzi
P(B|Xt ; t ≤ s) = P(B|Xs ), z prawd. 1.
Wnioski
P(B|Xr , Xs ) = P(B|Xs ), dla dow. r < s, z prawd. 1.
[Nakładamy na poprzednią równość E[·|Xr , Xs ] i korzystamy z
wł. uśredniania dla w.w.o.]
Nakładając obustronnie E[·|Xr ] otrzymujemy
P(B|Xr ) = E[P(B|Xs )|Xr ], z prawd. 1.
Kładąc B = {Xt ∈ A}, t > s, A - borelowski, otrzymujemy
P(Xt ∈ A|Xr ) = E[P(Xt ∈ A|Xs )|Xr ],
Procesy Markowa
z prawd. 1 .
Podstawowe pojęcia, definicje
P(B|Xs ) = E[1B |Xs ] = φ(Xs , B) z prawd. 1 oraz φ(x, B) -funkcja
borelowska, dla ust. B - mierzalnego (jako w.w.o. wzgl. zmiennej
losowej Xs ). Dla B = {Xt ∈ A}, φ(x, {Xt ∈ A}) jest ”rozkładem”
Xt wzgl. φ(x, ·).
Prawdopodobieństwo przejścia Ps,t (x, A) z punktu x do zbioru A
w czasie od s do t, s < t, definiujemy wzorem:
P(Xt ∈ A|Xs ) = Ps,t (Xs , A) z prawd. 1 ,
przy założeniu, że Ps,t (x, ·) jest miarą probabilistyczną, dla
każdego x.
Jeśli istnieje prawd. przejścia (Ps,t )s<t to w.w.o. możemy wyrazić
jako całki wzgl. miar Ps,t (x, dy ):R
E[ψ(Xt )|Xs = x] = ψ(y )Ps,t (x, dy ).
Przepisując ostatnią równość w wnioskach otrzymujemy
Z
Z
Pr ,t (x, A) = P(Xt ∈ A|Xs = y )Pr ,s (x, dy ) = Ps,t (y , A)Pr ,s (x, dy ).
Procesy Markowa
Prawdopodobieństwo przejścia Ps,t (x, dy )
(Ps,t (x, dy ))s≤t - prawdopodobieństwo przejścia na (S, BS ) gdy
(i). Ps,t (x, ·) jest miarą prob. na przestrzeni mierzalnej
(S, BS ), dla każdego x ∈ S,
(ii). Ps,t (·, A) jest funkcją BS -mierzalną na p. metr. S,
(iii). Ps,s (x, E ) = 1E (x) = δx (E ),
R
(iv). Pr ,t (x, A) = Ps,t (y , A)Pr ,s (x, dy ) dla r ≤ s ≤ t.
Uwaga. Przestrzeń metryczną (S, BS ) z σ-ciałem BS zbiorów
borelowskich nazywamy przestrzenią stanów. W naszym
przypadku (S, BS ) = (Rn , BRn ). Własność (iv) nazywamy
tożsamością Chapmana-Kołmogorowa.
Dla zadanego prawdopodobieństwa przejścia Ps,t (x, dy ) na (S, BS )
istnieje proces Markowa (Xt ) o wartościach w S taki, że dla s < t
P(Xt ∈ A|Xs ) = Ps,t (Xs , A), z prawd. 1, dla dowolnego A ∈ BS .
Procesy Markowa
Rozkłady skończenie wymiarowe procesu Markowa
Wzór na prawdopodobieństwo warunkowe:
\
P( Ai ) = P(An |An−1 , . . . , A1 )P(An−1 |An−2 , . . . , A1 ) . . . P(A1 );
i
Odpowiednik w terminach w.w.o.: dla dow. układu t1 , t2 , . . . , tk ,
takiego, że 0 ≤ t1 < . . . < tk , zachodzi
Y
E[ 1Ai (Xti )] = E[1A1 (Xt1 )E[1A2 (Xt2 )E[1A3 (Xt3 ) . . .]|Xt2 , Xt1 |Xt1 ]]
i
Przechodząc na całkowanie względem prawdopod. przejść oraz
rozkładu Xt1 otrzymujemy:
Z
Z
Z
Y
E[ 1Ai (Xti )] =
Pt1 (dx1 ) Pt1 ;t2 (x1 ; dx2 ) Pt1 ,t2 ;t3 (x1 , x2 ; dx3 )
i
A1
A2
A3
Z
...
Pt1 ,...,tk−1 ;tk (x1 , x2 . . . , xk−1 ; dxk ).
Ak
Pt1 oznacza rozkład Xt1 oraz Pt1 ,...,tk−1 ;tk (x1 , x2 . . . , xk−1 ; ·) =
P(Xtk+1 ∈ ·|Xt1 = x1 , Xt2 = x2 , . . . , Xtk = xk ).
Procesy Markowa
Rozkłady skończenie wymiarowe procesu Markowa
(Xt ) - proces Markowa, więc Pt1 ,...,tk−1 ;tk (x1 , x2 . . . , xk−1 ; ·) =
Ptk−1 ;tk (xk−1 ; ·). Powyższy wzór przyjmuje ostatecznie postać:
Z
Z
Z
Y
E[ 1Ai (Xti )] =
Pt1 (dx1 ) Pt1 ;t2 (x1 ; dx2 ) Pt2 ;t3 (x2 ; dx3 )
i
A1
A2
A3
Z
...
Ptk−1 ;tk (xk−1 ; dxk ).
Ak
Dla t1 = 0 rozkład procesu wyznaczony jest przez P0 - rozkład
początkowy oraz prawd. przejścia Ps,t (x, dy ). Na odwrót: mając
zadany rozkład początkowy i prawd. przejścia, prawa strona
powyższego wzoru definiuje zgodną rodzinę miar Pt0 ,t1 ,...,tk na
prostokątach mierzalnych. Gdy nieskończenie wiele ”osi”, to zapis
prostokąta niejednoznaczny, zgodność: możliwe rozszerzenie. Np.
gdy Ai = S (cała przestrzeń), to Pt0 ,t1 ,...,tk (A1 × · · · Ai × · · · × Ak )
= Pt0 ,t1 ,...,ti−1 ,ti+1 ···tk (A1 × · · · Ai−1 × Ai+1 × · · · × Ak ). Zgodność
wynika z war. (iv), tj. tożsamości Chapmana-Kołmogorowa.
Procesy Markowa
Zgodna rodzina Pt0 ,t1 ,...,tk wyznacza proces
Tw. Kołmogorowa o istnieniu procesu
Niech (S, BS ) będzie pewną przestrzenią stanów oraz T ⊆ [0, ∞).
Załóżmy, że S - przestrzeń metryczna, ośrodkowa, zupełna oraz
Pt0 ,t1 ,...,tk - zgodna rodzina miar probabilistycznych na
(⊗ki=1 S, ⊗ki=1 BS ). Istnieje proces (Xt )t∈T o rozkładach skończenie
wymiarowych identycznych z Pt0 ,t1 ,...,tk .
Uwaga:. Dowód twierdzenia polega na rozszerzaniu miary z ciała
prostokątów mierzalnych w produkcie (⊗t∈T S, ⊗t∈T BS ) do miary
na σ-ciele generowanym przez takie prostokaty. Przestrzeń
probabilistyczna (Ω, Σ, P) = (⊗t∈T S, ⊗t∈T BS , µ), gdzie µ rozszerzenie miary - rozkład procesu. Proces definiujemy jako
rzutowanie: Xt (ω) = ω(t). W naszym przypadku trzeba sprawdzić,
że otrzymaliśmy proces Markowa.
Procesy Markowa
Ps,t (x, dy ) oraz P0 wyznaczają proces Markowa
Sprawdzamy, że dla dowolnego układu 0 ≤ t1 < t2 . . . tk < s < t
zachodzi:
P(Xt ∈ A|Xt1 , Xt2 , . . . , Xtk , Xs ) = P(Xt ∈ A|Xs ),
z prawd. 1 .
Obydwie strony dowodzonej równości są mierzalne wzgledem
σ-ciała σ{Xt1 , . . . , Xtk , Xs }; ponadto zachodzi
Z Y
1Ai (Xti )1As (Xs )P(Xt ∈ A|Xt1 , . . . , Xtk , Xs )dP =
i
Z Y
1Ai (Xti )1As (Xs )1A (Xt )dP =
i
Z
Z
Pt1 (dx1 )
A1
Z
Pt1 ;t2 (x1 ; dx2 ). . .
A2
Z
Ptk ;s (xk ; dxs )
As
Procesy Markowa
Ps;t (xs ; dxt ).
A
Ps,t (x, dy ) oraz P0 wyznaczają proces Markowa
Korzystając z postaci miary na prostokątach mierzalnych
otrzymujemy jednocześnie
Z Y
1Ai (Xti )1As (Xs )Ps,t (Xs , A)dP =
i
Z
Z
Z
Pt1 (dx1 ) Pt1 ;t2 (x1 ; dx2 ). . .
Ps;t (xs ; A)Ptk ;s (xk ; dxs ) =
A1
A2
As
Z
Z
Z
Z
Pt1 (dx1 ) Pt1 ;t2 (x1 ; dx2 ). . .
Ptk ;s (xk ; dxs ) Ps;t (xs ; dxt ).
A1
A2
As
A
Lemat
Niech (Bu )u≥0 - rodzina σ-ciał, u ∈ [0, ∞); BU = σ{Bu ; u ∈ U}.
Jeśli U < V < W to równość
P(BW |BU∪V ) = P(BW |BV ) z prawd. 1
zachodzi wtedy i tylko wtedy, gdy analogiczna równość zachodzi
dla wszystkich skończonych U oraz jednopunktowych V i W .
Procesy Markowa
Jednorodne procesy Markowa
Dalej zakładamy, że Ps,t (x, ·) zależy jedynie od (t − s); taki proces
nazywamy jednorodnym. Przyjmujemy oznaczenie
Pt−s (x, A) := Ps,t (x, A),
0 ≤ s < t.
(Pt (x, dy ))t≥0 - prawdopodobieństwo przejścia na (S, BS ) gdy
(i). Pt (x, ·) jest miarą prob. na przestrzeni mierzalnej
(S, BS ), dla każdego x ∈ S,
(ii). Pt (·, A) jest funkcją BS -mierzalną na p. metr. S,
(iii). P0 (x, E ) = 1E (x) = δx (E ),
R
(iv). Ps+t (x, A) = Pt (x, dy )Ps (y , A).
Uwaga. Gdy zbiór T jest dyskretny (np. T = {0, 1, 2, . . . , }) to
mówimy o łańcuchu Markowa; rozróżniamy łańcuchy o dyskretnej
lub ciagłej przestrzeni stanów S. Gdy S - dyskretne ale T = [0, ∞)
to mówimy, że łańcuch ma czas ciągły. Najciekawszy przypadek:
zarówno czas jak i przestrzeń stanów są ciągłe.
Procesy Markowa
Przykłady procesów Markowa
(i). P = (pij ) - macierz stochastyczna, tzn. pij ≥ 0,
Definiujemy
X
P1 (A) =
pij , (pij = P1 (i, {j})).
P
j
pij = 1.
j∈A
Z równania Chapmana-Kołmogorowa macierz P2 (i, {j}) - przejścia
w dwóch krokach - powinna spełniać
X
(2)
pij = P2 (i, {j}) =
pik pkj .
k
Stąd, macierz przejścia P (2) w dwóch krokach, będzie iloczynem
macierzy P: P (2) = P 2 oraz ogólniej: P (s+k) = P (s) P (k) = P s+k .
Bezpośrednio sprawdzamy, że taka definicja prawd. przejścia
pociąga za sobą równość Chapmana-Kołmogorowa, więc każda
macierz stochastyczna definiuje prawd. przejścia Pt (x, E ), gdzie
T = {0, 1, . . . , }, S = {0, 1, . . . , }, BS = 2S .
Procesy Markowa
Przykłady procesów Markowa cd.
(ii). Niech T = [0, ∞), S = {0, 1, . . . , }, BS = 2S . Dla λ > 0
definiujemy
pi,i+j (t) := Pt (i, {i + j}) = e −λt (λt)j /j!.
Są to prawd. przejścia w procesie Poissona o intensywności λ.
[P(Xt+h = i + j|Xh = i) = P(Xt = j) = pi,i+j (t)].
(iii). Niech T = [0, ∞), S = R, BS = BR . Dla A borelowskiego
na S = R kładziemy
Z
√
2
e −y /2t dy
Pt (x, A) = 1/ 2πt
A−x
Są to prawd. przejścia w procesie Wienera
[P(Xt+h ∈ A|Xh = x) = P((Xt+h − Xh ) + Xh ∈ A|Xh = x) =
P(Xt ∈ A − x)].
Procesy Markowa