a«cuchy Markowa. Poj¦cia podstawowe.

Denicja
Prawdopodobie«stwa przej±cia
Prawdopodobie«stwa przej±cia w n krokach
Ša«cuchy Markowa. Poj¦cia podstawowe.
Monika D¦dys
April 11, 2011
Monika D¦dys
Ša«cuchy Markowa. Poj¦cia podstawowe.
Denicja
Prawdopodobie«stwa przej±cia
Prawdopodobie«stwa przej±cia w n krokach
Denicja
denicja
Proces (Xn : n ≥ 0) z przeliczaln¡ przestrzeni¡ stanów
ªa«cuchem Markowa wtt
(
P Xn+1
S
nazywamy
= j |Xn = in , Xn−1 = in−1 , ..., X0 = i0 ) = P (Xn+1 = j |Xn = in )
dla ka»dego n = 0, 1, ... oraz ka»dego ci¡gu elementów j , in , ..., i0
zbioru S o ile tylko P (Xn = in , Xn−1 = in−1 , ..., X0 = i0 ) > 0 .
uwaga
Mo»na pokaza¢, »e (Xn : n ≥ 0) jest ªa«cuchem Markowa wtt dla
dowolnego rosn¡cego ci¡gu liczb naturalnych k0 , k1 , ...kn+1 mamy
(
P Xk
n +1
= j |Xkn = in , Xkn−1 = in−1 , ..., Xk0 = i0 ) = P (Xkn+1 = j |Xkn = in )
Monika D¦dys
Ša«cuchy Markowa. Poj¦cia podstawowe.
Denicja
Prawdopodobie«stwa przej±cia
Prawdopodobie«stwa przej±cia w n krokach
Denicja
denicja
Proces (Xn : n ≥ 0) z przeliczaln¡ przestrzeni¡ stanów
ªa«cuchem Markowa wtt
(
P Xn+1
S
nazywamy
= j |Xn = in , Xn−1 = in−1 , ..., X0 = i0 ) = P (Xn+1 = j |Xn = in )
dla ka»dego n = 0, 1, ... oraz ka»dego ci¡gu elementów j , in , ..., i0
zbioru S o ile tylko P (Xn = in , Xn−1 = in−1 , ..., X0 = i0 ) > 0 .
uwaga
Mo»na pokaza¢, »e (Xn : n ≥ 0) jest ªa«cuchem Markowa wtt dla
dowolnego rosn¡cego ci¡gu liczb naturalnych k0 , k1 , ...kn+1 mamy
(
P Xk
n +1
= j |Xkn = in , Xkn−1 = in−1 , ..., Xk0 = i0 ) = P (Xkn+1 = j |Xkn = in )
Monika D¦dys
Ša«cuchy Markowa. Poj¦cia podstawowe.
Denicja
Prawdopodobie«stwa przej±cia
Prawdopodobie«stwa przej±cia w n krokach
Monika D¦dys
Ša«cuchy Markowa. Poj¦cia podstawowe.
Denicja
Prawdopodobie«stwa przej±cia
Prawdopodobie«stwa przej±cia w n krokach
.
prawdopodobie«stwa przej±cia w jednym kroku
P (Xn+1 = j |Xn = i ) nazywamy prawdopodobie«stwem przej±cia ze
stanu i do j w okresie od n do n + 1.
Je±li P (Xn+1 = j |Xn = i ) = P (X1 = j |X0 = i ) dla dowolnego
n ∈ {1, 2, ...} oraz dowolnych stanów i , j ∈ S , to ªa«cuch Markowa
nazywamy jednorodnym.
Wtedy pij = P (Xn+1 = j |Xn = i ) nazywamy prawdopodobie«stwem
przej±cia w jednym kroku.
Macierz
P
= [pij ]i ,j ∈S nazywamy
macierz¡ prawdopodobie«stw
przej±cia w jednym kroku.
Jest to macierz stochastyczna tzn.
∑j pij = 1dla i ∈ S .
Monika D¦dys
pij
≥ 0 dla i , j ∈ S oraz
Ša«cuchy Markowa. Poj¦cia podstawowe.
Denicja
Prawdopodobie«stwa przej±cia
Prawdopodobie«stwa przej±cia w n krokach
Rozkªad pocz¡tkowy
przykªad
Poka»emy, »e
(
P Xn
= in , Xn−1 = in−1 , ..., X0 = i0 ) = P (X0 = i0 )pi0 i1 pi1 i2 ...pin−1 in .
denicja
Rozkªad zmiennej losowej X0 nazywamy rozkªadem pocz¡tkowym
ªa«cucha Markowa.
UWAGA: Rozkªad poczatkowy mo»e by¢ podany w postaci wektora
wierszowego x0 = [P (X0 = j )]j∈S .
Monika D¦dys
Ša«cuchy Markowa. Poj¦cia podstawowe.
Denicja
Prawdopodobie«stwa przej±cia
Prawdopodobie«stwa przej±cia w n krokach
Rozkªad pocz¡tkowy
przykªad
Poka»emy, »e
(
P Xn
= in , Xn−1 = in−1 , ..., X0 = i0 ) = P (X0 = i0 )pi0 i1 pi1 i2 ...pin−1 in .
denicja
Rozkªad zmiennej losowej X0 nazywamy rozkªadem pocz¡tkowym
ªa«cucha Markowa.
UWAGA: Rozkªad poczatkowy mo»e by¢ podany w postaci wektora
wierszowego x0 = [P (X0 = j )]j∈S .
Monika D¦dys
Ša«cuchy Markowa. Poj¦cia podstawowe.
Denicja
Prawdopodobie«stwa przej±cia
Prawdopodobie«stwa przej±cia w n krokach
Prawdopodobie«stwa przej±cia w n krokach
Tak jak poprzednio pokazujemy, »e
(
|
P Xk
n
i1 Xk0
= in , Xkn−1 = in−1 , ..., Xk0 = i0 ) = P (Xk0 = i0 )P (Xk1 =
= i0 )...P (Xkn = in |Xkn−1 = in−1 ).
twierdzenie
Je±li (Xn : n ≥ 0)jest jednorodnym ªa«cuchem Markowa, to
(
P Xn+m
= j |Xm = i ) = P (Xn = j |X0 = i )
dla dowolnych i , j ∈ S ,
n
∈ N,
m
≥ 0.
( ) = P (Xn = j |X0 = i ) nazywamy
pij n
przej±cia
ze stanu i do j w
m krokach
Monika D¦dys
prawdopodobie«stwem
.
Ša«cuchy Markowa. Poj¦cia podstawowe.
Denicja
Prawdopodobie«stwa przej±cia
Prawdopodobie«stwa przej±cia w n krokach
Prawdopodobie«stwa przej±cia w n krokach
uwaga
Przyjmujemy, »e
(
pij
(0) =
Monika D¦dys
1
0
dla i
dla i
=j
6= j .
Ša«cuchy Markowa. Poj¦cia podstawowe.
Denicja
Prawdopodobie«stwa przej±cia
Prawdopodobie«stwa przej±cia w n krokach
Równania Chapmana-Koªmogorowa
twierdzenie
Dla dowolnych i , j ∈ S oraz
, ≥ 0 mamy
m n
( + n) =
pij m
∑
k ∈S
( )
( ).
pik m pkj n
UWAGA:Rówmowa»nie w zapisie macierzowym mamy
P (m + n ) = P (m )P (n ) dla dowlonych m , n ≥ 0.
wniosek
Dla m ≥ 0 mamy
m ,
P (m ) = P
m
xm = x0 P , gdzie xm = [P (Xm = j )]j∈S , dla
Monika D¦dys
n
≥ 0.
Ša«cuchy Markowa. Poj¦cia podstawowe.