1. Zestaw 14 Zad. 1.1. Niech {S n : n ≥ 0} będzie losowym

1. Zestaw 14
Zad. 1.1. Niech {Sn : n ≥ 0} będzie losowym błądzeniem po osi (tzn. dla dowolnego n ≥ 0:
Sn+1 − Sn = 1 z prawdopodobieństwem p ∈ (0, 1) oraz Sn+1 − Sn = −1 z prawdopodobieństwem q = 1 − p). Niech S0 = 0. Pokazać, że Xn = |Sn | jest łańcuchem Markowa: znaleźć
jego macierz przejścia. Niech
Mn = max{Sk : 0 ≤ k ≤ n}.
Pokazać, że Yn = Mn − Sn jest łańcuchem Markowa.
Zad. 1.2. Niech Xn i Yn będą łańcuchami Markowa (n ∈ Z). Czy proces Zn = Xn + Yn
musi być łańcuchem Markowa?
Zad. 1.3. Niech X będzie łańcuchem Markowa. Które z poniższych ciągów są łańcuchami
Markowa?
(i) Xm+r dla r ≥ 0;
(ii) X2m dla m ≥ 0;
(iii) ciąg par (Xn , Xn+1 ) dla n ≥ 0.
Zad. 1.4. Niech {Xn : n ≥ 1} będzie ciągiem niezależnych zmiennych losowych
Pno jednakowych rozkładach i wartościach w zbiorze liczb całkowitych. Niech Sn =
r=1 Xr ,
S0 = 0, Yn = Xn + Xn−1 (X0 = 0) oraz
Zn =
n
X
Sr
r=0
Czy następujące procesy tworzą łańcuchy Markowa? (i) Sn
(ii) Yn
(iii) Zn
(iv) pary (Sn , Zn )
Zad. 1.5. Niech X będzie łańcuchem Markowa na {0, 1, 2, . . . , n} takim, że jego macierz
przejścia P spełnia warunki: p0j = aj dla j ≥ 0; pii = r oraz pi,i−1 = 1 − r dla i ≥ 1
Zakładamy że aj > 0 oraz r ∈ (0, 1). Czy X jest nieredukowalny? Czy jest okresowy?
Zad. 1.6. Niech X będzie łańcuchem Markowa na {0, 1, 2} takim, że jego macierz przejścia
ma postać P = 51 [1, 4; 2, 3]. Czy jest nieredukowalny? Jeśli tak, zbadaj czy jest okresowy, czy
jest powracający. Jeśli X jest łańcuchem jest ergodycznym, wyznacz rozkład stacjonarny.
Zad. 1.7. W małym stawie znajdują się dwa wystające z wody kamienie. W chwili t =
0 żaba znajduje się na małym kamieniu. Wiemy, że po jednostce czasu żaba skacze z
małego kamienia na duży z prawdopodobieństwem 45 . Jeśli siedzi na dużym kamieniu,
prawdopodobieństwo że podejmie decyzję o skoku na mniejszy wynosi 51 . Policz prawdopodobieństwo, że żaba będzie znajdować się na dużym kamieniu po: 1 jednostce czasu, 2
jednostkach czasu, 3 jednostkach czasu.
Zad. 1.8. W wyniku ocieplenia klimatu poziom wody w stawku u żaby z poprzedniego zadania obniżył się. W związku z tym wynurzyły się z wody trzy nowe kamienie, co zwiększyło
1
możliwości skakania żaby. Rozkład skakania podany jest przez macierz


0
1
0
0
0
 1/3 0 1/3 0 1/3 


 0 1/4 2/4 1/4 0 


 0
0
0
0
1 
1/5 1/5 1/5 1/5 1/5
Żaba zaczyna skakać z 3 kamienia. Czy ma szansę doskoczyć na każdy kamień w stawku?
Warto w tym celu narysować odpowiedni graf [o 5 wierzchołkach odpowiadających kamieniom]
z kierunkami skoków żaby.
Zad. 1.9 (GS ex.6.15.11). Niech X będzie dyskretnym jednorodnym łańcuchem Markowa
o przestrzeni stanów S = {1, 2} i macierzy przejścia
1−α
α
β
1−β
Sklasyfikować stany. Załóżmy, że αβ > 0 oraz αβ 6= 1. Znaleźć macierz przejścia w n krokach
i pokazać bezpośrednio, że zmierza ona do jedynego stanu stacjonarnego przy n → ∞.
2