Lista 2. Łańcuchy Markowa z czasem dyskretnym.

Lista 2. Łańcuchy Markowa z czasem dyskretnym.
1. Możliwe stany łańcucha X to 1,2,3, a jego macierz przejcia to


0, 2 0 0, 8
P =  0, 7 0, 3 0  .
0 0, 4 0, 6
Obliczyć
a) P (X2 = 1), o ile P (X0 = 1) = 1,
b) P (X3 = 1), o ile P (X0 = 2) = 1,
c) P (X2 = 2), jeżeli start z dowolnego stanu jest jednakowo prawdopodobny.
2. Poklasyfikować stany łańcucha (istotne-nieistotne, pochłaniające, powracające-chwilowe), znaleźć
wszystkie zamknięte zbiory stanów i zbadać, czy łańcuchy są nieprzywiedlne, jeżeli dane są macierze
przejścia tych łańcuchów:


0, 2 0 0, 8
a)  0, 7 0, 3 0  ,
0 0, 4 0, 6

0
0
1
 1
0
0
b) 
 0, 5 0, 5 0
0, 3 0, 3 0, 4


0
0 
,
0 
0


c) 


0, 3 0, 7 0
0
0
0, 7 0, 3 0
0
0
0
0 0, 2 0 0, 8
0
0 0, 2 0, 2 0, 6
0
0 0, 5 0 0, 5



.


3. W pierwszej urnie są 4 białe kule, a w drugiej urnie - 4 czarne. W każdym kroku losujemy po jednej
kuli z każdej urny i zamieniamy je miejscami. Niech stan procesu oznacza liczbę białych kul w
pierwszej urnie. Opisać macierz przejścia tego łańcucha. Rozwiązać analogiczne zadanie, gdy każda
urna zawiera N kul.
4. Załóżmy, że możliwymi stanami łańcucha (Yn ) sa̧ tylko 0 i 1, a macierz przejścia wygla̧da nastȩpuja̧co:
1−α
α
P =
, α + β > 0.
β
1−β
Niech P (Y0 = 0) = p. Wykazać, że
β
β
n
+ (1 − α − β) p −
.
P (Yn = 0) =
α+β
α+β
Jak można „fizycznie” opisać proces o takiej macierzy przejścia?
5. W cia̧gu prób Bernoulliego mówimy, że w chwili n ≥ 2 układ jest w stanie E1 , gdy doświadczenia o
numerach n − 1 oraz n dały cia̧g SS (sukces, sukces). Podobnie stany E2 , E3 oraz E4 określone sa̧
przez SP, P S, P P . Wyznaczyć macierz przejścia P oraz P 2 tego łańcucha.
6. Cząsteczka z położenia i ∈ Z skacze do i + 1 z prawdopodobieństwem p lub do i − 1 z prawdopodobieństwem 1 − p. Obliczyć p00 (3), p00 (4) oraz p00 (n).
7. Załóżmy, żę łączny kapitał graczy A i B wynosi k zł. W pojedynczej grze gracz A wygrywa złotówkę
od gracza B z prawdopodobieństwem p, a przegrywa z prawdopodobieństwem 1−p. Za każdym razem
gdy dany gracz przegrywa ostatnią złotówkę przeciwnik oddaje mu ją z prawdopodobieństwem α.
Znaleźć macierz przejścia dla łańcucha, który opisuje kapitał gracza A. Załóżmy, że na początek
1
, 0 ≤ i ≤ k. Jakie jest prawdopodobieństwo ruiny
gracz A dostaje i zł z prawdopodobieństwem k+1
gracza A w dwóch grach?
8. Pokazać z definicji, że wszystkie stany łańcucha z zadania 5 są powracające.
9. Cząstka porusza się między stanami 0,1,2,3,4 w taki sposób, że:
-ze stanu 1 może przejść do stanów 0,2,4 z prawdopodobieństwem 13 ,
1
-ze stanu 2 może przejść do stanów 0,1,3 z prawdopodobieństwem 13 ,
-ze stanu 3 może przejść do stanów 0,2,4 z prawdopodobieństwem 31 ,
-ze stanu 4 może przejść do stanów 0,1,3 z prawdopodobieństwem 31 ,
-po dotarciu do stanu 0 pozostaje w nim na zawsze.
a) Napisać macierz przejścia.
b) Pokazać z definicji, że stany 1-4 są chwilowe.
c) Dla n ≥ 1 obliczyć f10 (n) = P (X1 6= 0, X2 6= 0, ..., Xn−1 6= 0, Xn = 0|X0 = 1).
d) Pokazać, że z prawdopodobieństwem 1 stan 0 pochłonie cząstkę.
10. Łańcuch ma nieskończoną przestrzeń stanów S = {s1 , s2 , ...}. Pierwszy wiersz macierzy przejścia
P ma postać [a1 a2 ...], a w pozostałych wierszach pi,i−1 = 1, i ≥ 2. Udowodnić, że stan s1 jest
powracający. Znaleźć wszystkie ciągi an dla których
a) wybrany stan sk jest powracający,
b) wszystkie stany są powracajace.
11. Pierwsza kolumna macierzy przejścia P łańcucha o przestrzeni stanów S = {0, 1, 2, ...} ma postać
[q0 q1 ...], natomiast pi,i+1 = 1 − qi dla i = 0, 1, 2, .... Badając stan 0 wykazać, że
i+1
to wszystkie stany są chwilowe,
a) jeśli qi = 21
1
b) jeśli qi = 2 to wszystkie stany są powracające.
12. Znaleźć wszystkie rozkłady stacjonarne łańcucha o macierzy przejścia
 1 1

 1 1 1

 1 2

0 0
0
0 0
2
2
3
3
3
3
3
 0 1 1 0 
 1 1 0 1 
 1 3 0 0 


 3 3


2
2
3 
a) 
b)  1
c)  4 4 1 4  .
1
1 ,
1
1 ,
 0 0 2 2 
 3 0 3 3 
 0 0 5 5 
1
1
1
1
1
0 3 3 3
0 0 45 51
0 0 2
2
13. Zbadać kiedy istnieje rozkład stacjonarny dla łańcucha z zadania 10. Znaleźć ten rozkład w przypadku, gdy
i
a) ai = 12 , i ≥ 1,
b) ai = i21+i , i ≥ 1.
14. Dla jakich p łańcuch z zadania 4 jest stacjonarny? Kiedy łańcuch ten jest ergodyczny? Obliczyć
E(Y3 ) oraz limn→∞ E(Yn ).
15. Uzasadnić, że dla p, q > 0 takich, że p + q = 1 łańcuch o macierzy przejścia


q p 0
 q 0 p 
0 q p
jest ergodyczny i wyznaczyć prawdopodobieństwa ergodyczne.
16. Łańcuch ma macierz przejścia

0, 4
 0, 3
P =
 0, 1
0, 3

0, 6 0
0
0, 7 0
0 
.
0, 5 0, 2 0, 2 
0, 3 0, 3 0, 1
Wykorzystując własności stanów obliczyć limn→∞ pij (n) dla wszystkich i, j.
17. W ciągu doświadczeń Bernoulliego z prawdopodobieństwem sukcesu p mówimy, że w chwili n układ
znajduje się w stanie 0, gdy n-te doświadczenie dało porażkę, a w stanie k ∈ {1, 2, 3, ..., n}, gdy
ostatnia porażka nastąpiła w chwili n − k (zerowe doświadczenie uważamy za porażkę). Innymi
słowy, stan w chwili n to długość nieprzerwanej serii sukcesów, kończącej się w chwili n. Obliczyć
pj = limn→∞ pij (n).
2
18. Niech P będzie macierzą rozmiaru n × n podwójnie stochastyczną, tzn. taką, w której zarówno suma
każdego wiersza jak i każdej kolumny jest równa 1. Znaleźć rozkład stacjonarny łańcucha o takiej
macierzy przejścia.
Wskazówka - zobacz np. zad. 12 a), b).
19. Niech P będzie macierzą przejścia łańcucha Markowa o n stanach. Pierwszy wiersz tej macierzy
składa się z elementów p1 , p2 , ..., pn , a następne wiersze powstają z niego przez cykliczne przesunięcie,
tzn. drugi wiersz ma postać pn , p1 , ..., pn−1 , trzeci wiersz ma postać pn−1 , pn , p1 , ..., pn−2 itd, a ostatni
ma postać p2 , p3 , ..., pn , p1 . Czy ten łańcuch jest ergodyczny tzn. czy istnieje granica limn→∞ P n ?
Jeżeli tak to obliczyć prawdopodobieństwa ergodyczne.
20. W pudełku A jest sześć kul ponumerownych liczbami od 1 do 6, a pudełko B jest puste. Wykonamy
1000000 rzutów kostką i po każdym rzucie przełożymy kulę o wylosowanym numerze do drugiego
pudełka. Obliczyć przybliżone prawdopodobieństwo tego, że pudełko A będzie puste.
21. Szachista A jest bardzo odporny psychicznie i niezależnie od wyników poprzednich gier wygrywa
kolejną partię z prawdopodobieństwem p, remisuje z prawdopodobieństwem r lub przegrywa z prawdopodobieństwem q.
Szachista B jest słabszy psychicznie:
-jeżeli poprzednią partię przegrał to wygrywa kolejną partię z prawdopodobieństwem p − ≥ 0,
remisuje z prawdopodobieństwem r lub przegrywa z prawdopodobieństwem q + ≤ 1,
-jeżeli poprzednią partię zremisował to wygrywa kolejną partię z prawdopodobieństwem p, remisuje
z prawdopodobieństwem r lub przegrywa z prawdopodobieństwem q,
-jeżeli poprzednią partię wygrał to wygrywa kolejną partię z prawdopodobieństwem p + ≤ 1,
remisuje z prawdopodobieństwem r lub przegrywa z prawdopodobieństwem q − ≥ 0.
Załóżmy, że gracz B ostatnią partię przed turniejem zremisował.
a) Który z graczy w długim turnieju (kilkadziesiąt partii) osiągnie lepszy wynik?
b) Jak odpowiedź do a) zależy od ?
c) Czy odpowiedź do a) zależy od wyniku ostatniej partii gracza B przed turniejem?
3