Łańcuchy Markowa

AP
Algorytmy probabilistyczne: Zestaw 9
Semestr zimowy 2015/2016
Kraków
04 stycznia 2016
Łańcuchy Markowa
Łańcuch Markowa – ciąg zmiannych losowych X0 , X1 , X2 , . . . w którym rozkład zmiennej losowej Xt+1 zależy jedynie od rozkładu zmiennej Xt , to jest
P (Xn = an |X0 = a0 , . . . , Xn−1 = an−1 ) = P (Xn = an |Xn−1 = an−1 )
= P (an , an−1 ).
Łańcuch Markowa jest jednoznacznie zdefiniowany przez:
∗ przestrzeń stanów S – w naszych zastosowaniach S jest skończony,
∗ macierz przejść P rozmiaru |S| × |S|:
P [i, j] – prawdopodobieństwo przejścia ze stanu (i) do stanu (j).
∗ x0 – rozkład początkowy zmiennej losowej X0 .
Stan (i) jest osiągalny ze stanu (j), jeśli dla pewnej liczby całkowitej n ­ 0, P n [j, i] > 0.
Stany (i) oraz (j) nazywamy wzajemnie komunikującymi się gdy są wzajemnie osiagalne.
Łańcuch Markowa jest nieredukowalny jeśli wszystkie jego stany należą do jednej klasy
komunikacji.
t
oznacza prawdopodobieństwo, że zaczynając w stanie (i), pierwsze wejście
Niech ri,j
do stanu (j) nastąpi w czasie t; to znaczy:
t
ri,j
= P (Xt = j oraz dla 1 ¬ s ¬ t − 1, Xs 6= j|X0 = i).
t
t
Stan (i) jest powracający jeśli t­1 ri,i
= 1. Stan (i) jest przejściowy jeśli t­1 ri,i
< 1.
Powracający stan (i) jest pochłaniający jeżeli P [i, i] = 1.
Niech P, x0 będzie łańcuchem Markowa, w którym wszystkie stany powracające są pochłaniające. Przenumerujmy stany tak, by stany przejściowe znajdowały się przed stanami
pochłaniającymi. Załóżmy, że
"
#
Q R
P =
0 I
P
P
jest macierzą przejścia, gdzie Q odpowiada przejściom pomiędzy stanami przejściowymi.
Macierz (I − Q)−1 istnieje i nazywa się macierzą fundamentalną łańcucha Markowa P, x0 .
Twierdzenie 1 (o macierzy fundamentalnej). Przy powyższych założeniach wykaż, że:
∗ limt→∞ Qt = 0 (co jest równoważne temu, że z prawdopodobieństwem równym 1
proces znajdzie się w stanie pochłaniającym),
∗ macierz (I − Q) jest odwracalna oraz N = (I − Q)−1 = I + Q + Q2 + . . .,
∗ N [i, j] jest oczekiwaną liczbą odwiedzin stanu (j) przy założeniu, że proces startuje
ze stanu (i),
∗ N c[i] jest oczekiwanym czasem dotarcia procesu do stanu pochłaniającego, przy założeniu że startuje on ze stanu (i),
∗ N R[i, v] jest prawdopodobieństwem, że proces startujący ze stanu (i) zostanie pochłonięty przez stan (v).
Strona 1/3
AP
Algorytmy probabilistyczne: Zestaw 9
Semestr zimowy 2015/2016
Kraków
04 stycznia 2016
Stan (j) w łańcuchu Markowa jest okresowy jeżeli istnieje liczba całkowita ∆ > 1 taka,
że z faktu P (Xt+s = j|Xt = j) > 0 możemy wnioskować, iż ∆ dzieli s.
W nieredukowalnym łańcuchu Markowa, jeżeli jeden stan jest nieokresowy, to wszystkie
stany są nieokresowe.
Nieredukowalny łańcuch Markowa posiadający stan nieokresowy nazywamy ergodycznym.
Zadanie 1. Wykaż, że relacja komunikowania się jest relacją równoważności. Jak wygladają klasy równoważności tej relacji?
Zadanie 2. Rozpatrujemy następującą, jednoosobową grę w kasynie: w każdym kroku gry
gracz (w zależności od tego, czy wypada orzeł czy reszka) zdobywa lub traci złotówkę. Gra
kończy się w sytuacji, gdy gracz wygra 4 złote lub straci wszystkie pieniądze. Zdefiniuj
łańcuch Markowa modelujący proces gry (zakładamy, że gracz jest w stanie (i) jeżeli
posiada i złotych)? Zakładając, że prawdopodobieństwo iż na początku gry gracz ma i
złote (0 ¬ i ¬ 4) wynosi 51 , jaki jest rozkład prawdopodobieństwa stanu posiadania po k
rundach gry? Korzystając z Twierdzenia o macierzy fundamentalnej, znajdź:
∗ oczekiwaną liczbę odwiedzin każdego stanu przy założeniu, że startujemy ze stanu (2)
[(1)]?
∗ oczekiwaną liczbę kroków do wchłonięcia, przy założeniu że startujemy od (2) [(1)]?
∗ prawdopodobieństwo wygrania, przy założeniu że startujemy ze stanu (2) [(1) oraz
(3)]?
Zadanie 3. Określ wszystkie stany powracające i przejściowe w łańcuchu Markowa z
macierzą przejścia P .
Zadanie 4. Udowodnij Twierdzenie o macierzy fundamentalnej.
Zadanie 5. Graf lizakowy Ln składa się z 2n wierzchołków: kliki (n + 1) elementowej
oraz ścieżki długości n mającej jeden punkt wspólny v z tą kliką. Niech u będzie drugim
końcem ścieżki. Wyznacz:
∗ oczekiwany czas dotarcia z u do v,
∗ oczekiwany czas dotarczia z v do u,
przy założeniu, że przejście z każdego wierzchołka grafu do każdego sąsiada jest jednakowo
prawdopodobne.
Zadanie 6. Wykaż, że proces Markowa jest ergodyczny wtedy i tylko wtedy, gdy istnieje
N takie, że P n > 0 dla każdego n ­ N .
Zadanie 7. Mysz i kot niezależnie spacerują losowo po spójnym, nieskierowanym i niedwudzielnym grafie G. Zaczynają w tym samym czasie w róznych wierzchołkach i każdy
z nich wykonuje jedno przejście w każdym kroku czasu. Kot zjada mysz, ilekroć znajdą
się w tym samym wierzchołku w tym samym czasie. Niech n i m oznaczają odpowiednio
liczbę wierzchołków i krawędzi w G. Udowodnij, że wartość oczekiwana czasu do chwili
zjedzenia myszy przez kota jest ograniczona z góry przez O(m2 n).
Wskazówka: Rozważ łańcuch Markowa, którego stany są uporządkowanymi parami (a, b),
gdzie a jest pozycją kota, a b pozycją myszy.
Strona 2/3
AP
Algorytmy probabilistyczne: Zestaw 9
Semestr zimowy 2015/2016
Kraków
04 stycznia 2016
Zadanie 8. Rozważ problem ruiny gracza, w którym gracz gra tak długo, aż straci l1
dolarów lub wygra l2 dolarów (zaczyna z pulą 0 dolarów, w każdej rundzie wygrywa
dolara i traci dolara z jednakowym prawdopodobieństwem). Udowodnij, że:
1
∗ prawdopodobieństwo wygrania l1 dolarów wynosi l1 l+l
,
2
∗ wartość oczekiwana liczby rozegranych rund wynosi l1 l2 .
Zadanie 9 (@). Rozważ następujący algorytm tasowania n kart. Powtarzaj t razy następujacy schemat, startując z dowolnej permutacji kart: wybierz losowo dwie karty z talii i
zamień je miejscami. Wykaż, że dla pewnego t = O(nc ), gdzie c jest pewną stałą, algorytm
zwraca ustaloną permutację kart z prawdopodobieństwem znajdującym się w przedziale
[ n!1 − n1 n!1 , n!1 + n1 n!1 ].
Zadanie 10 (@@). Rozważ nastepujący algorytm wybierania podzbioru k-elementowego
ze zbioru n-elementowego. Powtarzaj t razy następujacy schemat, startując ze zbioru
K = {1, . . . , k}: wybierz dwa elementy x, y takie, że x ∈ K, y ∈
/ K i zdefiniuj nowe K
jako K = (K \ {x}) ∪ {y}. Wykaż, że dla pewnego t = O(nc ), gdzie c jest pewną stałą,
algorytm generuje ustalony podzbiór k-elementowy z prawdopodobieństwem znajdującym
się w przedziale [ n1 − n1 n1 , n1 + n1 n1 ].
(k )
(k ) (k )
(k )
Wskazówka: Dla każdych dwóch podzbiorów k-elementowych u i v rozważ wszystkie najkrótsze ścieżki pomiędzy u i v i wylosuj w sposób jednostajny jedną z nich. Wykaż, że
wartość oczekiwana wszystkich ścieżek przechodzących przez ustaloną krawędź jest ograni(n)
1
czona od góry przez nk , a następnie wykorzystaj to spostrzeżenie, by wykazać Φ ­ poly(n)
dla pewnego wielomianu poly.
Strona 3/3