plik - pdf

Procesy Markowa
Proces stochastyczny
{X t }t nazywamy
procesem markowowskim, jeśli dla każdego
momentu t0 prawdopodobieństwo dowolnego położenia systemu w przyszłości (t>t0) zależy
tylko od jego położenia w chwili t=t0 i nie zależy od tego, w jaki sposób proces ten przebiegał
w przeszłości. Mówimy, że jest to proces bez pamięci1.
Procesy markowowskie możemy podzielić na klasy w zależności od tego, w jaki
sposób, oraz w jakim zakresie system może zmieniać swoje położenie.
Proces markowowski jest procesem z dyskretnymi położeniami (stanami), jeżeli dopuszczalne
stany systemu E1, E2, E3,… można przeliczyć (ponumerować), a sam proces polega na tym, że
co pewien przypadkowy przedział czasu system w sposób skokowy przechodzi z jednego
położenia w inne.
Rysunek 1 Przykładowy graf stanów procesu z dyskretnymi położeniami.
Procesy z ciągłymi położeniami charakteryzują się stopniowymi (ciągłymi) przejściami z
danego położenia w inne. Przykładem jest proces zmiany napięcia w sieci elektrycznej.
Jeśli w procesie przejścia systemu z jednego położenia w inne, możliwe są tylko w
ściśle
ustalonym czasie t1, t2, …, tn, i w przedziałach czasu pomiędzy tymi momentami
(krokami) system zachowuje swoje poprzednie położenie to nazywamy go procesem z
dyskretnym czasem.
Jeśli przejście systemu z jednego położenia w inne jest możliwe w każdym z góry nieznanym
momencie, to proces nazywamy procesem z ciągłym czasem.
Proces zachodzący w systemie można przedstawić jako ciąg (łańcuch) zdarzeń, np.
E1( 0 ) , E 2(1) , E1( 2 ) , E 2(3) , E3( 4) ,...
1
Bogusław Filipowicz: Modele stochastyczne w badaniach operacyjnych, Wydawnictwa Naukowo-Techniczne,
Warszawa 1996, s. 27
Łańcuch Markowa definiuje się za pomocą prawdopodobieństw zmian systemu, które
możemy przedstawić w postaci macierzy.
Np. dla grafu przedstawionego na rys. 1 macierz przejść wyglądałaby następująco:
M = [ pik ] =
przy czym 0 ≤ pjk ≤ 1, oraz
∑p
j
k =1
jk
=1
 p11

p
 21
 p31

 p 41
p12
p13
p 22
p 23
p32
p 42
p33
p 43
p14 
p 24 
p34 

p 44 
j, k = 1, 2, …, n.
Przykłady
Czy możemy liczyć na kawę?
Maszyna z kawą może być czynna (stan 0) lub zepsuta (stan 1). Załóżmy, że jeśli
maszyna jest czynna w danym dniu, to prawdopodobieństwo zepsucia w dniu następnym jest
δ , a jeśli jest zepsuta w danym dniu, to prawdopodobieństwo jej naprawienia na dzień
następny jest γ.
Jakie jest prawdopodobieństwo dostania kawy z maszyny?
maszyna jest czynna, wczoraj też była czynna:
p(0, tn | 0, tn-1) = 1 - δ,
maszyna jest nieczynna, wczoraj była czynna:
p(1, tn | 0, tn-1) = δ,
maszyna jest czynna, wczoraj była nieczynna:
p(0, tn | 1, tn-1) = γ,
maszyna jest nieczynna, wczoraj też była nieczynna: p(1, tn | 1, tn-1) = 1 - γ,
(Dobra i dobrze serwisowana maszyna powinna mieć δ bliskie 0 i γ bliskie 1 !)
Prawdopodobieństwo dostania kawy z maszyny będzie zależało od proporcji czasu,
gdy maszyna jest czynna, do całego czasu pomiaru.
Symulacja dla δ = 0.2 i γ = 0.9
LICZBA SYMULACJI (DNI)
10
50
100
500
1000
0 W DNIU 0
0.90
0.82
0.84
0.84
0.82
1 W DNIU 0
0.50
0.86
0.80
0.80
0.81
Zauważamy, że uśredniając po długim czasie, prawdopodobieństwo kupienia kawy stabilizuje
się na poziomie 80%, praktycznie niezależnie od stanu maszyny w dniu początkowym2.
Brawurowa gra
Mamy 1 zł i chcemy wygrać 5 zł. Krupier oferuje nam grę, w której
prawdopodobieństwo naszej wygranej wynosi p w każdej rundzie z wypłatą podwójnej stawki
w razie wygranej oraz jej stratą w razie przegranej, przy czym stawki są w całkowitych
wielokrotnościach złotówki.
Wybieramy następującą strategię brawurową: w każdej grze stawiamy wszystko co mamy,
jeśli ewentualna wygrana pozwoli osiągnąć cel (osiągnąć 5 zł), lub mniej niż cel.
W przeciwnym razie, stawiamy tyle aby ewentualnie wygrać 5 zł.
Jaka jest szansa wygrania w k lub mniejszej liczbie gier?
Ponumerujmy stany liczbą posiadanych przez nas złotówek.
Zaczynamy grę od stanu nr 1.
Wygrać grę – znaczy przejść od stanu 1 do stanu 5.
Stan 0 oznacza przegraną.
Prawdopodobieństwo wygrania lub przegrania gry nie zależy od historii wygranych
przegranych w poprzednich grach – własność Markowa jest zatem spełniona.
Prawdopodobieństwo wygranej w stanie i nie zależy od czasu, więc proces ten jest
jednorodny w czasie.
2
p
4
q
1
p
0
q
p
1
5
1
p
q
2
i
q
3
Interesują nas tylko ścieżki, które kończą się w stanie 5. Nazwiemy je istotnymi.
www.icm.edu.pl/home/wislicki, wyk_9.pdf, 2001-10- 15
Prawdopodobieństwo każdej
jest iloczynem prawdopodobieństw przejść
jednokrotnych.
Istotna ścieżka o długości 3 o prawdopodobieństwie p3
S:
ścieżki
(1) → (2) → (4) → (5)
Zatem prawdopodobieństwo wygrania w trzech grach wynosi p3.
Istotna ścieżka o długości 4
R:
(1) → (2) → (3) → (5)
ma prawdopodobieństwo p3q. Zatem prawdopodobieństwo wygrania w 4 lub mniej
grach wynosi p3 (1+ q).
Nie ma istotnych ścieżek o długości 6.
Istotna ścieżka o długości 7 ma jedną pętlę
L:
(1) → (2) → (4) → (3) → (1),
po czym następuje ścieżka S. Prawdopodobieństwo pętli L wynosi λ=p2q2, zatem
prawdopodobieństwo dla
ścieżki
L∗S wynosi λq3. Zatem prawdopodobieństwo
wygrania w 7 lub mniej grach wynosi p3(1+λ)+p3q.
Istnieje jedna ścieżka o długości 8: L*R, dla której prawdopodobieństwo wynosi λp3q.
Zatem prawdopodobieństwo wygrania w 8 lub mniej grach wynosi p3(1+q)(1+λ).
Zauważmy ogólną prawidłowość, że wszystkie dłuższe ścieżki są typu L*…*L*S lub
L*…*L*R.
Ich prawdopodobieństwa przy n pętlach wynoszą λnp3 i λnp3q.
Mamy pq ≤ 0.25, zatem λ ≤ 0.625, czyli szereg geometryczny o ilorazie λ jest
zbieżny.
Stąd prawdopodobieństwo wygranej przy nieograniczonej liczbie prób wynosi
p 3 (1 + q )(1 + λ + λ2 +& ...) =
3
p 3 (1 + q ) 3
1− λ
www.icm.edu.pl/home/wislicki, wyk_10.pdf, 2001-15- 10
Zadania
1. Ostrożna gra
Podobnie jak w przypadku brawurowej gry, chcemy wygrać 5 zł, startując od
złotówki. Przyjmujemy ostrożną strategię, że w każdej grze stawiamy minimalną stawkę 1 zł.
Jaka jest szansa wygrania w k lub mniejsze liczbie gier?4
2. Symulacja gry
Dokonaj symulacyjnego porównania strategii brawurowej i ostrożnej.
3. Ostrożna gra ( rekurencyjnie)***
Rozwiąż rekurencyjnie zadanie 1.2.2.1 dla każdej wartości n (n – wysokość wygranej,
stawki w całkowitych wielokrotnościach złotówki).
4. Czy jest to proces Markowa?**
Rozważmy ciąg prób Bernoulliego z wynikami Y0, Y1, …, gdzie Yi = 0 lub 1 z
prawdopodobieństwami q = 1 – p i p. Oczywiści Yi jest procesem Makowa.
Definiujemy nowy proces stochastyczny:
Xn = Yn + Yn+1,
n = 0, 1, 2, …
Każda zmienna Xn jest zmienną o rozkładzie dwuwymiarowym z dwiema niezależnymi
próbami Bernoulliego i prawdopodobieństwem p.
Czy proces Xn jest procesem Markowa?5
5. Symulacja działania automatu do kawy
Dokonaj symulacyjnego porównania działania maszyny do kawy (z przykładu
powyżej) dla δ = 0.4 i γ = 0.9 oraz δ = 0.1 i γ = 0.6.
4
5
www.icm.edu.pl/home/wislicki, wyk_10.pdf, 2001-15- 10
www.icm.edu.pl/home/wislicki, wyk_9.pdf, 2001-15- 10