Teoria chaosu deterministycznego CzŚą˘ dziesi¡ta i jedenasta

Teoria chaosu deterministycznego CzŚą˘ dziesi¡ta i jedenasta

Teoria chaosu deterministycznego
Cz¦±¢ dziesi¡ta i jedenasta.
Procesy Markowa
Nieszcz¦sna pami¦ci, która ka»esz wiedzie¢,
jakimi drogami doszli±my
do obecnego stanu posiadania!
W. Gombrowicz, Ferdydurke
Celem zaj¦¢ b¦dzie poznanie formalizmu ªa«cuchów Markowa i wykorzystanie go w modelowaniu matematycznym. ‚wiczenia te wykonywane b¦d¡
na dwóch blokach dwugodzinnych - stanowi¡ wi¦c mini-projekt.
Sugerowane jest, aby przed zaj¦ciami przypomnie¢/przyswoi¢ sobie nast¦puj¡ce zagadnienia:
•
czym s¡ procesy Markowa? Jak reprezentuje si¦ je przez macierz przej±cia w jednym kroku albo diagram przej±cia? Co oznacza ich ergodyczno±¢? Jak charakteryzuje si¦ ich stany? ([6, 3, 2] lub opis poni»ej).
•
Jak wyprowadza si¦ równanie dyfuzji i co ono opisuje? ([1]).
Ze wzgl¦du na obszerno±¢ materiaªu najwa»niejsze denicje i twierdzenia
zamie±ciªem poni»ej. Osoby, które ucz¦szczaªy na wykªad z procesów stochastycznych mog¡ pomin¡¢ ten fragment.
Denicja 1
Procesem stochastycznym {Xt , t ∈ T} nazywamy tak¡ funkcj¦ (t, ω) →
Xt (ω),
ω ∈ Ω, t ∈ T, »e Xt (ω) jest zmienn¡ losow¡ dla ka»dego ustalonego t ∈ T.
Denicja 2
Zbiór wszystkich mo»liwych warto±ci procesu stochastycznego {Xt , t ∈ T}
przestrzeni¡ stanów procesu lub
jego przestrzeni¡ fazow¡.
S = {Xt (ω) : t ∈ T, ω ∈ Ω} nazywamy
1
B¦dziemy rozwa»ali co najwy»ej przeliczalne przestrzenie stanów.
Denicja 3 Warunek Markowa
Proces stochastyczny {Xn , n ∈ N} o warto±ciach w Sm = {1, ..., m}, m ∈
N nazywamy ªa«cuchem Markowa lub procesem Markowa, je±li dla
dowolnego n ∈ N i dowolnego wyboru stanów k0 , k1 , ..., kn ∈ Sm zachodzi
poni»szy fakt1
P (Xn = kn |Xn−1 = kn−1 , ..., X0 = k0 ) = P (Xn = kn |Xn−1 = kn−1 ) .
Denicja 4
Ša«cuch Markowa {Xn , n ∈ N} jest jednorodny lub równowa»nie ma
stacjonarne prawdopodobie«stwa przej±cia, je±li dla dowolnych stanów
i, j ∈ Sm , m ∈ N i dowolnego n ∈ N zachodzi równo±¢
P (Xn = j|Xn−1 = i) = P (X1 = j|X0 = i) .
W dalszej cz¦±ci rozwa»ane b¦d¡ jedynie ªa«cuchy Markowa o stacjonarnym
prawdopodobie«stwie przej±cia.
Denicja 5
Prawdopodobie«stwa pji := P (X1 = j|X0 = i), dla i, j ∈ Sm , m ∈ N, nazywamy prawdopodobie«stwami przej±cia w jednym kroku, a utworzon¡ z nich macierz

p11 p12 p13
 p21 p22 p23
P =
 ...
...
...
pm1 pm2 pm3

... p1m
... p2m 
,
... ... 
... pmm
macierz¡ przej±cia w jednym kroku.
Uwaga 1
Przyj¦to tutaj notacj¦ inn¡ od zawartej w cytowanych podr¦cznikach do procesów stochastycznych (m. in. Iwanik i Misiewicz [6]), gdzie autorzy zapisywali prawdopodobie«stwo przej±cia w jednym kroku jako
p̃ij := P (X1 = j|X0 = i),
co powodowaªo, »e w ich uj¦ciu macierz przej±cia w jednym kroku byªa transpozycj¡ macierzy, wedªug denicji 5 -
P̃ T = P .
Uwaga 2
Uj¦cie teorii procesów Markowa w formalizm teorii ukªadów dynamicznych
cz¦sto okazuje si¦ pomocne nie tylko poj¦ciowo, ale te» ze wzgl¦dów rachunkowych
(porównaj rozdziaª trzeci i pi¡ty w podr¦czniku Lasoty i Mackeya [4]). Wówczas
1
Równanie to bywa tak»e nazywane warunkiem Markowa lub warunkiem braku
pami¦ci.
2
macierz przej±cia
P
2
nazywa si¦ operatorem Markowa . Znane z teorii ukªadów
dynamicznych poj¦cie asymptotycznej stabilno±ci wi¡»e si¦ wówczas ±ci±le z
ergodyczno±ci¡ ªa«cuchów Markowa. W dalszej cz¦±ci termin macierz przej±cia
P
b¦dzie stosowany zamiennie z terminem operator Markowa
P.
Z aplikacyjnego punktu widzenia bardzo wa»ne jest pytanie, jak dziaªa
3
proces Markowa, gdy iterowany jest wielokrotnie . Odpowiedzi na pytanie
to udziela poni»sze twierdzenie.
Twierdzenie 1
Je»eli proces Markowa P jest iterowany n-krotnie to odpowiada mu wtedy
proces Markowa o macierzy przej±cia w jednym kroku równej Q = P n , przy
czym qij (n) = [P n ]ij , jest prawdopodobie«stwem przej±cia w jednym kroku
dla procesu b¦d¡cego n-krotn¡ iteracj¡ procesu wyj±ciowego.
Denicja 6
Macierz P ∈ Mm×m ([0, 1]), m ∈ N, P = [pij ]i, j=1, ..., m speªniaj¡c¡ poni»sze
zaªo»enia
• pij > 0 dla dowolnych i, j ∈ Sm ,
•
m
P
pij = 1,
i=1
nazywamy macierz¡ stochastyczn¡4 .
Drug¡, po macierzy przej±cia w jednym kroku, wygodn¡ metod¡ reprezentacji procesu Markowa s¡ diagramy przej±cia w jednym kroku.
Denicja 7
Diagramem przej±cia w jednym kroku procesu Markowa {Xn , n ∈ N}
nazywamy graf skierowany, w którym wierzchoªkami s¡ elementy przestrzeni
fazowej, a ªuki ª¡cz¡ dwa stany, o ile prawdopodobie«stwo przej±cia mi¦dzy
nimi w jednym kroku jest niezerowe.
Ka»dy ze stanów nale»¡cy do przestrzeni fazowej
Sm dla procesu Markowa
mo»e zosta¢ scharakteryzowany ze wzgl¦du na mo»liwo±ci przej±cia mi¦dzy
nim a innymi stanami. Poni»ej zaprezentowano stosowan¡ pó¹niej charakteryzacj¦ stanów.
2
Samo poj¦cie mo»na zdeniowa¢ te» abstrakcyjnie, ale w rozwa»anym przypadku
wystarczy uto»samia¢ operator Markowa z operatorem generuj¡cym proces Markowa, czyli
z macierz¡ przej±cia w jednym kroku.
3
To wªa±nie te wielokrotne iteracje s¡ przyczyn¡, dla której formalizm teorii ukªadów
dynamicznych jest tu z powodzeniem stosowany.
4
Wida¢, »e przyj¦ta denicja 5 macierzy P powoduje, »e macierz¡ stochastyczn¡ nazywamy macierz stochastyczn¡ kolumnowo (tzn. w kolumnach sumuj¡c¡ si¦ do 1). Macierze
stochastyczne wierszowo s¡ wªa±ciwe przy transponowanej denicji P (porównaj uwaga 1).
Macierz b¦d¡c¡ jednocze±nie stochastyczn¡ kolumnowo i wierszowo nazywamy macierz¡
podwójnie stochastyczn¡.
3
Denicja 8
Stan i ∈ Sm jest pochªaniaj¡cy je±li pii = 1.
Intuicyjnie stan pochªaniaj¡cy to taki stan, z którego nie mo»na wyj±¢.
Denicja 9
Stan i ∈ Sm jest osi¡galny ze stanu j ∈ Sm je±li istnieje takie n ∈ N, »e
pij (n) > 0. B¦dzie to oznaczane przez j → i.
Jeden stan jest dla drugiego osi¡galny, o ile mo»na w toku iteracji przej±¢ z
jednego do drugiego.
Denicja 10
Stany i, j ∈ Sm wzajemnie si¦ komunikuj¡ je±li j → i oraz i → j .
Komunikowanie si¦ jest relacj¡ równowa»no±ci (symetryczn¡, zwrotn¡ i przechodni¡), dzieli wi¦c wszystkie stany procesu Markowa na klasy abstrakcji klasy stanów komunikuj¡ce si¦ mi¦dzy sob¡.
Denicja 11
Ša«cuch Markowa nazywamy nieprzywiedlnym, gdy wszystkie jego stany
wzajemnie si¦ komunikuj¡.
Nieprzywiedlno±¢ oznacza, »e wszystkie stany nale»¡ do tej samej klasy abstrakcji wzgl¦dem relacji komunikowania si¦.
Denicja 12
Okresem stanu i ∈ Sm nazywamy liczb¦
o(i) = N W D(n ∈ N : pii (n) > 0),
czyli najwi¦kszy wspólny dzielnik zbioru takich n, »e powrót do stanu i jest
mo»liwy po n krokach.
Stan i jest okresowy je±li o(i) > 1 i nieokresowy gdy o(i) = 1.
Denicja 13
Nieprzywiedlny ªa«cuch Markowa jest okresowy je±li wszystkie jego stany
s¡ okresowe o tym samym okresie d > 1. W przeciwnym przypadku mówimy,
»e ªa«cuch jest nieokresowy.
Denicja 13 jest dobrze okre±lona, co wynika z poni»szego twierdzenia, przytoczonego za podr¦cznikiem Iwanika i Misiewicz [6].
Twierdzenie 2
W nieprzywiedlnym ªa«cuchu Markowa wszystkie stany maj¡ ten sam okres.
4
Denicja 14
Rozkªad pocz¡tkowy πi = P(X0 = i), i ∈ Sm ªa«cucha Markowa {Xn , n ∈ N}
jest stacjonarny lub niezmienniczy je±li zachodzi równanie
π = P π.
Rozkªad stacjonarny jest wi¦c punktem staªym operatora
P.
Denicja 15
Jednorodny ªa«cuch Markowa jest {Xn , n ∈ N} ergodyczny, je±li dla ka»dego
i ∈ Sm istniej¡ i nie zale»¡ od j nast¦puj¡ce granice
qi = lim pij (n) > 0,
n→∞
oraz
m
P
cznym.
ergody-
qi = 1. Otrzymany rozkªad q = (qi )i=1, ..., m nazywamy
i=1
Ergodyczno±¢ w j¦zyku operatorów Markowa (porównaj rozdziaª 5.6 w podr¦czniku Lasoty i Mackeya [4]) jest równowa»na istnieniu asymptotycznie
stabilnego rozkªadu prawdopodobie«stwa dla operatora (macierzy)
P.
Twierdzenie 3
Ka»dy rozkªad ergodyczny dla pewnego ªa«cucha Markowa jest te» rozkªadem
stacjonarnym tego ªa«cucha.
Uwaga 3
Implikacja z twierdzenia 3 w ogólno±ci nie daje si¦ odwróci¢.
nie odwrotne nie musi by¢ prawdziwe.
Twierdze-
Ša«cuch Markowa mo»e posiada¢
wi¦cej ni» jeden rozkªad stacjonarny (porównaj twierdzenie 4), a, zgodnie z
denicj¡ 15, rozkªad ergodyczny wyznaczony jest jednoznacznie.
Na pod-
stawie twierdzenia 4 ka»dy ªa«cuch Markowa posiada co najmniej jeden
rozkªad stacjonarny, ale co do istnienia rozkªadu ergodycznego dla dowolnego procesu nie ma gwarancji. (porównaj twierdzenie 5).
Twierdzenie 4
Dla ka»dego procesu Markowa o sko«czonej liczbie stanów istnieje co najmniej jeden rozkªad stacjonarny5 . Wszystkie rozkªady stacjonarne (jako
wektory z przestrzeni Rm ) nale»¡ do podprzestrzeni rozpi¦tej przez wektory
wªasne macierzy P odpowiadaj¡ce warto±ci wªasnej 1.
5
Jest to tak naprawd¦ cecha ka»dej macierzy stochastycznej, dla której 1 jest na pewno
warto±ci¡ wªasn¡.
5
Twierdzenie 5
Rozwa»my nieokresowy i nieprzywiedlny proces Markowa o sko«czonej liczbie
stanów6 . Wówczas ªa«cuch ten posiada dokªadnie jeden rozkªad stacjonarny
π . Co wi¦cej rozkªad π jest te» rozkªadem ergodycznym tego procesu.
Dysponuj¡c powy»szym aparatem teoretycznym mo»na wykona¢ poni»sze
zadania.
Zadanie 1.
Zaproponuj procesy Markowa (posiadaj¡ce co najmniej 5 stanów), które
(wystarczy po jednym przykªadzie)
a) posiadaj¡ stany o ró»nym okresie,
b) maj¡ wszystkie stany o tym samym okresie,
c) s¡ okresowe,
d) s¡ nieokresowe,
e) s¡ przywiedlne,
f ) s¡ ergodyczne.
Dla ka»dego z tych procesów narysuj diagram przej±cia i macierz przej±cia w
jednym kroku.
Zadanie 2.
Dla wybranych ªa«cuchów z zadania 1. (po jednym: ergodyczny, okresowy
i przywiedlny) znajd¹ stany stacjonarne.
s¡ jednoznaczne.
Sprawd¹ w którym przypadku
Wykonaj iteracje tych ªa«cuchów dla ró»nych warunków
pocz¡tkowych - jak mo»na stwierdzi¢ który z nich jest ergodyczny na tej
podstawie?
Zadanie 3. (uczenie szczura za [6])
Rozwa»my szczura umieszczonego w labiryncie zaprezentowanym na obrazku.
Szczur bª¡dzi po labiryncie do czasu a» tra do klatki z serem, co jest dla
niego bardzo przyjemne, albo do klatki z kotem, co jest dla niego bardzo
nieprzyjemne.
Nale»y zapisa¢ macierz odpowiedniego procesu Markowa,
6
Je±li stanów byªoby przeliczalnie wiele wówczas nale»y jeszcze zaªo»y¢, »e ka»dy stan
jest dodatnio powracaj¡cy, czyli, »e prawdopodobie«stwo powrotu do ka»dego stanu w
sko«czonym czasie jest wi¦ksze ni» 0.
6
znale¹¢ prawdopodobie«stwa osi¡gni¦cia ka»dego ze stanów pochªaniaj¡cych
pod warunkiem, »e zaczynali±my z odpowiedniego stanu pocz¡tkowego (warto
skorzysta¢ z symetrii labiryntu). Gdyby szczur potraª si¦ uczy¢ wówczas
powtarzanie z nim tego eksperymentu daªoby nam inne wyniki ni» te obliczone na podstawie teoretycznego modelu (szczur miaªby pami¦¢ i wolaª i±¢
do sera, a nie do kota, a procesy Markowa pami¦ci nie maj¡).
Z braku
szczurów do wykonania eksperymentu zycznie nale»y zasymulowa¢ takiego
szczura i porówna¢ wyniki symulacji z obliczeniami analitycznymi.
Rysunek 1: Labirynt dla szczura z zadania 3.
Zadanie 4. (modelowanie dyfuzji za [1])
Rozwa»my cz¡stk¦ wykonuj¡c¡ kolejne przypadkowe kroki wzdªu» osi liczb
a, a prawdopodobie«stwo
W (n, k) oznacza prawdopodobie«stwo, »e cz¡stka znalazªa si¦ w odlegªo±ci k kroków po n krokach.
Oblicz to prawdopodobie«stwo. Korzystaj¡c ze wzoru Stirligna dla n 1
i k 1 znajd¹ warto±¢ przybli»on¡ W (n, k). Nast¦pnie zaªó», »e x = kx0 ,
t = nt0 , gdzie x0 stanowi skal¦ przestrzenn¡, a t0 skal¦ czasow¡, oblicz
W (x, t). Ponadto rozwi¡» równanie dyfuzji ut = Duxx . Zauwa», »e W (x, t)
jest rozwi¡zaniem tego równania. Znajd¹ staª¡ dyfuzji D . Wykonaj symulacj¦ i porównaj z jej wynikami W (x, t). Zastosuj funkcj¦ Histogram[]. Dla
rzeczywistych. Ka»dy krok ma jednakow¡ dªugo±¢
pój±cia w lewo i prawo s¡ równe i wynosz¡
7
1
2 . Niech
ch¦tnych - co stanie si¦ je±li prawdopodobie«stwa nie b¦d¡ równe?
Zadanie 5.
Nale»y wymy±li¢ (albo znale¹¢ w literaturze lub internecie) zjawisko lub proces (biologiczny, spoªeczny, zyczny, techniczny etc.), który mo»na modelowa¢ przy u»yciu ªa«cuchów Markowa.
Nast¦pnie zapisa¢ odpowiedni
ªa«cuch i wyci¡gn¡¢ wnioski, jak miaªo to miejsce w zadaniach 4. i 5.
Zadanie 6.
Wszystkie wyniki nale»y zebra¢ i opisa¢ w raporcie wykonanym w Mathematice (menu File - New - Styled Notebook).
Literatura
[1] K. Huang,
Podstawy zyki statystycznej,
Wydawnictwo Naukowe PWN,
Warszawa, (2006).
[2] M. Iosifescu,
Sko«czone procesy Markowa i ich zastosowania, Pa«stwowe
Wydawnictwo Naukowe, Warszawa, (1988).
[3] J.
Jakubowski,
R.
Sztencel,
Wst¦p do teorii prawdopodobie«stwa,
wydanie III, SCRIPT, Warszawa, (2004).
Chaos, Fractals, and Noise. Stochastic Aspects
of Dynamics, Springer-Verlag, Nowy Jork, (1994).
[4] A. Lasota, M. C. Mackey,
[5] M. C. Mackey,
Time's Arrow: The Origins of Thermodynamic Behavior,
Springer-Verlag, Nowy Jork, (1993).
Wykªady z procesów stochastycznych z zadaniami. Cz¦±¢ pierwsza - procesy Markowa, Ocyna Wydawnicza Uniwer-
[6] A. Iwanik, J. K. Misiewicz,
sytetu Zielonogórskiego, Zielona Góra, (2009).
8