Teoria chaosu deterministycznego Cz¦±¢ jedenasta i dwunasta
Transkrypt
Teoria chaosu deterministycznego Cz¦±¢ jedenasta i dwunasta
Teoria chaosu deterministycznego Cz¦±¢ jedenasta i dwunasta. Procesy Markowa Nieszcz¦sna pami¦ci, która ka»esz wiedzie¢, jakimi drogami doszli±my do obecnego stanu posiadania! W. Gombrowicz, Ferdydurke Celem zaj¦¢ b¦dzie poznanie formalizmu ªa«cuchów Markowa i wykorzystanie go w modelowaniu matematycznym. wiczenia te wykonywane b¦d¡ na dwóch blokach dwugodzinnych - stanowi¡ wi¦c mini-projekt. Sugerowane jest, aby przed zaj¦ciami przypomnie¢/przyswoi¢ sobie nast¦puj¡ce zagadnienia: • czym s¡ procesy Markowa? Jak reprezentuje si¦ je przez macierz przej±cia w jednym kroku albo diagram przej±cia? Co oznacza ich ergodyczno±¢? Jak charakteryzuje si¦ ich stany? ([6, 3, 2] lub opis poni»ej). • Jak wyprowadza si¦ równanie dyfuzji i co ono opisuje? ([1]). Ze wzgl¦du na obszerno±¢ materiaªu najwa»niejsze denicje i twierdzenia zamie±ciªem poni»ej. Osoby, które ucz¦szczaªy na wykªad z procesów stochastycznych mog¡ pomin¡¢ ten fragment. Denicja 1 Procesem stochastycznym {Xt , t ∈ T} nazywamy tak¡ funkcj¦ (t, ω) → Xt (ω), ω ∈ Ω, t ∈ T, »e Xt (ω) jest zmienn¡ losow¡ dla ka»dego ustalonego t ∈ T. Denicja 2 Zbiór wszystkich mo»liwych warto±ci procesu stochastycznego {Xt , t ∈ T} przestrzeni¡ stanów procesu lub jego przestrzeni¡ fazow¡. S = {Xt (ω) : t ∈ T, ω ∈ Ω} nazywamy 1 B¦dziemy rozwa»ali co najwy»ej przeliczalne przestrzenie stanów. Denicja 3 Warunek Markowa Proces stochastyczny {Xn , n ∈ N} o warto±ciach w Sm = {1, ..., m}, m ∈ N nazywamy ªa«cuchem Markowa lub procesem Markowa, je±li dla dowolnego n ∈ N i dowolnego wyboru stanów k0 , k1 , ..., kn ∈ Sm zachodzi poni»szy fakt1 P (Xn = kn |Xn−1 = kn−1 , ..., X0 = k0 ) = P (Xn = kn |Xn−1 = kn−1 ) . Denicja 4 a«cuch Markowa {Xn , n ∈ N} jest jednorodny lub równowa»nie ma stacjonarne prawdopodobie«stwa przej±cia, je±li dla dowolnych stanów i, j ∈ Sm , m ∈ N i dowolnego n ∈ N zachodzi równo±¢ P (Xn = j|Xn−1 = i) = P (X1 = j|X0 = i) . W dalszej cz¦±ci rozwa»ane b¦d¡ jedynie ªa«cuchy Markowa o stacjonarnym prawdopodobie«stwie przej±cia. Denicja 5 Prawdopodobie«stwa pji := P (X1 = j|X0 = i), dla i, j ∈ Sm , m ∈ N, nazywamy prawdopodobie«stwami przej±cia w jednym kroku, a utworzon¡ z nich macierz p11 p12 p13 p21 p22 p23 P = ... ... ... pm1 pm2 pm3 ... p1m ... p2m , ... ... ... pmm macierz¡ przej±cia w jednym kroku. Uwaga 1 Przyj¦to tutaj notacj¦ inn¡ od zawartej w cytowanych podr¦cznikach do procesów stochastycznych (m. in. Iwanik i Misiewicz [6]), gdzie auto- rzy zapisywali prawdopodobie«stwo przej±cia w jednym kroku jako P (X1 = j|X0 = i), p̃ij := co powodowaªo, »e w ich uj¦ciu macierz przej±cia w jed- nym kroku byªa transpozycj¡ macierzy, wedªug denicji 5 - P̃ T = P . Uwaga 2 Uj¦cie teorii procesów Markowa w formalizm teorii ukªadów dynamicznych cz¦sto okazuje si¦ pomocne nie tylko poj¦ciowo, ale te» ze wzgl¦dów rachunkowych (porównaj rozdziaª trzeci i pi¡ty w podr¦czniku Lasoty i Mackeya 1 Równanie to bywa tak»e nazywane warunkiem Markowa lub warunkiem braku pami¦ci. 2 [4]). Wówczas macierz przej±cia P 2 nazywa si¦ operatorem Markowa . Znane z teorii ukªadów dynamicznych poj¦cie asymptotycznej stabilno±ci wi¡»e si¦ wówczas ±ci±le z ergodyczno±ci¡ ªa«cuchów Markowa. W dalszej cz¦±ci termin macierz przej±cia Markowa P b¦dzie stosowany zamiennie z terminem operator P. Z aplikacyjnego punktu widzenia bardzo wa»ne jest pytanie, jak dziaªa 3 proces Markowa, gdy iterowany jest wielokrotnie . Odpowiedzi na pytanie to udziela poni»sze twierdzenie. Twierdzenie 1 Je»eli proces Markowa P jest iterowany n-krotnie to odpowiada mu wtedy proces Markowa o macierzy przej±cia w jednym kroku równej Q = P n , przy czym qij (n) = [P n ]ij , jest prawdopodobie«stwem przej±cia w jednym kroku dla procesu b¦d¡cego n-krotn¡ iteracj¡ procesu wyj±ciowego. Denicja 6 Macierz P ∈ Mm×m ([0, 1]), m ∈ N, P = [pij ]i, j=1, ..., m speªniaj¡c¡ poni»sze zaªo»enia • pij > 0 dla dowolnych i, j ∈ Sm , • m P pij = 1, i=1 nazywamy macierz¡ stochastyczn¡4 . Drug¡, po macierzy przej±cia w jednym kroku, wygodn¡ metod¡ reprezentacji procesu Markowa s¡ diagramy przej±cia w jednym kroku. Denicja 7 Diagramem przej±cia w jednym kroku procesu Markowa {Xn , n ∈ N} nazywamy graf skierowany, w którym wierzchoªkami s¡ elementy przestrzeni fazowej, a ªuki ª¡cz¡ dwa stany, o ile prawdopodobie«stwo przej±cia mi¦dzy nimi w jednym kroku jest niezerowe. 2 Samo poj¦cie mo»na zdeniowa¢ te» abstrakcyjnie, ale w rozwa»anym przypadku wystarczy uto»samia¢ operator Markowa z operatorem generuj¡cym proces Markowa, czyli z macierz¡ przej±cia w jednym kroku. 3 To wªa±nie te wielokrotne iteracje s¡ przyczyn¡, dla której formalizm teorii ukªadów dynamicznych jest tu z powodzeniem stosowany. 4 Wida¢, »e przyj¦ta denicja 5 macierzy P powoduje, »e macierz¡ stochastyczn¡ nazywamy macierz stochastyczn¡ kolumnowo (tzn. w kolumnach sumuj¡c¡ si¦ do 1). Macierze stochastyczne wierszowo s¡ wªa±ciwe przy transponowanej denicji P (porównaj uwaga 1). Macierz b¦d¡c¡ jednocze±nie stochastyczn¡ kolumnowo i wierszowo nazywamy macierz¡ podwójnie stochastyczn¡. 3 Ka»dy ze stanów nale»¡cy do przestrzeni fazowej Sm dla procesu Mar- kowa mo»e zosta¢ scharakteryzowany ze wzgl¦du na mo»liwo±ci przej±cia mi¦dzy nim a innymi stanami. Poni»ej zaprezentowano stosowan¡ pó¹niej charakteryzacj¦ stanów. Denicja 8 Stan i ∈ Sm jest pochªaniaj¡cy je±li pii = 1. Intuicyjnie stan pochªaniaj¡cy to taki stan, z którego nie mo»na wyj±¢. Denicja 9 Stan i ∈ Sm jest osi¡galny ze stanu j ∈ Sm je±li istnieje takie n ∈ N, »e pij (n) > 0. B¦dzie to oznaczane przez j → i. Jeden stan jest dla drugiego osi¡galny, o ile mo»na w toku iteracji przej±¢ z jednego do drugiego. Denicja 10 Stany i, j ∈ Sm wzajemnie si¦ komunikuj¡ je±li j → i oraz i → j . Komunikowanie si¦ jest relacj¡ równowa»no±ci (symetryczn¡, zwrotn¡ i przechodni¡), dzieli wi¦c wszystkie stany procesu Markowa na klasy abstrakcji klasy stanów komunikuj¡ce si¦ mi¦dzy sob¡. Denicja 11 a«cuch Markowa nazywamy nieprzywiedlnym, gdy wszystkie jego stany wzajemnie si¦ komunikuj¡. Nieprzywiedlno±¢ oznacza, »e wszystkie stany nale»¡ do tej samej klasy abstrakcji wzgl¦dem relacji komunikowania si¦. Denicja 12 Okresem stanu i ∈ Sm nazywamy liczb¦ o(i) = N W D(n ∈ N : pii (n) > 0), czyli najwi¦kszy wspólny dzielnik zbioru takich n, »e powrót do stanu i jest mo»liwy po n krokach. Stan i jest okresowy je±li o(i) > 1 i nieokresowy gdy o(i) = 1. Denicja 13 Nieprzywiedlny ªa«cuch Markowa jest okresowy je±li wszystkie jego stany s¡ okresowe o tym samym okresie d > 1. W przeciwnym przypadku mówimy, »e ªa«cuch jest nieokresowy. Denicja 13 jest dobrze okre±lona, co wynika z poni»szego twierdzenia, przytoczonego za podr¦cznikiem Iwanika i Misiewicz [6]. 4 Twierdzenie 2 W nieprzywiedlnym ªa«cuchu Markowa wszystkie stany maj¡ ten sam okres. Denicja 14 Rozkªad pocz¡tkowy πi = P(X0 = i), i ∈ Sm ªa«cucha Markowa {Xn , n ∈ N} jest stacjonarny lub niezmienniczy je±li zachodzi równanie π = P π. Rozkªad stacjonarny jest wi¦c punktem staªym operatora P. Denicja 15 Jednorodny ªa«cuch Markowa jest {Xn , n ∈ N} ergodyczny, je±li dla ka»dego i ∈ Sm istniej¡ i nie zale»¡ od j nast¦puj¡ce granice qi = lim pij (n) > 0, n→∞ oraz m P nym. qi = 1. Otrzymany rozkªad q = (qi )i=1, ..., m nazywamy i=1 ergodycz- Ergodyczno±¢ w j¦zyku operatorów Markowa (porównaj rozdziaª 5.6 w podr¦czniku Lasoty i Mackeya [4]) jest równowa»na istnieniu asymptotycznie stabilnego rozkªadu prawdopodobie«stwa dla operatora (macierzy) P. Twierdzenie 3 Ka»dy rozkªad ergodyczny dla pewnego ªa«cucha Markowa jest te» rozkªadem stacjonarnym tego ªa«cucha. Uwaga 3 Implikacja z twierdzenia 3 w ogólno±ci nie daje si¦ odwróci¢. Twierdzenie odwrotne nie musi by¢ prawdziwe. a«cuch Markowa mo»e posiada¢ wi¦cej ni» jeden rozkªad stacjonarny (porównaj twierdzenie 4), a, zgodnie z denicj¡ 15, rozkªad ergodyczny wyznaczony jest jednoznacznie. Na podstawie twierdzenia 4 ka»dy ªa«cuch Markowa posiada co najmniej jeden rozkªad stacjonarny, ale co do istnienia rozkªadu ergodycznego dla dowolnego procesu nie ma gwarancji. (porównaj twierdzenie 5). Twierdzenie 4 Dla ka»dego procesu Markowa o sko«czonej liczbie stanów istnieje co najmniej jeden rozkªad stacjonarny5 . Wszystkie rozkªady stacjonarne (jako wektory z przestrzeni Rm ) nale»¡ do podprzestrzeni rozpi¦tej przez wektory wªasne macierzy P odpowiadaj¡ce warto±ci wªasnej 1. 5 Jest to tak naprawd¦ cecha ka»dej macierzy stochastycznej, dla której 1 jest na pewno warto±ci¡ wªasn¡. 5 Twierdzenie 5 Rozwa»my nieokresowy i nieprzywiedlny proces Markowa o sko«czonej liczbie stanów6 . Wówczas ªa«cuch ten posiada dokªadnie jeden rozkªad stacjonarny π . Co wi¦cej rozkªad π jest te» rozkªadem ergodycznym tego procesu. Dysponuj¡c powy»szym aparatem teoretycznym mo»na wykona¢ poni»sze zadania. Zadanie 1. Zaproponuj procesy Markowa (posiadaj¡ce co najmniej 5 stanów), które (wystarczy po jednym przykªadzie) a) posiadaj¡ stany o ró»nym okresie, b) maj¡ wszystkie stany o tym samym okresie, c) s¡ okresowe, d) s¡ nieokresowe, e) s¡ przywiedlne, f ) s¡ ergodyczne. Dla ka»dego z tych procesów narysuj diagram przej±cia i macierz przej±cia w jednym kroku. Zadanie 2. Dla wybranych ªa«cuchów z zadania 1. (po jednym: ergodyczny, okresowy i przywiedlny) znajd¹ stany stacjonarne. Sprawd¹ w którym przypadku s¡ jednoznaczne. Wykonaj iteracje tych ªa«cuchów dla ró»nych warunków pocz¡tkowych - jak mo»na stwierdzi¢ który z nich jest ergodyczny na tej podstawie? Zadanie 3. (uczenie szczura za [6]) Rozwa»my szczura umieszczonego w labiryncie zaprezentowanym na obrazku. Szczur bª¡dzi po labiryncie do czasu a» tra do klatki z serem, co jest dla niego bardzo przyjemne, albo do klatki z kotem, co jest dla niego 6 Je±li stanów byªoby przeliczalnie wiele wówczas nale»y jeszcze zaªo»y¢, »e ka»dy stan jest dodatnio powracaj¡cy, czyli, »e prawdopodobie«stwo powrotu do ka»dego stanu w sko«czonym czasie jest wi¦ksze ni» 0. 6 bardzo nieprzyjemne. Nale»y zapisa¢ macierz odpowiedniego procesu Markowa, znale¹¢ prawdopodobie«stwa osi¡gni¦cia ka»dego ze stanów pochªaniaj¡cych pod warunkiem, »e zaczynali±my z odpowiedniego stanu pocz¡tkowego (warto skorzysta¢ z symetrii labiryntu). Gdyby szczur potraª si¦ uczy¢ wówczas powtarzanie z nim tego eksperymentu daªoby nam inne wyniki ni» te obliczone na podstawie teoretycznego modelu (szczur miaªby pami¦¢ i wolaª i±¢ do sera, a nie do kota, a procesy Markowa pami¦ci nie maj¡). Z braku szczurów do wykonania eksperymentu zycznie nale»y zasymulowa¢ takiego szczura i porówna¢ wyniki symulacji z obliczeniami analitycznymi. Rysunek 1: Labirynt dla szczura z zadania 3. Zadanie 4. (modelowanie dyfuzji za [1]) Rozwa»my cz¡stk¦ wykonuj¡c¡ kolejne przypadkowe kroki wzdªu» osi liczb rzeczywistych. Ka»dy krok ma jednakow¡ dªugo±¢ stwo pój±cia w lewo i prawo s¡ równe i wynosz¡ prawdopodobie«stwo, »e cz¡stka znalazªa si¦ w a, a prawdopodobie«- 1 2 . Niech W (n, k) oznacza odlegªo±ci k kroków po n krokach. Oblicz to prawdopodobie«stwo. Korzystaj¡c ze wzoru Stirligna dla n 1 i k 1 znajd¹ warto±¢ przybli»on¡ W (n, k). Nast¦pnie zaªó», »e x = kx0 , t = nt0 , gdzie x0 stanowi skal¦ przestrzenn¡, a t0 skal¦ czasow¡, oblicz W (x, t). Ponadto rozwi¡» równanie dyfuzji ut = Duxx . Zauwa», »e W (x, t) jest rozwi¡zaniem tego równania. Znajd¹ staª¡ dyfuzji D. Wykonaj 7 symulacj¦ i porównaj z jej wynikami W (x, t). Zastosuj funkcj¦ Histogram[]. Dla ch¦tnych - co stanie si¦ je±li prawdopodobie«stwa nie b¦d¡ równe? Zadanie 5. Nale»y wymy±li¢ (albo znale¹¢ w literaturze lub internecie) zjawisko lub proces (biologiczny, spoªeczny, zyczny, techniczny etc.), który mo»na modelowa¢ przy u»yciu ªa«cuchów Markowa. Nast¦pnie zapisa¢ odpowiedni ªa«cuch i wyci¡gn¡¢ wnioski, jak miaªo to miejsce w zadaniach 4. i 5. Zadanie 6. Wszystkie wyniki nale»y zebra¢ i opisa¢ w raporcie wykonanym w Mathematice (menu File - New - Styled Notebook). Literatura [1] K. Huang, Podstawy zyki statystycznej, Wydawnictwo Naukowe PWN, Warszawa, (2006). [2] M. Iosifescu, Sko«czone procesy Markowa i ich zastosowania, Pa«stwowe Wydawnictwo Naukowe, Warszawa, (1988). [3] J. Jakubowski, R. Sztencel, Wst¦p do teorii prawdopodobie«stwa, wyda- nie III, SCRIPT, Warszawa, (2004). Chaos, Fractals, and Noise. Stochastic Aspects of Dynamics, Springer-Verlag, Nowy Jork, (1994). [4] A. Lasota, M. C. Mackey, [5] M. C. Mackey, Time's Arrow: The Origins of Thermodynamic Behavior, Springer-Verlag, Nowy Jork, (1993). Wykªady z procesów stochastycznych z zadaniami. Cz¦±¢ pierwsza - procesy Markowa, Ocyna Wydawnicza Uniwer- [6] A. Iwanik, J. K. Misiewicz, sytetu Zielonogórskiego, Zielona Góra, (2009). 8