Elementy modelowania matematycznego
Transkrypt
Elementy modelowania matematycznego
Elementy modelowania matematycznego Łańcuchy Markowa. Jakub Wróblewski [email protected] http://zajecia.jakubw.pl/ ŁAŃCUCH MARKOWA Przykład: Rozważmy problem częstości występowania w języku poszczególnych liter. Załóżmy, że interesuje nas nie tyle częstość (prawdopodobieństwo) bezwzględne, co częstość uzależniona od poprzedniej litery. Np. po literze ‘c’ częściej występuje ‘h’ niż ‘k’, chociaż litera ‘k’ jest w języku polskim powszechniejsza. Definicja: Łańcuchem Markowa nazywamy ciąg zmiennych losowych Xn o wartościach w pewnym zbiorze S taki, że dla każdego n: P ( X n = sn X 1 = s1 , …, X n −1 = sn −1 ) = P( X n = sn X n −1 = sn −1 ) czyli wartość zmiennej n zależy tylko od wartości dla n-1. 1 MACIERZ PRZEJŚCIA Z definicji łańcucha Markowa wynika, że prawdopodobieństwo przejścia ze stanu i do j jest zawsze jednakowe. Oznaczmy je pij. Reprezentacja macierzowa przykładowego łańcucha Markowa: p11 p P = 21 p 31 p 41 p12 p13 p22 p23 p32 p42 p33 p43 p14 0 p24 0.5 = p34 0.3 p44 0.3 0 0 0.5 0 0 0 0.7 0 0.2 0.5 1 0 Reprezentacja graficzna powyższego przykładu: 1 2 1 0.5 0.3 0.5 0.3 0.5 4 0.7 3 0.2 MACIERZ PRZEJŚCIA Macierz przejścia może być użyta do policzenia, z jakimi prawdopodobieństwami znajdziemy się w poszczególnych stanach w kolejnym kroku. Np. jeśli w poprzednim przykładzie startujemy z pozycji 1 lub 3 z jednakowym prawdopodobieństwem, to rozkład prawdopodobieństwa w kolejnym kroku uzyskamy mnożąc wektor prawdopodobieństw wyjściowych przez macierz przejścia: 0 0.5 p1 = p0 P = (0.5, 0, 0.5, 0 ) 0.3 0.3 1 0 0 0 0.5 0 = (0.15, 0.5, 0, 0.35) 0 0 0.7 0 0.2 0.5 Ogólnie, wektor (rozkład) prawdopodobieństw po k krokach uzyskamy wymnażając wyjściowy rozkład przez Pk. 2 SYMULACJA ZJAWISK Prawdopodobieństwa przejścia łańcucha Markowa można znaleźć doświadczalnie, zliczając przypadki przejść między stanami. Znaleziony łańcuch może być użyty do symulacji badanego zjawiska. Przykład: Mamy zbiór N liter polskiego alfabetu. Przez pij oznaczmy prawdopodobieństwo, że po literze i następuje litera j. Możemy znaleźć macierz P=(pij) analizując dostatecznie duży zbiór tekstów. Macierz P będzie miała różne wartości, w zależności od analizowanego języka. Symulacja powstawania słów: startujemy od losowej litery i, następnie losujemy kolejną zgodnie z rozkładem (pi1, ... piN). Oznaczmy wylosowaną literę przez j. Potem losujemy kolejną z rozkładem (pj1, ... pjN) itd. Utworzone w ten sposób słowo zwykle nic nie znaczy, ale brzmi prawdopodobnie. ROZKŁAD STACJONARNY Rozkład prawdopodobieństwa π na zbiorze stanów łańcucha Markowa, który nie zmienia się po wykonaniu jednego kroku, nazywamy rozkładem stacjonarnym: π = πP To, czy taki rozkład istnieje i jest jednoznacznie wyznaczony, zależy m.in. od rodzaju stanów występujących w danym łańcuchu. 3 KLASYFIKACJA STANÓW Stan i jest osiągalny z j, jeśli istnieje niezerowa ścieżka z j do i. Zbiór stanów C jest zamknięty, jeśli żaden stan spoza C nie jest osiągalny ze stanu należącego do C. 3 1 2 Jednoelementowy zbiór zamknięty nazywamy stanem pochłaniającym. 1 Przykład – zagadnienie ruiny gracza. Gracz ma kapitał początkowy N. Z prawdopodobieństwem p wygrywa 1, z prawdop. 1-p przegrywa 1. Jakie jest prawdopodobieństwo, że zbankrutuje (dojdzie do 0)? 4