Wykład 11

Transkrypt

Wykład 11

Definicja Łańcucha Markova
Stan stacjonarny
Zastosowania
Wstęp do sieci neuronowych, wykład 11
Łańcuchy Markova
M. Czoków, J. Piersa
2010-12-21
WSN 2010/2011 Wykład 11
Stan stacjonarny
Zastosowania
1
Definicja
Własności
Losowanie z rozkładu dyskretnego
2
Stan stacjonarny
Istnienie
Szukanie stanu stacjonarnego
3
Zastosowania
Zastosowania
WSN 2010/2011 Wykład 11
Stan stacjonarny
Zastosowania
Definicja
Własności
Łańcuch Markova
wydział
klub
dom
stołówka
WSN 2010/2011 Wykład 11
Stan stacjonarny
Zastosowania
Definicja
Własności
Łańcuch Markova
wydział
P
dom
dom
0.1
wydział
0.4
stołówka 0.5
klub
1.0
klub
dom
wydział
0.5
0
0.2
0
stołówka
WSN 2010/2011 Wykład 11
stołówka
0.4
0.3
0
0
klub
0
0.3
0.3
0
Stan stacjonarny
Zastosowania
Definicja
Własności
Łańcuch Markova
wydział
P
dom
dom
0.1
wydział
0.4
stołówka 0.5
klub
1.0
klub
dom
wydział
0.5
0
0.2
0
stołówka
0.4
0.3
0
0
stołówka
X0 = dom, X1 = w, X2 = s, X3 = w, X4 = d, X5 = s, ...
WSN 2010/2011 Wykład 11
klub
0
0.3
0.3
0
Stan stacjonarny
Zastosowania
Definicja
Własności
Definicja (nieformalna)
Dane mamy:
przestrzeń stanów Σ,
macierz przejścia P,
Pi,j oznacza prawdopodobieństwo przejścia ze stanu i-tego do
j-tego w jednym kroku,
P
ma to być prawdopodobieństwo więc j Pi,j = 1,
ponadto mamy zadany pewien stan początkowy p0 (lub rozkład
P0 , z którego ma pochodzić stan początkowy),
WSN 2010/2011 Wykład 11
Stan stacjonarny
Zastosowania
Definicja
Własności
Dynamika:
jako stan w kroku t = 0 wybieramy stan początkowy p0 (lub
losujemy go z rozkładu początkowego),
WSN 2010/2011 Wykład 11
Stan stacjonarny
Zastosowania
Definicja
Własności
Dynamika:
jeżeli w kroku t > 0 jesteśmy w stanie i to jako stan dla kroku
t + 1 wybieramy losowy, ale zgodnie z tablicą przejść, tj.
stan 1-szy z prawdopodobieństwem Pi,1 ,
stan 2-gi z prawdopodobieństwem Pi,2 ,
stan i-ty z prawdopodobieństwem Pi,i ,
itd.
WSN 2010/2011 Wykład 11
Stan stacjonarny
Zastosowania
Definicja
Własności
Dynamika:
jeżeli w kroku t > 0 jesteśmy w stanie i to jako stan dla kroku
t + 1 wybieramy losowy, ale zgodnie z tablicą przejść, tj.
stan 1-szy z prawdopodobieństwem Pi,1 ,
stan 2-gi z prawdopodobieństwem Pi,2 ,
stan i-ty z prawdopodobieństwem Pi,i ,
itd.
Jeżeli znamy stan w chwili t, to przejście do roku t + 1 nie
zależy od stanu w krokach t − 1, t − 2...
WSN 2010/2011 Wykład 11
Stan stacjonarny
Zastosowania
Definicja
Własności
Interpretacja
Łańcuch Markowa można wygodnie reprezentować jako graf
skierowany
wierzchołkami są wszystkie stany Σ,
jeżeli prawdopodobieństwo bezpośredniego przejścia z i do j jest
dodatnie Pij > 0, to dodajemy krawędź (i, j) do grafu (z wagą
Pij ),
krawędzie nie muszą być symetryczne,
WSN 2010/2011 Wykład 11
Stan stacjonarny
Zastosowania
Definicja
Własności
Interpretacja
Łańcuch Markowa można wygodnie reprezentować jako graf
skierowany
wierzchołkami są wszystkie stany Σ,
jeżeli prawdopodobieństwo bezpośredniego przejścia z i do j jest
dodatnie Pij > 0, to dodajemy krawędź (i, j) do grafu (z wagą
Pij ),
krawędzie nie muszą być symetryczne,
wagi krawędzi wychodzących z danego wierzchołka sumują się
do jedynki,
ta własność nie musi zachodzić dla krawędzi wchodzących.
WSN 2010/2011 Wykład 11
Stan stacjonarny
Zastosowania
Definicja
Własności
Interpretacja
wydział
P
dom
dom
0.1
wydział
0.4
stołówka 0.5
klub
1.0
klub
dom
wydział
0.5
0
0.2
0
stołówka
WSN 2010/2011 Wykład 11
stołówka
0.4
0.3
0
0
klub
0
0.3
0.3
0
Stan stacjonarny
Zastosowania
Definicja
Własności
Stan przechodni
stan a jest przechodni, jeżeli istnieje
ścieżka wychodząca z a bez powrotu
WSN 2010/2011 Wykład 11
Stan stacjonarny
Zastosowania
Definicja
Własności
Stan przechodni
a
stan a jest przechodni, jeżeli istnieje
ścieżka wychodząca z a bez powrotu
b
WSN 2010/2011 Wykład 11
c
Stan stacjonarny
Zastosowania
Definicja
Własności
Stan porwacający
stan a jest powracający (rekurencyjny),
jeżeli każda ścieżka wychodząca z a
kiedyś może powrócić z powrotem do a
WSN 2010/2011 Wykład 11
Stan stacjonarny
Zastosowania
Definicja
Własności
Stan porwacający
a
stan a jest powracający (rekurencyjny),
jeżeli każda ścieżka wychodząca z a
kiedyś może powrócić z powrotem do a
b
WSN 2010/2011 Wykład 11
c
Stan stacjonarny
Zastosowania
Definicja
Własności
Klasa rekursji
klasa rekursji — maksymalny zbiór
stanów powracających, pomiędzy
którymi można swobodnie przechodzić,
może być więcej niż jedna klasa rekursji,
klasy rekursji można znaleźć algorytmami
BFS lub DFS wyszukując silnie spójne
składowe w grafie skierowanym,
WSN 2010/2011 Wykład 11
Stan stacjonarny
Zastosowania
Definicja
Własności
Klasa rekursji
klasa rekursji — maksymalny zbiór
stanów powracających, pomiędzy
którymi można swobodnie przechodzić,
może być więcej niż jedna klasa rekursji,
klasy rekursji można znaleźć algorytmami
BFS lub DFS wyszukując silnie spójne
składowe w grafie skierowanym,
WSN 2010/2011 Wykład 11
Stan stacjonarny
Zastosowania
Definicja
Własności
Łańcuch nieprzywiedlny
a
jeżeli z wszystkich stanów da się dojść do
wszystkich innych (jest tylko jedna klasa
rekursji która obejmuje wszystkie stany),
to łańcuch nazywamy nieprzywiedlnym
b
WSN 2010/2011 Wykład 11
c
Stan stacjonarny
Zastosowania
Definicja
Własności
Stan okresowy / nieokresowy
Stan a jest nieokresowy, jeżeli z każdego stanu da się dojść do
wszystkich innych oraz
gcd{i : P(a → w i krokach → a)} = 1
WSN 2010/2011 Wykład 11
Stan stacjonarny
Zastosowania
Definicja
Własności
d
a
b
c
a
b
c
WSN 2010/2011 Wykład 11
Stan stacjonarny
Zastosowania
Definicja
Własności
d
a
c
b
a
b
c
okresowy
nieokresowy
WSN 2010/2011 Wykład 11
Stan stacjonarny
Zastosowania
Definicja
Własności
dane niech będzie n kategorii
prawdopodobieństwa
p1 , .., pn .
chcemy wylosować jedną z
kategorii, ale z
odpowiadającym jej
prawdopodobieństwem
P(X = i) = pi
WSN 2010/2011 Wykład 11
Stan stacjonarny
Zastosowania
Definicja
Własności
x1p=0.04
dane niech będzie n kategorii
prawdopodobieństwa
p1 , .., pn .
chcemy wylosować jedną z
kategorii, ale z
odpowiadającym jej
prawdopodobieństwem
P(X = i) = pi
x7p=0.26
x3p=0.25
x4p=0.01
x5p=0.09
x8p=0.11
x2p=0.09
WSN 2010/2011 Wykład 11
x6p=0.15
Stan stacjonarny
Zastosowania
Definicja
Własności
Algorytm naiwny
P(X = i) = pi
oblicz si :=
Pi
j=1 pj
dla i = 1..n
wylosuj u ∼ U(0,1)
I := 1
while (si < u)
I ++
return I
WSN 2010/2011 Wykład 11
Stan stacjonarny
Zastosowania
Definicja
Własności
Algorytm naiwny
P(X = i) = pi
oblicz si :=
Pi
j=1 pj
dla i = 1..n
wylosuj u ∼ U(0,1)
I := 1
while (si < u)
I ++
return I
Wartości s1 do sn można liczyć na bieżąco w trakcie pętli. Jeżeli
losowanie będzie wielokrotnie powtarzane, to lepiej będzie je
zapamiętać w tablicy.
WSN 2010/2011 Wykład 11
Stan stacjonarny
Zastosowania
Definicja
Własności
Algorytm podziału odcinka
wygeneruj u ∼ U(0,1)
l := 0
r := n
do
c := b(l + r )/2c
if (u > sc )
l := c
else
r := c
while (l < r − 1)
return r
WSN 2010/2011 Wykład 11
Stan stacjonarny
Zastosowania
Definicja
Własności
Algorytm generowania
wylosuj u1 ∼ Ex(p1 ), u2 ∼ Ex(p2 )..., un ∼ Ex(pn )
np. algorytmem odwracania dystrybuanty, Ex(λ)
wylosuj T ∼ U(0,1)
zwróć −1
λ ln(T )
znajdź indeks i, taki że ui = min(u1 , ..., un )
zwróć i
WSN 2010/2011 Wykład 11
Stan stacjonarny
Zastosowania
Istnienie
Twierdzenie
(n)
Niech Pij = (P n )ij = prawdopodobieństwo przejścia z i do j w
dokładnie n krokach. Ponadto niech łańcuch Markowa opisywany
przez P będzie nieprzywiedlny i nieokresowy.
WSN 2010/2011 Wykład 11
Stan stacjonarny
Zastosowania
Istnienie
Twierdzenie
(n)
Niech Pij = (P n )ij = prawdopodobieństwo przejścia z i do j w
dokładnie n krokach. Ponadto niech łańcuch Markowa opisywany
przez P będzie nieprzywiedlny i nieokresowy.
P
Wtedy istnieje wektor probabilistyczny πi , i πi = 1, ∀i πi > 0, taki
że
(n)
lim Pij = πj .
n→+∞
WSN 2010/2011 Wykład 11
Stan stacjonarny
Zastosowania
Istnienie
Szkic dowodu
Rozważmy stany początkowe i, i 0 . Z obu wypuszczamy dwa łańcuchy,
które ewoluują zgodnie z macierzą P, ale gdy się spotkają z pewnym
stanie j w tej samej chwili, sklejają się i dalej ewoluują wspólnie.
Mamy:
|Pijn − Pin0 j | ≤ P(agenci jeszcze się nie skleili)
A to zanika wraz z n do zera (por. rzucanie dwiema kośćmi do gry do
czasu uzyskania pary tych samych wyników).
To prawdopodobieństwo nie zależy od wyboru i, możemy zatem je
n — prawdopodobieństwo dojścia do j po n kokach
oznaczyć Pµj
startując z losowego stanu.
WSN 2010/2011 Wykład 11
Stan stacjonarny
Zastosowania
Istnienie
Szkic dowodu
1 jest wartością własną P, więc istnieje wektor π taki, że πP = 1 × π.
π nie ma wartości ujemnych.
Przypuśćmy przeciwnie. Niech π + = max(0, π) po współrzędnych.
Elementy P są nieujemne (z założenia) więc mamy (rachunki po
współrzędnych):
π+P ≥ π+
oraz
πP > π
Z
strony P zachowuje prawdopodobieństwo
PdrugiejP
π
=
j j
j (πP)j , więc mamy sprzeczność. π nie może mieć
współrzędnych ujemnych.
WSN 2010/2011 Wykład 11
Stan stacjonarny
Zastosowania
Istnienie
Szkic dowodu
Zatem π możemy przyjąć, że π jest rozkładem probabilistycznym.
lim (Pin0 j − Pijn ) = 0
n→+∞
n
lim (Pµj
− Pijn ) = 0
n→+∞
lim Pijn = πj
n→+∞
WSN 2010/2011 Wykład 11
Stan stacjonarny
Zastosowania
Istnienie
Rozkład stacjonarny
Rozkład π nazywany jest rozkładem stacjonarnym łańcucha
Markowa.
Odpowiednio długo symulowany MC (Markov Chain) zbiega do
swojego rozkładu stacjonarnego.
WSN 2010/2011 Wykład 11
Stan stacjonarny
Zastosowania
Istnienie
Rozkład stacjonarny
Interpretacja
po dłuższym czasie obserwator może stwierdzić, że łańcuch
podadł w rutynę,
lokalnie nadal zachowuje się zgodnie z zadaną tablicą przejść,
w szerszym oknie czasowym, ilość czasu spędzona w
poszczególnych stanach zaczyna się stabilizować,
WSN 2010/2011 Wykład 11
Stan stacjonarny
Zastosowania
Istnienie
Jak znalźć rozkład stacjonarny
Dane: łańcuch Markowa opisany przez macierz przejścia P.
WSN 2010/2011 Wykład 11
Stan stacjonarny
Zastosowania
Istnienie
Jak znalźć rozkład stacjonarny
Dane: łańcuch Markowa opisany przez macierz przejścia P.
Cel: chcemy znaleźć rozkład stacjonarny π.
WSN 2010/2011 Wykład 11
Stan stacjonarny
Zastosowania
Istnienie
Obserwacja
przyp. Pij = prawdopodobieństwo przejścia z i do j w jednym
kroku
WSN 2010/2011 Wykład 11
Stan stacjonarny
Zastosowania
Istnienie
Obserwacja
kroku
prawdopodobieństwo przejścia z i do j w dwóch krokach,
przechodząc przez k wynosi zatem
P(i → k → j) = Pik Pkj
WSN 2010/2011 Wykład 11
Stan stacjonarny
Zastosowania
Istnienie
Obserwacja
kroku
prawdopodobieństwo przejścia z i do j w dokładnie dwóch
krokach, ale przez dowolny wierzchołek pośredni
P(i → k → j) =
Pik Pkj
WSN 2010/2011 Wykład 11
Stan stacjonarny
Zastosowania
Istnienie
Obserwacja
kroku
krokach, ale przez dowolny wierzchołek pośredni
X
Pik Pkj
P(i → → j) =
k
WSN 2010/2011 Wykład 11
Stan stacjonarny
Zastosowania
Istnienie
Obserwacja cd.
krokach przez dowolny wierzchołek pośredni
X
P(i →2kroki j) =
Pik Pkj
k
WSN 2010/2011 Wykład 11
Stan stacjonarny
Zastosowania
Istnienie
Obserwacja cd.
X
P(i →2kroki j) =
Pik Pkj
k
zatem jest opisywane przez macierz P · P = P 2 ,
WSN 2010/2011 Wykład 11
Stan stacjonarny
Zastosowania
Istnienie
Obserwacja cd.
X
P(i →2kroki j) =
Pik Pkj
k
zatem jest opisywane przez macierz P · P = P 2 ,
przez indukcję — prawdopodobieństwo przejścia w krokach ze
stanu i do j w k krokach jest opisywane przez macierz P k .
WSN 2010/2011 Wykład 11
Stan stacjonarny
Zastosowania
Istnienie
Sposób 1
oblicz macierz P i , gdzie i jest wysoką potęgą,
WSN 2010/2011 Wykład 11
Stan stacjonarny
Zastosowania
Istnienie
Sposób 1
zwróć jeden z wierszy otrzymanej macierzy,
WSN 2010/2011 Wykład 11
Stan stacjonarny
Zastosowania
Istnienie
Sposób 1
zwróć jeden z wierszy otrzymanej macierzy,
UWAGA: „algorytmu” nie należy stosować z wyjątkiem sytuacji gdy
P jest mała
WSN 2010/2011 Wykład 11
Stan stacjonarny
Zastosowania
Istnienie
Sposób 1

0.10
 0.40
P=
 0.30
1.00

0.60
0.00
0.30
0.00
0.30
0.20
0.00
0.00
0.34 0.15 0.15
 0.50 0.30 0.12
2
P =
 0.55 0.18 0.15
0.10 0.60 0.30

0.00
0.40 

0.40 
0.00

0.36
0.08 

0.12 
0.00
WSN 2010/2011 Wykład 11
Stan stacjonarny
Zastosowania
Istnienie
Sposób 1

0.10
 0.40
P=
 0.30
1.00

0.60
0.00
0.30
0.00
0.30
0.20
0.00
0.00
0.34 0.15 0.15
 0.50 0.30 0.12
2
P =
 0.55 0.18 0.15
0.10 0.60 0.30

0.00
0.40 

0.40 
0.00

0.36
0.08 

0.12 
0.00


0.30 0.33 0.19 0.15
 0.39 0.23 0.15 0.21 

P4 = 
 0.37 0.23 0.16 0.23 
0.49 0.24 0.13 0.12


0.37 0.26 0.16 0.18
 0.38 0.27 0.16 0.17 

P8 = 
 0.38 0.27 0.16 0.17 
0.36 0.28 0.17 0.17
WSN 2010/2011 Wykład 11
Stan stacjonarny
Zastosowania
Istnienie
Sposób 2
Algorytm:
symulujemy wstępnie dużą ilość kroków łańcucha, tak by zbiegł
do rozkładu stacjonarnego,
WSN 2010/2011 Wykład 11
Stan stacjonarny
Zastosowania
Istnienie
Sposób 2
Algorytm:
od określonego punktu przez N kolejnych iteracji zliczamy ilości
stanów jakie przyjął łańcuch,
WSN 2010/2011 Wykład 11
Stan stacjonarny
Zastosowania
Istnienie
Sposób 2
Algorytm:
za prawdopodobieństwo przyjęcia stanu i przyjmujemy
πi :=
ilość kroków w których łańcuch był w stanie i-tym
N
WSN 2010/2011 Wykład 11
Stan stacjonarny
Zastosowania
Istnienie
Sposób 2
Algorytm:
za prawdopodobieństwo przyjęcia stanu i przyjmujemy
πi :=
ilość kroków w których łańcuch był w stanie i-tym
N
Czasem się go określa jako MCMC = Markov Chain Monte Carlo.
WSN 2010/2011 Wykład 11
Stan stacjonarny
Zastosowania
Istnienie
Sposób 2

0.10
 0.40
P=
 0.30
1.00
0.60
0.00
0.30
0.00
0.30
0.20
0.00
0.00

0.00
0.40 

0.40 
0.00
WSN 2010/2011 Wykład 11
Stan stacjonarny
Zastosowania
Istnienie
Sposób 2

0.10
 0.40
P=
 0.30
1.00
T = 379

0.00
0.40 

0.40 
0.00
288 149 184
0.60
0.00
0.30
0.00
0.30
0.20
0.00
0.00
WSN 2010/2011 Wykład 11
Stan stacjonarny
Zastosowania
Istnienie
Sposób 2
400
350

0.10
 0.40
P=
 0.30
1.00
T = 379

0.00
0.40 

0.40 
0.00
288 149 184
0.60
0.00
0.30
0.00
0.30
0.20
0.00
0.00
300
250
200
150
100
50
0
0
1
2
WSN 2010/2011 Wykład 11
3
4
5
Stan stacjonarny
Zastosowania
Istnienie
Sposób 2
Problem:
Kiedy zakończyć wstępną symulację?
WSN 2010/2011 Wykład 11
Stan stacjonarny
Zastosowania
Istnienie
Sposób 2
Algorytm:
oznaczmy T — wstępną ilość kroków,
WSN 2010/2011 Wykład 11
Stan stacjonarny
Zastosowania
Istnienie
Sposób 2
Algorytm:
w kroku 0 z każdego ze stanów wypuszczamy osobną ewoluującą
po sieci kopię łańcucha,
WSN 2010/2011 Wykład 11
Stan stacjonarny
Zastosowania
Istnienie
Sposób 2
Algorytm:
jeżeli w pewnym kroku dwie kopie spotkają się w jednym stanie
skejają się i dalej ewoluują razem (równoważnie — usuwamy
jedną z kopii),
WSN 2010/2011 Wykład 11
Stan stacjonarny
Zastosowania
Istnienie
Sposób 2
Algorytm:
jeżeli w pewnym kroku dwie kopie spotkają się w jednym stanie
skejają się i dalej ewoluują razem (równoważnie — usuwamy
jedną z kopii),
jeżeli w kroku T wszystkie łańcuchy zostały sklejone do jednego,
to kończymy etap, jeżeli nie to przyjmujemy T :=2T i
kontynuujemy.
WSN 2010/2011 Wykład 11
Stan stacjonarny
Zastosowania
Istnienie
Sposób 2
Uwaga! istnieją łańcuchy Markova, dla
których ten algorytm się zapętli (ale dla
takich nie istnieje rozkład stacjonarny —
nie spełniają założeń twierdzenia!).
WSN 2010/2011 Wykład 11
Stan stacjonarny
Zastosowania
Istnienie
Sposób 2
a
Uwaga! istnieją łańcuchy Markova, dla
których ten algorytm się zapętli (ale dla
takich nie istnieje rozkład stacjonarny —
nie spełniają założeń twierdzenia!).
b
a b c
a 0 1 0
b 0.5 0 0.5
c 0 1 0
WSN 2010/2011 Wykład 11
c
Stan stacjonarny
Zastosowania
Zastosowania
Błądzenie losowe
20
10
0
-10
-20
-30
-40
0
200
400
600
800
WSN 2010/2011 Wykład 11
1000
Stan stacjonarny
Zastosowania
Zastosowania
Zastosowania
błądzenie losowe,
modelowanie procesów biologicznych, fizycznych, społecznych
etc.
narzędzia statystyczne, symulowanie rynków finansowych,
rozumowanie przy niepewnej wiedzy, np. w sieciach
bayesowskich,
algorytm generowania z dowolnego rozkładu (alg.
Metropolisa-Hastlingsa)
algorytmy typu symulowanego wyżarzania (następy wykład)
WSN 2010/2011 Wykład 11

Wykład 11

Transkrypt

Podobne dokumenty

Łańcuch 1-biegowy KMC Z610HX Charakterystyka: 1/2"x3/32

Prezentacja - technikalia

Jarosław Piersa — Curriculum Vitae - Imię Nazwisko

Drukuj stronę produktu

DEKLARACJA CZŁONKOWSKA Radzyńskigo Klubu Biznesu

Testujemy pdfa - fotostrony.pl

OGŁOSZENIA DROBNE

KURSY – KULTURA, SZTUKA LP. WYKŁADOWCA TYTUŁ ZAJĘĆ

Formularz kwalifikacyjny – Dofinansowanie do poprawy BHP i

DUC252Z - Makita