Modelowanie Niepewności - Instytut Informatyki

Modelowanie
Niepewności
Wojciech Jaśkowski
Wstęp
Modelowanie Niepewności
Na podstawie: AIMA, ch13
Wojciech Jaśkowski
Instytut Informatyki,
Politechnika Poznańska
15 marca 2013
Przypomnienie:
podstawy
probabilistyki
Źródła niepewności
Modelowanie
Niepewności
Wojciech Jaśkowski
Wstęp
Przypomnienie:
podstawy
probabilistyki
I
Świat częściowo obserwowalny
I
Świat niedeterministyczny
Także:
I
Lenistwo i ignorancja (niewiedza)
Cel: Racjonalne decyzje w obecności niepewności
Modelowanie
Niepewności
Świat Wumpus’a
Wojciech Jaśkowski
4
Bree z e
Stench
PIT
Wstęp
Przypomnienie:
podstawy
probabilistyki
Bree z e
3
Stench
PIT
Bree z e
Gold
2
Bree z e
Stench
Bree z e
1
PIT
Bree z e
3
4
START
1
2
Modelowanie
Niepewności
Świat Wumpus’a
Wojciech Jaśkowski
1,4
2,4
3,4
4,4
Wstęp
Przypomnienie:
podstawy
probabilistyki
1,3
2,3
3,3
4,3
1,2
2,2
3,2
4,2
3,1
4,1
B
OK
1,1
2,1
B
OK
OK
Podstawy I
I
I
Notacja: zmienne losowa Cancer = {¬c, c}
Prawdopodobieństwo warunkowe:
I
I
Rozkład prawdopodobieństwa:
I
I
P(Cancer , Test) - wektor wszystkich kombinacji
wartości zmiennych losowych Cancer i Test.
Niezależność zdarzeń losowych:
I
I
I
I
P(Cancer ) = hP(c), P(¬c)i
Rozkład prawd. łącznego:
I
I
P(c|t)P(t) = P(c ∧ t) (reguła produkcji)
P(c) = P(c|t)
P(t) = P(t|c)
P(c)P(t) = P(c ∧ t)
Niezależność zmiennych losowych:
I
I
P(T ) = P(T |C )
wiedza o niezależności zmiennych jest zwykle wiedzą
dziedzinową.
Modelowanie
Niepewności
Wojciech Jaśkowski
Wstęp
Przypomnienie:
podstawy
probabilistyki
(Pełny) rozkład łączny
Modelowanie
Niepewności
Wojciech Jaśkowski
Wstęp
Przypomnienie:
podstawy
probabilistyki
dziura
¬dziura
ból
test ¬test
0.108 0.012
0.016 0.064
¬ból
test ¬test
0.072 0.008
0.144 0.576
Prawd. marginalne (marginalizacja)
Modelowanie
Niepewności
Wojciech Jaśkowski
Wstęp
dziura
¬dziura
I
ból
test ¬test
0.108 0.012
0.016 0.064
¬ból
test ¬test
0.072 0.008
0.144 0.576
P(dziura) =?
P(Dziura) =?
P
Ogólnie: P(Y) = x∈X P(Y, x)
I
Przypomnienie:
podstawy
probabilistyki
Modelowanie
Niepewności
Prawd. całkowite
Wojciech Jaśkowski
Wstęp
dziura
¬dziura
ból
test ¬test
0.108 0.012
0.016 0.064
I
P(dziura|ból) =?
I
Ogólnie:
I
¬ból
test ¬test
0.072 0.008
0.144 0.576
P
P(Y) = x∈X P(Y|x)P(x), gdzie Y i X są wektorami
zmiennych losowych
Przypomnienie:
podstawy
probabilistyki
Modelowanie
Niepewności
Normalizacja
Wojciech Jaśkowski
Wstęp
dziura
¬dziura
ból
test ¬test
0.108 0.012
0.016 0.064
I
P(dziura|ból) =?
I
P(¬dziura|ból) =?
I
P(Dziura|ból) =?
I
Ogólnie:
I
¬ból
test ¬test
0.072 0.008
0.144 0.576
P(X |e) = αP(X , e), gdzie X jest wektorem zmiennych
losowych
Przypomnienie:
podstawy
probabilistyki
Niezależność
Modelowanie
Niepewności
Wojciech Jaśkowski
Wstęp
Czwarta zmienna: pogoda
I
P(Pogoda = s loneczna, ból, test, dziura) =
P(Pogoda =
s loneczna|ból, test, dziura)P(ból, test, dziura)
I
P(Pogoda = s loneczna|ból, test, dziura) = P(Pogoda =
s loneczna), więc:
I
P(Pogoda = s loneczna, ból, test, dziura) =
P(Pogoda = s loneczna)P(ból, test, dziura)
I
Ogólnie:
I
P(X |Y ) = P(X ), albo P(X , Y ) = P(X )P(Y )
Przypomnienie:
podstawy
probabilistyki
Modelowanie
Niepewności
Niezależność
Wojciech Jaśkowski
Wstęp
Przypomnienie:
podstawy
probabilistyki
Coin1
Cavity
Coinn
Catch
Toothache
Weather
decomposes
into
decomposes
into
Cavity
Toothache Catch
Weather
Coin1
Coinn
Modelowanie
Niepewności
Reguła Bayesa
P(b|a)P(a)
P(a|b) =
P(b)
I
I
I
I
To proste równanie leży u podstawy większości
nowoczesnych systemów sztucznej inteligencji opartych
na wnioskowaniu probabilistycznym.
P(b) — prawd. marginalne, P(a|b) — prawd. a
posteriori, P(a) — prawd. a priori
P(b) zwykle jest nieznane i rozpisuje się je jako praw.
całkowite.
Wersja bardziej ogólna (z dodatkową wartością
zmiennej E ):
P(Y |X , e) =
I
I
P(X |Y , e)P(Y |e)
P(X |e)
Kierunek przyczynowy: P(efekt|przyczyna)
Kierunek diagnostyczny: P(przyczyna|efekt)
Wojciech Jaśkowski
Wstęp
Przypomnienie:
podstawy
probabilistyki
Przykład
Modelowanie
Niepewności
Wojciech Jaśkowski
Wstęp
Przypomnienie:
podstawy
probabilistyki
zapalenie opon mózgowych (M) i sztywność karku (S)
I
P(s|m) = 0.7
I
P(m) = 1/50000
I
P(s) = 0.01
I
P(M|s) =?
Warunkowa niezależność zmiennych
Modelowanie
Niepewności
Wojciech Jaśkowski
Wstęp
Przypomnienie:
podstawy
probabilistyki
P(Dziura|ból, test) =?
Ale to się nie skaluje...
P(Dziura|ból, test) = αP(ból, test|Dziura)P(Dziura)
= αP(ból|Dziura)P(test|Dziura)P(Dziura)
Warunkowa niezależność zmiennych
Modelowanie
Niepewności
Wojciech Jaśkowski
Wstęp
I
C — rak, T1 — jakiś test na obecność raka, T2 — jakiś
inny test na obecność raka
I
C jest zmienną ukrytą. Ale jeśli znalibyśmy C
jakakolwiek wiedza o T1 nie da nam żadnej dodatkowej
wiedzy dot. T2 , czyli T1 i T2 są niezależne warunkowo
pod warunkiem C .
I
I
I
P(T2 |C , T1 ) = P(T2 |C )
P(T1 , T2 |C ) = P(T1 |C )P(T2 |C )
Notacja: T1 ⊥ T2 |C
Przypomnienie:
podstawy
probabilistyki
Modelowanie
Niepewności
Wumpus
Wojciech Jaśkowski
1,4
2,4
1,3
3,4
2,3
3,3
4,4
1,4
2,4
3,4
4,4
4,3
1,3
2,3
3,3
4,3
2,2
3,2
4,2
OTHER
QUERY
1,2
2,2
3,2
4,2
1,2
3,1
4,1
1,1
B
OK
1,1
2,1
B
OK
KNOWN
2,1
FRONTIER
3,1
4,1
OK
Jakie jest prawd, że w polu (1,3) jest jama jeśli wiatr
poczuliśmy w polu (1,2) i (2,1)? Innymi słowy zapytanie
wygląda tak:
P(P1,3 |b1,2 , b2,1 , ¬b1,2 , ¬p1,2 , ¬p2,1 , ¬p1,1 ) =?
Wstęp
Przypomnienie:
podstawy
probabilistyki