Modelowanie Niepewności - Instytut Informatyki

2015-03-13
Modelowanie Niepewności
Na podstawie: AIMA, ch13
Wojciech Jaśkowski
Instytut Informatyki,
Politechnika Poznańska
13 marca 2015
Modelowanie Niepewności
Modelowanie Niepewności
Na podstawie: AIMA, ch13
Wojciech Jaśkowski
Instytut Informatyki,
Politechnika Poznańska
13 marca 2015
Jakie są źródła niepewności?
2015-03-13
Źródła niepewności
Modelowanie Niepewności
Wstęp
Źródła niepewności
Źródła niepewności
Jakie są źródła niepewności?
Jakie są źródła niepewności?
I
częściowa obserwowalność
I
niedeterministyczny
Wynikające często jednak z zawinionej niewiedzy:
I
lenistwa i
I
ignorancji
Cel: Racjonalne decyzje w kontekście niepewności.
2015-03-13
Źródła niepewności
Modelowanie Niepewności
Wstęp
Źródła niepewności
Jakie są źródła niepewności?
I
częściowa obserwowalność
I
niedeterministyczny
Wynikające często jednak z zawinionej niewiedzy:
Źródła niepewności
I
lenistwa i
I
ignorancji
Cel: Racjonalne decyzje w kontekście niepewności.
4
Stench
Bree z e
PIT
PIT
Bree z e
Bree z e
3
Stench
Gold
2
Bree z e
Stench
Bree z e
1
PIT
Bree z e
3
4
START
1
2
2015-03-13
Świat Wumpus’a
Modelowanie Niepewności
Wstęp
Świat Wumpus’a
4
Stench
Bree z e
PIT
PIT
Bree z e
Bree z e
3
Stench
Gold
2
Świat Wumpus’a
Bree z e
Stench
Bree z e
1
PIT
Bree z e
3
4
START
1
2
1,4
2,4
3,4
4,4
2015-03-13
Świat Wumpus’a
Modelowanie Niepewności
Wstęp
Świat Wumpus’a
Świat Wumpus’a
1,4
2,4
3,4
4,4
1,3
2,3
3,3
4,3
2,2
3,2
4,2
2,1
3,1
4,1
1,2
B
OK
1,1
B
OK
1,3
2,3
3,3
4,3
1,2
2,2
3,2
4,2
3,1
4,1
B
OK
1,1
2,1
B
OK
OK
OK
1. W takiej sytuacji Wumpus nie ma bezpiecznego ruchu, bo bryza w
(1,2) i (2,1). Jaki ruch Wumpus powinien więc wykonać? Jakie jest
prawdopodobieństwo, że na polu (1,3) jest pułapka? A jakie dla
(2,2) i dla (3,1)?
I
zmienna losowa
Cancer = C = {¬c, c}
2015-03-13
Podstawy: notacja
Modelowanie Niepewności
Przypomnienie: podstawy probabilistyki
Podstawy: notacja
I
zmienna losowa
Cancer = C = {¬c, c}
Test = T = {¬t, t}
Podstawy: notacja
Test = T = {¬t, t}
1. rozkład prawd. łącznego: wektor wszystkich kombinacji wartości
zmiennych losowych.
I
zmienna losowa
Cancer = C = {¬c, c}
2015-03-13
Podstawy: notacja
Modelowanie Niepewności
Przypomnienie: podstawy probabilistyki
Podstawy: notacja
I
zmienna losowa
I
prawdopodobieństwo zdarzenia
Cancer = C = {¬c, c}
Test = T = {¬t, t}
P(c) = 0.3
Podstawy: notacja
Test = T = {¬t, t}
I
prawdopodobieństwo zdarzenia
P(c) = 0.3
1. rozkład prawd. łącznego: wektor wszystkich kombinacji wartości
zmiennych losowych.
I
zmienna losowa
Cancer = C = {¬c, c}
2015-03-13
Podstawy: notacja
Modelowanie Niepewności
Przypomnienie: podstawy probabilistyki
Podstawy: notacja
I
zmienna losowa
I
prawdopodobieństwo zdarzenia
I
rozkład prawdopodobieństwa
Cancer = C = {¬c, c}
Test = T = {¬t, t}
P(c) = 0.3
Podstawy: notacja
P(Cancer ) = hP(c), P(¬c)i = h0.3, 0.7i
Test = T = {¬t, t}
I
prawdopodobieństwo zdarzenia
P(c) = 0.3
I
rozkład prawdopodobieństwa
P(Cancer ) = hP(c), P(¬c)i = h0.3, 0.7i
1. rozkład prawd. łącznego: wektor wszystkich kombinacji wartości
zmiennych losowych.
I
zmienna losowa
Cancer = C = {¬c, c}
2015-03-13
Podstawy: notacja
Modelowanie Niepewności
Przypomnienie: podstawy probabilistyki
Podstawy: notacja
I
zmienna losowa
I
prawdopodobieństwo zdarzenia
I
rozkład prawdopodobieństwa
Cancer = C = {¬c, c}
Test = T = {¬t, t}
P(c) = 0.3
Podstawy: notacja
P(Cancer ) = hP(c), P(¬c)i = h0.3, 0.7i
I
prawd. łączne
P(c ∧ ¬t) = P(c, ¬t) = 0.4
Test = T = {¬t, t}
I
prawdopodobieństwo zdarzenia
P(c) = 0.3
I
rozkład prawdopodobieństwa
P(Cancer ) = hP(c), P(¬c)i = h0.3, 0.7i
I
prawd. łączne
P(c ∧ ¬t) = P(c, ¬t) = 0.4
1. rozkład prawd. łącznego: wektor wszystkich kombinacji wartości
zmiennych losowych.
I
zmienna losowa
Cancer = C = {¬c, c}
2015-03-13
Podstawy: notacja
Modelowanie Niepewności
Przypomnienie: podstawy probabilistyki
Podstawy: notacja
I
zmienna losowa
I
prawdopodobieństwo zdarzenia
I
rozkład prawdopodobieństwa
Cancer = C = {¬c, c}
Test = T = {¬t, t}
P(c) = 0.3
Podstawy: notacja
P(Cancer ) = hP(c), P(¬c)i = h0.3, 0.7i
I
prawd. łączne
I
rozkład prawd. łącznego
P(c ∧ ¬t) = P(c, ¬t) = 0.4
P(Cancer , Test) = hP(c ∧ t), P(c ∧ ¬t), P(¬c, t), P(¬c, ¬t)i
Test = T = {¬t, t}
I
prawdopodobieństwo zdarzenia
P(c) = 0.3
I
rozkład prawdopodobieństwa
P(Cancer ) = hP(c), P(¬c)i = h0.3, 0.7i
I
prawd. łączne
P(c ∧ ¬t) = P(c, ¬t) = 0.4
I
rozkład prawd. łącznego
P(Cancer , Test) = hP(c ∧ t), P(c ∧ ¬t), P(¬c, t), P(¬c, ¬t)i
1. rozkład prawd. łącznego: wektor wszystkich kombinacji wartości
zmiennych losowych.
Prawdopodobieństwo warunkowe
P(c|t)P(t) = P(c ∧ t)
(reguła produkcji)
2015-03-13
Podstawy: prawd. warunkowe
Modelowanie Niepewności
Przypomnienie: podstawy probabilistyki
Podstawy: prawd. warunkowe
Prawdopodobieństwo warunkowe
P(c|t)P(t) = P(c ∧ t)
(reguła produkcji)
Podstawy: prawd. warunkowe
1. Graficznie: dwa przecinające się zbiory. t zaistniało, więc jakie jest
prawd., że zaistnieje c? P(c|t) = P(c∧t)
P(t) .
dziura
¬dziura
ból
test ¬test
0.108 0.012
0.016 0.064
2015-03-13
(Pełny) rozkład prawd. łącznego
¬ból
test ¬test
0.072 0.008
0.144 0.576
Modelowanie Niepewności
Przypomnienie: podstawy probabilistyki
(Pełny) rozkład prawd. łącznego
dziura
¬dziura
(Pełny) rozkład prawd. łącznego
ból
test ¬test
0.108 0.012
0.016 0.064
¬ból
test ¬test
0.072 0.008
0.144 0.576
dziura
¬dziura
[zadanie 0]
P(dziura) =?
P(Dziura) =?
ból
test ¬test
0.108 0.012
0.016 0.064
¬ból
test ¬test
0.072 0.008
0.144 0.576
2015-03-13
Prawd. marginalne (marginalizacja)
Modelowanie Niepewności
Przypomnienie: podstawy probabilistyki
Prawd. marginalne (marginalizacja)
dziura
¬dziura
[zadanie 0]
P(dziura) =?
P(Dziura) =?
Prawd. marginalne (marginalizacja)
1. P(dziura) = 0.108 + 0.012 + 0.072 + 0.008 = 0.2
Marginalizujemy Ból i Test
2. P(Dziura) =< 0.2, 0.8 >
3. P(dziura ∧ ¬ból) = 0.072 + 0.008 = 0.08
Marginalizujemy Test
ból
test ¬test
0.108 0.012
0.016 0.064
¬ból
test ¬test
0.072 0.008
0.144 0.576
dziura
¬dziura
[zadanie 0]
P(dziura) =?
P(Dziura) =?
[zadanie 1]
P(dziura ∧ ¬ból) =?
ból
test ¬test
0.108 0.012
0.016 0.064
¬ból
test ¬test
0.072 0.008
0.144 0.576
2015-03-13
Prawd. marginalne (marginalizacja)
Modelowanie Niepewności
Przypomnienie: podstawy probabilistyki
Prawd. marginalne (marginalizacja)
1. P(dziura) = 0.108 + 0.012 + 0.072 + 0.008 = 0.2
Marginalizujemy Ból i Test
2. P(Dziura) =< 0.2, 0.8 >
3. P(dziura ∧ ¬ból) = 0.072 + 0.008 = 0.08
Marginalizujemy Test
Prawd. marginalne (marginalizacja)
dziura
¬dziura
[zadanie 0]
P(dziura) =?
P(Dziura) =?
[zadanie 1]
P(dziura ∧ ¬ból) =?
ból
test ¬test
0.108 0.012
0.016 0.064
¬ból
test ¬test
0.072 0.008
0.144 0.576
dziura
¬dziura
ból
test ¬test
0.108 0.012
0.016 0.064
¬ból
test ¬test
0.072 0.008
0.144 0.576
[zadanie 0]
P(dziura) =?
P(Dziura) =?
[zadanie 1]
P(dziura ∧ ¬ból) =?
Ogólnie:
P(Y) =
X
x∈X
P(Y, x) =
X
P(Y|x)P(x),
x∈X
gdzie Y i X są wektorami zmiennych losowych
2015-03-13
Prawd. marginalne (marginalizacja)
Modelowanie Niepewności
Przypomnienie: podstawy probabilistyki
Prawd. marginalne (marginalizacja)
Prawd. marginalne (marginalizacja)
dziura
¬dziura
ból
test ¬test
0.108 0.012
0.016 0.064
¬ból
test ¬test
0.072 0.008
0.144 0.576
[zadanie 0]
P(dziura) =?
P(Dziura) =?
[zadanie 1]
P(dziura ∧ ¬ból) =?
Ogólnie:
P(Y) =
X
x∈X
P(Y, x) =
X
P(Y|x)P(x),
x∈X
gdzie Y i X są wektorami zmiennych losowych
1. P(dziura) = 0.108 + 0.012 + 0.072 + 0.008 = 0.2
Marginalizujemy Ból i Test
2. P(Dziura) =< 0.2, 0.8 >
3. P(dziura ∧ ¬ból) = 0.072 + 0.008 = 0.08
Marginalizujemy Test
dziura
¬dziura
ból
test ¬test
0.108 0.012
0.016 0.064
¬ból
test ¬test
0.072 0.008
0.144 0.576
[zadanie 2] Przed obliczeniami: czy to będzie duża wartość?
P(dziura|ból) =?
2015-03-13
Prawd. całkowite
Modelowanie Niepewności
Przypomnienie: podstawy probabilistyki
Prawd. całkowite
dziura
¬dziura
ból
test ¬test
0.108 0.012
0.016 0.064
¬ból
test ¬test
0.072 0.008
0.144 0.576
[zadanie 2] Przed obliczeniami: czy to będzie duża wartość?
P(dziura|ból) =?
Prawd. całkowite
dziura
¬dziura
ból
test ¬test
0.108 0.012
0.016 0.064
¬ból
test ¬test
0.072 0.008
0.144 0.576
[zadanie 2] Przed obliczeniami: czy to będzie duża wartość?
P(dziura ∧ ból)
P(ból)
0.108 + 0.012
= 0.6
=
0.108 + 0.012 + 0.016 + 0.064
P(dziura|ból) =
Ogólnie:
P(Y|Z) =
X
x∈X
P(Y, x|Z) =
X P(Y, x, Z)
x∈X
P(Z)
2015-03-13
Prawd. całkowite
Modelowanie Niepewności
Przypomnienie: podstawy probabilistyki
Prawd. całkowite
dziura
¬dziura
ból
test ¬test
0.108 0.012
0.016 0.064
¬ból
test ¬test
0.072 0.008
0.144 0.576
[zadanie 2] Przed obliczeniami: czy to będzie duża wartość?
P(dziura|ból) =
Prawd. całkowite
=
P(dziura ∧ ból)
P(ból)
0.108 + 0.012
= 0.6
0.108 + 0.012 + 0.016 + 0.064
Ogólnie:
P(Y|Z) =
X
x∈X
P(Y, x|Z) =
X P(Y, x, Z)
x∈X
P(Z)
¬ból
ból
P(dziura|ból) =
test
¬test
test
¬test
dziura
0.108
0.012
0.072
0.008
¬dziura
0.016
0.064
0.144
0.576
P(dziura ∧ ból)
0.108 + 0.012
=
P(ból)
0.108 + 0.012 + 0.016 + 0.064
[zadanie 3] Policz, rozpisz:
P(¬dziura|ból) =?
2015-03-13
Normalizacja
Modelowanie Niepewności
Przypomnienie: podstawy probabilistyki
Normalizacja
Normalizacja
¬ból
ból
P(dziura|ból) =
test
¬test
test
¬test
dziura
0.108
0.012
0.072
0.008
¬dziura
0.016
0.064
0.144
0.576
P(dziura ∧ ból)
0.108 + 0.012
=
P(ból)
0.108 + 0.012 + 0.016 + 0.064
[zadanie 3] Policz, rozpisz:
P(¬dziura|ból) =?
1. Ten sam mianownik! Liczenie mianownika często jest trudne.
2. 0.12 + 0.08 6= 1.0, więc normalizujemy je dzieląc przez
0.12 + 0.08 = 0.2.
¬ból
ból
P(dziura|ból) =
test
¬test
test
¬test
dziura
0.108
0.012
0.072
0.008
¬dziura
0.016
0.064
0.144
0.576
P(dziura ∧ ból)
0.108 + 0.012
=
P(ból)
0.108 + 0.012 + 0.016 + 0.064
[zadanie 3] Policz, rozpisz:
P(¬dziura|ból) =
P(¬dziura ∧ ból)
0.016 + 0.064
=
P(ból)
0.108 + 0.012 + 0.016 + 0.064
2015-03-13
Normalizacja
Modelowanie Niepewności
Przypomnienie: podstawy probabilistyki
Normalizacja
Normalizacja
¬ból
ból
P(dziura|ból) =
test
¬test
test
¬test
dziura
0.108
0.012
0.072
0.008
¬dziura
0.016
0.064
0.144
0.576
P(dziura ∧ ból)
0.108 + 0.012
=
P(ból)
0.108 + 0.012 + 0.016 + 0.064
[zadanie 3] Policz, rozpisz:
P(¬dziura|ból) =
0.016 + 0.064
P(¬dziura ∧ ból)
=
P(ból)
0.108 + 0.012 + 0.016 + 0.064
1. Ten sam mianownik! Liczenie mianownika często jest trudne.
2. 0.12 + 0.08 6= 1.0, więc normalizujemy je dzieląc przez
0.12 + 0.08 = 0.2.
¬ból
ból
test
¬test
test
¬test
dziura
0.108
0.012
0.072
0.008
¬dziura
0.016
0.064
0.144
0.576
2015-03-13
Normalizacja
Modelowanie Niepewności
Przypomnienie: podstawy probabilistyki
Normalizacja
¬ból
ból
test
¬test
test
¬test
dziura
0.108
0.012
0.072
0.008
¬dziura
0.016
0.064
0.144
0.576
P(dziura ∧ ból)
0.108 + 0.012
P(dziura|ból) =
=
P(ból)
0.108 + 0.012 + 0.016 + 0.064
Normalizacja
[zadanie 3] Policz, rozpisz:
P(¬dziura|ból) =
P(¬dziura ∧ ból)
0.016 + 0.064
=
P(ból)
0.108 + 0.012 + 0.016 + 0.064
P(Dziura|ból) =
P(dziura|ból) =
P(dziura ∧ ból)
0.108 + 0.012
=
P(ból)
0.108 + 0.012 + 0.016 + 0.064
[zadanie 3] Policz, rozpisz:
P(¬dziura|ból) =
P(¬dziura ∧ ból)
0.016 + 0.064
=
P(ból)
0.108 + 0.012 + 0.016 + 0.064
P(Dziura|ból) =
1. Ten sam mianownik! Liczenie mianownika często jest trudne.
2. 0.12 + 0.08 6= 1.0, więc normalizujemy je dzieląc przez
0.12 + 0.08 = 0.2.
¬ból
ból
test
¬test
test
¬test
2015-03-13
Normalizacja
Modelowanie Niepewności
Przypomnienie: podstawy probabilistyki
Normalizacja
¬ból
ból
test
¬test
test
¬test
dziura
0.108
0.012
0.072
0.008
¬dziura
0.016
0.064
0.144
0.576
P(dziura ∧ ból)
0.108 + 0.012
P(dziura|ból) =
=
P(ból)
0.108 + 0.012 + 0.016 + 0.064
Normalizacja
[zadanie 3] Policz, rozpisz:
P(¬dziura|ból) =
P(¬dziura ∧ ból)
0.016 + 0.064
=
P(ból)
0.108 + 0.012 + 0.016 + 0.064
P(Dziura|ból) = αP(Dziura, ból) = α h0.108 + 0.012, 0.016 + 0.064i
P(dziura|ból) =
dziura
0.108
0.012
0.072
0.008
¬dziura
0.016
0.064
0.144
0.576
P(dziura ∧ ból)
0.108 + 0.012
=
P(ból)
0.108 + 0.012 + 0.016 + 0.064
[zadanie 3] Policz, rozpisz:
P(¬dziura|ból) =
P(¬dziura ∧ ból)
0.016 + 0.064
=
P(ból)
0.108 + 0.012 + 0.016 + 0.064
P(Dziura|ból) = αP(Dziura, ból) = α h0.108 + 0.012, 0.016 + 0.064i
α h0.12, 0.08i = h0.6, 0.4i
α h0.12, 0.08i = h0.6, 0.4i
1. Ten sam mianownik! Liczenie mianownika często jest trudne.
2. 0.12 + 0.08 6= 1.0, więc normalizujemy je dzieląc przez
0.12 + 0.08 = 0.2.
¬ból
ból
test
¬test
test
¬test
dziura
0.108
0.012
0.072
0.008
¬dziura
0.016
0.064
0.144
0.576
2015-03-13
Normalizacja
Modelowanie Niepewności
Przypomnienie: podstawy probabilistyki
Normalizacja
¬ból
ból
test
¬test
test
¬test
dziura
0.108
0.012
0.072
0.008
¬dziura
0.016
0.064
0.144
0.576
[zadanie 3] Policz, rozpisz:
Normalizacja
P(Dziura|ból) = αP(Dziura, ból) = α h0.108 + 0.012, 0.016 + 0.064i
α h0.12, 0.08i = h0.6, 0.4i
Ogólnie:
P(X|e) = αP(X, e),
gdzie X jest wektorem zmiennych losowych
[zadanie 3] Policz, rozpisz:
P(Dziura|ból) = αP(Dziura, ból) = α h0.108 + 0.012, 0.016 + 0.064i
α h0.12, 0.08i = h0.6, 0.4i
Ogólnie:
P(X|e) = αP(X, e),
gdzie X jest wektorem zmiennych losowych
1. Ten sam mianownik! Liczenie mianownika często jest trudne.
2. 0.12 + 0.08 6= 1.0, więc normalizujemy je dzieląc przez
0.12 + 0.08 = 0.2.
Niezależność zdarzeń losowych c ⊥ w (W – pogoda), jeśli
P(c) = P(c|w ) lub P(w ) = P(w |c)
lub
P(c)P(w ) = P(c ∧ w )
2015-03-13
Podstawy: niezależność
Modelowanie Niepewności
Przypomnienie: podstawy probabilistyki
Podstawy: niezależność
Niezależność zdarzeń losowych c ⊥ w (W – pogoda), jeśli
P(c) = P(c|w ) lub P(w ) = P(w |c)
lub
P(c)P(w ) = P(c ∧ w )
Podstawy: niezależność
1. Graficznie: niezależność zdarzeń losowych, jeśli pole c w stosunku
do całości = pole c ∧ w w stosunku do w .
Niezależność zdarzeń losowych c ⊥ w (W – pogoda), jeśli
P(c) = P(c|w ) lub P(w ) = P(w |c)
lub
P(c)P(w ) = P(c ∧ w )
Niezależność zmiennych losowych C ⊥ W :
P(C )P(W ) = P(C ∧ W )
[zadanie 4] Rozpisać powyższe
2015-03-13
Podstawy: niezależność
Modelowanie Niepewności
Przypomnienie: podstawy probabilistyki
Podstawy: niezależność
Niezależność zdarzeń losowych c ⊥ w (W – pogoda), jeśli
P(c) = P(c|w ) lub P(w ) = P(w |c)
lub
P(c)P(w ) = P(c ∧ w )
Niezależność zmiennych losowych C ⊥ W :
P(C )P(W ) = P(C ∧ W )
Podstawy: niezależność
[zadanie 4] Rozpisać powyższe
1. Graficznie: niezależność zdarzeń losowych, jeśli pole c w stosunku
do całości = pole c ∧ w w stosunku do w .
Niezależność zdarzeń losowych c ⊥ w (W – pogoda), jeśli
P(c) = P(c|w ) lub P(w ) = P(w |c)
lub
P(c)P(w ) = P(c ∧ w )
Niezależność zmiennych losowych C ⊥ W :
P(C )P(W ) = P(C ∧ W )
[zadanie 4] Rozpisać powyższe
Lewa = hP(c), P(¬c)i × hP(w ), P(¬w )i
= hP(c)P(w ), P(c)P(¬w ), P(¬c)P(w ), P(¬c)P(¬w )i
Prawa = hP(c ∧ w ), P(c ∧ ¬w ), P(¬c ∧ w ), P(¬c ∧ ¬w )i
wiedza o niezależności zmiennych jest zwykle wiedzą dziedzinową.
2015-03-13
Podstawy: niezależność
Modelowanie Niepewności
Przypomnienie: podstawy probabilistyki
Podstawy: niezależność
Niezależność zdarzeń losowych c ⊥ w (W – pogoda), jeśli
P(c) = P(c|w ) lub P(w ) = P(w |c)
lub
P(c)P(w ) = P(c ∧ w )
Niezależność zmiennych losowych C ⊥ W :
P(C )P(W ) = P(C ∧ W )
Podstawy: niezależność
[zadanie 4] Rozpisać powyższe
Lewa = hP(c), P(¬c)i × hP(w ), P(¬w )i
= hP(c)P(w ), P(c)P(¬w ), P(¬c)P(w ), P(¬c)P(¬w )i
Prawa = hP(c ∧ w ), P(c ∧ ¬w ), P(¬c ∧ w ), P(¬c ∧ ¬w )i
wiedza o niezależności zmiennych jest zwykle wiedzą dziedzinową.
1. Graficznie: niezależność zdarzeń losowych, jeśli pole c w stosunku
do całości = pole c ∧ w w stosunku do w .
Czwarta zmienna: Pogoda (W )
P(W = s loneczna, b, t, d) = P(W = s loneczna|b, t, d)P(b, t, d)
Ale przecież (logika!):
P(W = s loneczna|b, t, d) = P(W = s loneczna)
więc
P(W = s loneczna, b, t, d) = P(W = s loneczna)P(b, t, d)
2015-03-13
Niezależność
Modelowanie Niepewności
Przypomnienie: podstawy probabilistyki
Niezależność
Czwarta zmienna: Pogoda (W )
P(W = s loneczna, b, t, d) = P(W = s loneczna|b, t, d)P(b, t, d)
Ale przecież (logika!):
Niezależność
P(W = s loneczna|b, t, d) = P(W = s loneczna)
więc
P(W = s loneczna, b, t, d) = P(W = s loneczna)P(b, t, d)
Cavity
Catch
Toothache
Weather
Coin1
Coinn
decomposes
into
decomposes
into
Cavity
Toothache Catch
2015-03-13
Konsekwencja niezależności
Weather
Coin1
Coinn
Modelowanie Niepewności
Przypomnienie: podstawy probabilistyki
Konsekwencja niezależności
Cavity
Catch
Toothache
Weather
Konsekwencja niezależności
Cavity
Toothache Catch
Coin1
Coinn
decomposes
into
decomposes
into
Weather
Coin1
1. Co nam to daje? Zamiast zapisywać rozkład prawd. łącznego za
pomocą 24 = 16 liczb, wystarczy nam 23 + 2 = 10 (dekompozycja).
Jest lepiej, ale w praktyce to nie wystarcza. Żeby było lepiej trzeba
sięgnąć do reguły Bayesa i niezależności warunkowej.
Coinn
2015-03-13
Reguła Bayesa
P(y |x) =
I
P(x|y )P(y )
P(x)
P(x) często nieznane i rozpisuje się je jako praw. całkowite.
Modelowanie Niepewności
Przypomnienie: podstawy probabilistyki
Reguła Bayesa
P(y |x) =
I
P(x|y )P(y )
P(x)
P(x) często nieznane i rozpisuje się je jako praw. całkowite.
Reguła Bayesa
1. Wyprowadzenie korzysta z def. prawd. warunkowego (reguły
produkcji)
2. To proste równanie leży u podstawy większości nowoczesnych
systemów sztucznej inteligencji opartych na wnioskowaniu
probabilistycznym.
2015-03-13
Reguła Bayesa
P(y |x) =
I
P(x|y )P(y )
P(x)
P(x) często nieznane i rozpisuje się je jako praw. całkowite.
Wersja ogólniejsza (zmienne losowe i dodatkowa wiedza e):
P(Y |X , e) =
P(X |Y , e)P(Y |e)
P(X |e)
Modelowanie Niepewności
Przypomnienie: podstawy probabilistyki
Reguła Bayesa
P(y |x) =
I
P(x|y )P(y )
P(x)
P(x) często nieznane i rozpisuje się je jako praw. całkowite.
Wersja ogólniejsza (zmienne losowe i dodatkowa wiedza e):
Reguła Bayesa
P(Y |X , e) =
1. Wyprowadzenie korzysta z def. prawd. warunkowego (reguły
produkcji)
2. To proste równanie leży u podstawy większości nowoczesnych
systemów sztucznej inteligencji opartych na wnioskowaniu
probabilistycznym.
P(X |Y , e)P(Y |e)
P(X |e)
2015-03-13
Wnioskowanie
P(y |x) =
P(x|y )P(y )
P(x)
Zależność między zmiennymi X i Y . Możemy ją rozważać w
dwóch kierunkach:
I
przyczynowym: P(efekt|przyczyna), np. P(gor aczka|grypa)
˛
I
diagnostycznym: P(przyczyna|efekt), np. P(grypa|gor aczka)
˛
[zadanie 5] Które prawd. łatwiej poznać?
Modelowanie Niepewności
Przypomnienie: podstawy probabilistyki
Wnioskowanie
P(y |x) =
P(x|y )P(y )
P(x)
Zależność między zmiennymi X i Y . Możemy ją rozważać w
dwóch kierunkach:
Wnioskowanie
I
przyczynowym: P(efekt|przyczyna), np. P(gor aczka|grypa)
˛
I
diagnostycznym: P(przyczyna|efekt), np. P(grypa|gor aczka)
˛
[zadanie 5] Które prawd. łatwiej poznać?
1. Łatwiej poznać P(gor aczka|grypa),
˛
czyli jak często grypa powoduje
gorączkę - wystarczy zebrać dane na temat ludzi z grypą. Łatwiej
więc pozyskać dane o kierunku przyczynowym. Trudniej o kierunku
diagnostycznym.
Zapalenie opon mózgowych (M) i sztywność karku (S).
I
P(s|m) = 0.7 (kierunek przyczynowy)
I
P(m) = 1/50000 (a priori, że osoba ma zapalenie opon)
I
P(s) = 0.01 (a priori, że osoba ma sztywność kark)
[zadanie 6] P(m|s) =?
2015-03-13
Przykład
Modelowanie Niepewności
Przypomnienie: podstawy probabilistyki
Przykład
Zapalenie opon mózgowych (M) i sztywność karku (S).
I
P(s|m) = 0.7 (kierunek przyczynowy)
I
P(m) = 1/50000 (a priori, że osoba ma zapalenie opon)
I
P(s) = 0.01 (a priori, że osoba ma sztywność kark)
[zadanie 6] P(m|s) =?
Przykład
1. Jeśli doktor wie, że P(m|s) = 0.0014, to nie musi korzystać z reguły
Bayes’a, więc po co mu to całe wnioskowanie? Otóż, P(m|s) nie
jest stałe! Jeśli tylko wybuchnie epidemia zapalenia opon
mózgowych, wtedy P(m) się zwiększy i P(m|s) się zwiększy.
P(m|s) jest stałe, bo odzwierciedla zasady fizyki/biologii/etc.
2015-03-13
Przykład
Modelowanie Niepewności
Przypomnienie: podstawy probabilistyki
Przykład
Zapalenie opon mózgowych (M) i sztywność karku (S).
I
P(s|m) = 0.7 (kierunek przyczynowy)
I
P(m) = 1/50000 (a priori, że osoba ma zapalenie opon)
I
P(s) = 0.01 (a priori, że osoba ma sztywność kark)
[zadanie 6]
Przykład
P(m|s) =
P(s|m)P(m)
= 0.0014
P(s)
Zapalenie opon mózgowych (M) i sztywność karku (S).
I
P(s|m) = 0.7 (kierunek przyczynowy)
I
P(m) = 1/50000 (a priori, że osoba ma zapalenie opon)
I
P(s) = 0.01 (a priori, że osoba ma sztywność kark)
[zadanie 6]
P(m|s) =
P(s|m)P(m)
= 0.0014
P(s)
1. Jeśli doktor wie, że P(m|s) = 0.0014, to nie musi korzystać z reguły
Bayes’a, więc po co mu to całe wnioskowanie? Otóż, P(m|s) nie
jest stałe! Jeśli tylko wybuchnie epidemia zapalenia opon
mózgowych, wtedy P(m) się zwiększy i P(m|s) się zwiększy.
P(m|s) jest stałe, bo odzwierciedla zasady fizyki/biologii/etc.
2015-03-13
Przykład
Modelowanie Niepewności
Przypomnienie: podstawy probabilistyki
Przykład
Zapalenie opon mózgowych (M) i sztywność karku (S).
I
P(s|m) = 0.7 (kierunek przyczynowy)
I
P(m) = 1/50000 (a priori, że osoba ma zapalenie opon)
I
P(s) = 0.01 (a priori, że osoba ma sztywność kark)
[zadanie 6]
Przykład
P(m|s) =
P(s|m)P(m)
= 0.0014
P(s)
Prawd. w kierunku przyczynowym jest solidniejsze!
Zapalenie opon mózgowych (M) i sztywność karku (S).
I
P(s|m) = 0.7 (kierunek przyczynowy)
I
P(m) = 1/50000 (a priori, że osoba ma zapalenie opon)
I
P(s) = 0.01 (a priori, że osoba ma sztywność kark)
[zadanie 6]
P(m|s) =
P(s|m)P(m)
= 0.0014
P(s)
Prawd. w kierunku przyczynowym jest solidniejsze!
1. Jeśli doktor wie, że P(m|s) = 0.0014, to nie musi korzystać z reguły
Bayes’a, więc po co mu to całe wnioskowanie? Otóż, P(m|s) nie
jest stałe! Jeśli tylko wybuchnie epidemia zapalenia opon
mózgowych, wtedy P(m) się zwiększy i P(m|s) się zwiększy.
P(m|s) jest stałe, bo odzwierciedla zasady fizyki/biologii/etc.
dziura
¬dziura
ból
test ¬test
0.108 0.012
0.016 0.064
¬ból
test ¬test
0.072 0.008
0.144 0.576
P(Dziura|ból ∧ test) =?
Ale to się nie skaluje, gdy mamy wiele zmiennych ( wielka
”
tabelka”).
2015-03-13
Warunkowa niezależność zmiennych
Modelowanie Niepewności
Przypomnienie: podstawy probabilistyki
Warunkowa niezależność zmiennych
dziura
¬dziura
ból
test ¬test
0.108 0.012
0.016 0.064
¬ból
test ¬test
0.072 0.008
0.144 0.576
P(Dziura|ból ∧ test) =?
Warunkowa niezależność zmiennych
Ale to się nie skaluje, gdy mamy wiele zmiennych ( wielka
”
tabelka”).
1. P(Dziura|ból ∧ test) = α h0.108, 0.016i ≈ h0.871, 0.129i
dziura
¬dziura
ból
test ¬test
0.108 0.012
0.016 0.064
¬ból
test ¬test
0.072 0.008
0.144 0.576
P(Dziura|ból ∧ test) =?
Ale to się nie skaluje, gdy mamy wiele zmiennych ( wielka
”
tabelka”).
P(Dziura|ból ∧ test) = αP(ból ∧ test|Dziura)P(Dziura)
= αP(ból|Dziura)P(test|Dziura)P(Dziura)
2015-03-13
Warunkowa niezależność zmiennych
Modelowanie Niepewności
Przypomnienie: podstawy probabilistyki
Warunkowa niezależność zmiennych
dziura
¬dziura
ból
test ¬test
0.108 0.012
0.016 0.064
¬ból
test ¬test
0.072 0.008
0.144 0.576
P(Dziura|ból ∧ test) =?
Warunkowa niezależność zmiennych
Ale to się nie skaluje, gdy mamy wiele zmiennych ( wielka
”
tabelka”).
P(Dziura|ból ∧ test) = αP(ból ∧ test|Dziura)P(Dziura)
= αP(ból|Dziura)P(test|Dziura)P(Dziura)
1. P(Dziura|ból ∧ test) = α h0.108, 0.016i ≈ h0.871, 0.129i
I
C — rak, T1 — jakiś test na obecność raka, T2 — jakiś inny
test na obecność raka
I
C jest zmienną ukrytą. Ale jeśli znalibyśmy C , jakakolwiek
wiedza o T1 nie da nam żadnej dodatkowej wiedzy dot. T2 ,
czyli T1 i T2 są niezależne warunkowo pod warunkiem C .
I
I
I
P(T2 |C , T1 ) = P(T2 |C )
P(T1 , T2 |C ) = P(T1 |C )P(T2 |C )
Notacja: T1 ⊥ T2 |C
2015-03-13
Warunkowa niezależność zmiennych
Modelowanie Niepewności
Przypomnienie: podstawy probabilistyki
Warunkowa niezależność zmiennych
I
C — rak, T1 — jakiś test na obecność raka, T2 — jakiś inny
test na obecność raka
I
C jest zmienną ukrytą. Ale jeśli znalibyśmy C , jakakolwiek
wiedza o T1 nie da nam żadnej dodatkowej wiedzy dot. T2 ,
czyli T1 i T2 są niezależne warunkowo pod warunkiem C .
I
Notacja: T1 ⊥ T2 |C
I
Warunkowa niezależność zmiennych
I
P(T2 |C , T1 ) = P(T2 |C )
P(T1 , T2 |C ) = P(T1 |C )P(T2 |C )
1. Widać to na diagramie. Jeśli znamy C, to on niezależnie wpływa na
T1 i T2. W pewnym sensie obcina to co się dzieje w T1 od tego co
się dzieje w T2
2. Jeśli zmienne losowe A i B są niezależne pod warunkiem, że X ,
możemy wnioskować tak:
P(A, B, X ) = P(A, B|X )P(X ) = P(A|X )P(B|X )P(X ).
1,4
2,4
3,4
4,4
1,4
2,4
3,4
4,4
1,3
2,3
3,3
4,3
1,3
2,3
3,3
4,3
2,2
3,2
4,2
OTHER
QUERY
1,2
2,2
3,2
4,2
1,2
3,1
4,1
1,1
B
OK
1,1
2,1
B
OK
KNOWN
2,1
FRONTIER
3,1
4,1
OK
Jakie jest prawd, że w polu (1,3) jest jama jeśli wiatr poczuliśmy w
polu (1,2) i (2,1)?
Zmienne losowe: Di,j (dziura na polu (i, j)) oraz Bi,j (bryza na
polu (i, j)).
2015-03-13
Wumpus
Modelowanie Niepewności
Przypomnienie: podstawy probabilistyki
Wumpus
1,4
2,4
3,4
4,4
1,4
2,4
3,4
4,4
1,3
2,3
3,3
4,3
1,3
2,3
3,3
4,3
3,2
4,2
OTHER
QUERY
1,2
2,2
3,2
4,2
1,2
3,1
4,1
1,1
2,2
B
OK
1,1
2,1
B
Wumpus
OK
KNOWN
2,1
FRONTIER
3,1
4,1
OK
Jakie jest prawd, że w polu (1,3) jest jama jeśli wiatr poczuliśmy w
polu (1,2) i (2,1)?
Zmienne losowe: Di,j (dziura na polu (i, j)) oraz Bi,j (bryza na
polu (i, j)).