Modelowanie Niepewności - Instytut Informatyki
Transkrypt
Modelowanie Niepewności - Instytut Informatyki
2015-03-13 Modelowanie Niepewności Na podstawie: AIMA, ch13 Wojciech Jaśkowski Instytut Informatyki, Politechnika Poznańska 13 marca 2015 Modelowanie Niepewności Modelowanie Niepewności Na podstawie: AIMA, ch13 Wojciech Jaśkowski Instytut Informatyki, Politechnika Poznańska 13 marca 2015 Jakie są źródła niepewności? 2015-03-13 Źródła niepewności Modelowanie Niepewności Wstęp Źródła niepewności Źródła niepewności Jakie są źródła niepewności? Jakie są źródła niepewności? I częściowa obserwowalność I niedeterministyczny Wynikające często jednak z zawinionej niewiedzy: I lenistwa i I ignorancji Cel: Racjonalne decyzje w kontekście niepewności. 2015-03-13 Źródła niepewności Modelowanie Niepewności Wstęp Źródła niepewności Jakie są źródła niepewności? I częściowa obserwowalność I niedeterministyczny Wynikające często jednak z zawinionej niewiedzy: Źródła niepewności I lenistwa i I ignorancji Cel: Racjonalne decyzje w kontekście niepewności. 4 Stench Bree z e PIT PIT Bree z e Bree z e 3 Stench Gold 2 Bree z e Stench Bree z e 1 PIT Bree z e 3 4 START 1 2 2015-03-13 Świat Wumpus’a Modelowanie Niepewności Wstęp Świat Wumpus’a 4 Stench Bree z e PIT PIT Bree z e Bree z e 3 Stench Gold 2 Świat Wumpus’a Bree z e Stench Bree z e 1 PIT Bree z e 3 4 START 1 2 1,4 2,4 3,4 4,4 2015-03-13 Świat Wumpus’a Modelowanie Niepewności Wstęp Świat Wumpus’a Świat Wumpus’a 1,4 2,4 3,4 4,4 1,3 2,3 3,3 4,3 2,2 3,2 4,2 2,1 3,1 4,1 1,2 B OK 1,1 B OK 1,3 2,3 3,3 4,3 1,2 2,2 3,2 4,2 3,1 4,1 B OK 1,1 2,1 B OK OK OK 1. W takiej sytuacji Wumpus nie ma bezpiecznego ruchu, bo bryza w (1,2) i (2,1). Jaki ruch Wumpus powinien więc wykonać? Jakie jest prawdopodobieństwo, że na polu (1,3) jest pułapka? A jakie dla (2,2) i dla (3,1)? I zmienna losowa Cancer = C = {¬c, c} 2015-03-13 Podstawy: notacja Modelowanie Niepewności Przypomnienie: podstawy probabilistyki Podstawy: notacja I zmienna losowa Cancer = C = {¬c, c} Test = T = {¬t, t} Podstawy: notacja Test = T = {¬t, t} 1. rozkład prawd. łącznego: wektor wszystkich kombinacji wartości zmiennych losowych. I zmienna losowa Cancer = C = {¬c, c} 2015-03-13 Podstawy: notacja Modelowanie Niepewności Przypomnienie: podstawy probabilistyki Podstawy: notacja I zmienna losowa I prawdopodobieństwo zdarzenia Cancer = C = {¬c, c} Test = T = {¬t, t} P(c) = 0.3 Podstawy: notacja Test = T = {¬t, t} I prawdopodobieństwo zdarzenia P(c) = 0.3 1. rozkład prawd. łącznego: wektor wszystkich kombinacji wartości zmiennych losowych. I zmienna losowa Cancer = C = {¬c, c} 2015-03-13 Podstawy: notacja Modelowanie Niepewności Przypomnienie: podstawy probabilistyki Podstawy: notacja I zmienna losowa I prawdopodobieństwo zdarzenia I rozkład prawdopodobieństwa Cancer = C = {¬c, c} Test = T = {¬t, t} P(c) = 0.3 Podstawy: notacja P(Cancer ) = hP(c), P(¬c)i = h0.3, 0.7i Test = T = {¬t, t} I prawdopodobieństwo zdarzenia P(c) = 0.3 I rozkład prawdopodobieństwa P(Cancer ) = hP(c), P(¬c)i = h0.3, 0.7i 1. rozkład prawd. łącznego: wektor wszystkich kombinacji wartości zmiennych losowych. I zmienna losowa Cancer = C = {¬c, c} 2015-03-13 Podstawy: notacja Modelowanie Niepewności Przypomnienie: podstawy probabilistyki Podstawy: notacja I zmienna losowa I prawdopodobieństwo zdarzenia I rozkład prawdopodobieństwa Cancer = C = {¬c, c} Test = T = {¬t, t} P(c) = 0.3 Podstawy: notacja P(Cancer ) = hP(c), P(¬c)i = h0.3, 0.7i I prawd. łączne P(c ∧ ¬t) = P(c, ¬t) = 0.4 Test = T = {¬t, t} I prawdopodobieństwo zdarzenia P(c) = 0.3 I rozkład prawdopodobieństwa P(Cancer ) = hP(c), P(¬c)i = h0.3, 0.7i I prawd. łączne P(c ∧ ¬t) = P(c, ¬t) = 0.4 1. rozkład prawd. łącznego: wektor wszystkich kombinacji wartości zmiennych losowych. I zmienna losowa Cancer = C = {¬c, c} 2015-03-13 Podstawy: notacja Modelowanie Niepewności Przypomnienie: podstawy probabilistyki Podstawy: notacja I zmienna losowa I prawdopodobieństwo zdarzenia I rozkład prawdopodobieństwa Cancer = C = {¬c, c} Test = T = {¬t, t} P(c) = 0.3 Podstawy: notacja P(Cancer ) = hP(c), P(¬c)i = h0.3, 0.7i I prawd. łączne I rozkład prawd. łącznego P(c ∧ ¬t) = P(c, ¬t) = 0.4 P(Cancer , Test) = hP(c ∧ t), P(c ∧ ¬t), P(¬c, t), P(¬c, ¬t)i Test = T = {¬t, t} I prawdopodobieństwo zdarzenia P(c) = 0.3 I rozkład prawdopodobieństwa P(Cancer ) = hP(c), P(¬c)i = h0.3, 0.7i I prawd. łączne P(c ∧ ¬t) = P(c, ¬t) = 0.4 I rozkład prawd. łącznego P(Cancer , Test) = hP(c ∧ t), P(c ∧ ¬t), P(¬c, t), P(¬c, ¬t)i 1. rozkład prawd. łącznego: wektor wszystkich kombinacji wartości zmiennych losowych. Prawdopodobieństwo warunkowe P(c|t)P(t) = P(c ∧ t) (reguła produkcji) 2015-03-13 Podstawy: prawd. warunkowe Modelowanie Niepewności Przypomnienie: podstawy probabilistyki Podstawy: prawd. warunkowe Prawdopodobieństwo warunkowe P(c|t)P(t) = P(c ∧ t) (reguła produkcji) Podstawy: prawd. warunkowe 1. Graficznie: dwa przecinające się zbiory. t zaistniało, więc jakie jest prawd., że zaistnieje c? P(c|t) = P(c∧t) P(t) . dziura ¬dziura ból test ¬test 0.108 0.012 0.016 0.064 2015-03-13 (Pełny) rozkład prawd. łącznego ¬ból test ¬test 0.072 0.008 0.144 0.576 Modelowanie Niepewności Przypomnienie: podstawy probabilistyki (Pełny) rozkład prawd. łącznego dziura ¬dziura (Pełny) rozkład prawd. łącznego ból test ¬test 0.108 0.012 0.016 0.064 ¬ból test ¬test 0.072 0.008 0.144 0.576 dziura ¬dziura [zadanie 0] P(dziura) =? P(Dziura) =? ból test ¬test 0.108 0.012 0.016 0.064 ¬ból test ¬test 0.072 0.008 0.144 0.576 2015-03-13 Prawd. marginalne (marginalizacja) Modelowanie Niepewności Przypomnienie: podstawy probabilistyki Prawd. marginalne (marginalizacja) dziura ¬dziura [zadanie 0] P(dziura) =? P(Dziura) =? Prawd. marginalne (marginalizacja) 1. P(dziura) = 0.108 + 0.012 + 0.072 + 0.008 = 0.2 Marginalizujemy Ból i Test 2. P(Dziura) =< 0.2, 0.8 > 3. P(dziura ∧ ¬ból) = 0.072 + 0.008 = 0.08 Marginalizujemy Test ból test ¬test 0.108 0.012 0.016 0.064 ¬ból test ¬test 0.072 0.008 0.144 0.576 dziura ¬dziura [zadanie 0] P(dziura) =? P(Dziura) =? [zadanie 1] P(dziura ∧ ¬ból) =? ból test ¬test 0.108 0.012 0.016 0.064 ¬ból test ¬test 0.072 0.008 0.144 0.576 2015-03-13 Prawd. marginalne (marginalizacja) Modelowanie Niepewności Przypomnienie: podstawy probabilistyki Prawd. marginalne (marginalizacja) 1. P(dziura) = 0.108 + 0.012 + 0.072 + 0.008 = 0.2 Marginalizujemy Ból i Test 2. P(Dziura) =< 0.2, 0.8 > 3. P(dziura ∧ ¬ból) = 0.072 + 0.008 = 0.08 Marginalizujemy Test Prawd. marginalne (marginalizacja) dziura ¬dziura [zadanie 0] P(dziura) =? P(Dziura) =? [zadanie 1] P(dziura ∧ ¬ból) =? ból test ¬test 0.108 0.012 0.016 0.064 ¬ból test ¬test 0.072 0.008 0.144 0.576 dziura ¬dziura ból test ¬test 0.108 0.012 0.016 0.064 ¬ból test ¬test 0.072 0.008 0.144 0.576 [zadanie 0] P(dziura) =? P(Dziura) =? [zadanie 1] P(dziura ∧ ¬ból) =? Ogólnie: P(Y) = X x∈X P(Y, x) = X P(Y|x)P(x), x∈X gdzie Y i X są wektorami zmiennych losowych 2015-03-13 Prawd. marginalne (marginalizacja) Modelowanie Niepewności Przypomnienie: podstawy probabilistyki Prawd. marginalne (marginalizacja) Prawd. marginalne (marginalizacja) dziura ¬dziura ból test ¬test 0.108 0.012 0.016 0.064 ¬ból test ¬test 0.072 0.008 0.144 0.576 [zadanie 0] P(dziura) =? P(Dziura) =? [zadanie 1] P(dziura ∧ ¬ból) =? Ogólnie: P(Y) = X x∈X P(Y, x) = X P(Y|x)P(x), x∈X gdzie Y i X są wektorami zmiennych losowych 1. P(dziura) = 0.108 + 0.012 + 0.072 + 0.008 = 0.2 Marginalizujemy Ból i Test 2. P(Dziura) =< 0.2, 0.8 > 3. P(dziura ∧ ¬ból) = 0.072 + 0.008 = 0.08 Marginalizujemy Test dziura ¬dziura ból test ¬test 0.108 0.012 0.016 0.064 ¬ból test ¬test 0.072 0.008 0.144 0.576 [zadanie 2] Przed obliczeniami: czy to będzie duża wartość? P(dziura|ból) =? 2015-03-13 Prawd. całkowite Modelowanie Niepewności Przypomnienie: podstawy probabilistyki Prawd. całkowite dziura ¬dziura ból test ¬test 0.108 0.012 0.016 0.064 ¬ból test ¬test 0.072 0.008 0.144 0.576 [zadanie 2] Przed obliczeniami: czy to będzie duża wartość? P(dziura|ból) =? Prawd. całkowite dziura ¬dziura ból test ¬test 0.108 0.012 0.016 0.064 ¬ból test ¬test 0.072 0.008 0.144 0.576 [zadanie 2] Przed obliczeniami: czy to będzie duża wartość? P(dziura ∧ ból) P(ból) 0.108 + 0.012 = 0.6 = 0.108 + 0.012 + 0.016 + 0.064 P(dziura|ból) = Ogólnie: P(Y|Z) = X x∈X P(Y, x|Z) = X P(Y, x, Z) x∈X P(Z) 2015-03-13 Prawd. całkowite Modelowanie Niepewności Przypomnienie: podstawy probabilistyki Prawd. całkowite dziura ¬dziura ból test ¬test 0.108 0.012 0.016 0.064 ¬ból test ¬test 0.072 0.008 0.144 0.576 [zadanie 2] Przed obliczeniami: czy to będzie duża wartość? P(dziura|ból) = Prawd. całkowite = P(dziura ∧ ból) P(ból) 0.108 + 0.012 = 0.6 0.108 + 0.012 + 0.016 + 0.064 Ogólnie: P(Y|Z) = X x∈X P(Y, x|Z) = X P(Y, x, Z) x∈X P(Z) ¬ból ból P(dziura|ból) = test ¬test test ¬test dziura 0.108 0.012 0.072 0.008 ¬dziura 0.016 0.064 0.144 0.576 P(dziura ∧ ból) 0.108 + 0.012 = P(ból) 0.108 + 0.012 + 0.016 + 0.064 [zadanie 3] Policz, rozpisz: P(¬dziura|ból) =? 2015-03-13 Normalizacja Modelowanie Niepewności Przypomnienie: podstawy probabilistyki Normalizacja Normalizacja ¬ból ból P(dziura|ból) = test ¬test test ¬test dziura 0.108 0.012 0.072 0.008 ¬dziura 0.016 0.064 0.144 0.576 P(dziura ∧ ból) 0.108 + 0.012 = P(ból) 0.108 + 0.012 + 0.016 + 0.064 [zadanie 3] Policz, rozpisz: P(¬dziura|ból) =? 1. Ten sam mianownik! Liczenie mianownika często jest trudne. 2. 0.12 + 0.08 6= 1.0, więc normalizujemy je dzieląc przez 0.12 + 0.08 = 0.2. ¬ból ból P(dziura|ból) = test ¬test test ¬test dziura 0.108 0.012 0.072 0.008 ¬dziura 0.016 0.064 0.144 0.576 P(dziura ∧ ból) 0.108 + 0.012 = P(ból) 0.108 + 0.012 + 0.016 + 0.064 [zadanie 3] Policz, rozpisz: P(¬dziura|ból) = P(¬dziura ∧ ból) 0.016 + 0.064 = P(ból) 0.108 + 0.012 + 0.016 + 0.064 2015-03-13 Normalizacja Modelowanie Niepewności Przypomnienie: podstawy probabilistyki Normalizacja Normalizacja ¬ból ból P(dziura|ból) = test ¬test test ¬test dziura 0.108 0.012 0.072 0.008 ¬dziura 0.016 0.064 0.144 0.576 P(dziura ∧ ból) 0.108 + 0.012 = P(ból) 0.108 + 0.012 + 0.016 + 0.064 [zadanie 3] Policz, rozpisz: P(¬dziura|ból) = 0.016 + 0.064 P(¬dziura ∧ ból) = P(ból) 0.108 + 0.012 + 0.016 + 0.064 1. Ten sam mianownik! Liczenie mianownika często jest trudne. 2. 0.12 + 0.08 6= 1.0, więc normalizujemy je dzieląc przez 0.12 + 0.08 = 0.2. ¬ból ból test ¬test test ¬test dziura 0.108 0.012 0.072 0.008 ¬dziura 0.016 0.064 0.144 0.576 2015-03-13 Normalizacja Modelowanie Niepewności Przypomnienie: podstawy probabilistyki Normalizacja ¬ból ból test ¬test test ¬test dziura 0.108 0.012 0.072 0.008 ¬dziura 0.016 0.064 0.144 0.576 P(dziura ∧ ból) 0.108 + 0.012 P(dziura|ból) = = P(ból) 0.108 + 0.012 + 0.016 + 0.064 Normalizacja [zadanie 3] Policz, rozpisz: P(¬dziura|ból) = P(¬dziura ∧ ból) 0.016 + 0.064 = P(ból) 0.108 + 0.012 + 0.016 + 0.064 P(Dziura|ból) = P(dziura|ból) = P(dziura ∧ ból) 0.108 + 0.012 = P(ból) 0.108 + 0.012 + 0.016 + 0.064 [zadanie 3] Policz, rozpisz: P(¬dziura|ból) = P(¬dziura ∧ ból) 0.016 + 0.064 = P(ból) 0.108 + 0.012 + 0.016 + 0.064 P(Dziura|ból) = 1. Ten sam mianownik! Liczenie mianownika często jest trudne. 2. 0.12 + 0.08 6= 1.0, więc normalizujemy je dzieląc przez 0.12 + 0.08 = 0.2. ¬ból ból test ¬test test ¬test 2015-03-13 Normalizacja Modelowanie Niepewności Przypomnienie: podstawy probabilistyki Normalizacja ¬ból ból test ¬test test ¬test dziura 0.108 0.012 0.072 0.008 ¬dziura 0.016 0.064 0.144 0.576 P(dziura ∧ ból) 0.108 + 0.012 P(dziura|ból) = = P(ból) 0.108 + 0.012 + 0.016 + 0.064 Normalizacja [zadanie 3] Policz, rozpisz: P(¬dziura|ból) = P(¬dziura ∧ ból) 0.016 + 0.064 = P(ból) 0.108 + 0.012 + 0.016 + 0.064 P(Dziura|ból) = αP(Dziura, ból) = α h0.108 + 0.012, 0.016 + 0.064i P(dziura|ból) = dziura 0.108 0.012 0.072 0.008 ¬dziura 0.016 0.064 0.144 0.576 P(dziura ∧ ból) 0.108 + 0.012 = P(ból) 0.108 + 0.012 + 0.016 + 0.064 [zadanie 3] Policz, rozpisz: P(¬dziura|ból) = P(¬dziura ∧ ból) 0.016 + 0.064 = P(ból) 0.108 + 0.012 + 0.016 + 0.064 P(Dziura|ból) = αP(Dziura, ból) = α h0.108 + 0.012, 0.016 + 0.064i α h0.12, 0.08i = h0.6, 0.4i α h0.12, 0.08i = h0.6, 0.4i 1. Ten sam mianownik! Liczenie mianownika często jest trudne. 2. 0.12 + 0.08 6= 1.0, więc normalizujemy je dzieląc przez 0.12 + 0.08 = 0.2. ¬ból ból test ¬test test ¬test dziura 0.108 0.012 0.072 0.008 ¬dziura 0.016 0.064 0.144 0.576 2015-03-13 Normalizacja Modelowanie Niepewności Przypomnienie: podstawy probabilistyki Normalizacja ¬ból ból test ¬test test ¬test dziura 0.108 0.012 0.072 0.008 ¬dziura 0.016 0.064 0.144 0.576 [zadanie 3] Policz, rozpisz: Normalizacja P(Dziura|ból) = αP(Dziura, ból) = α h0.108 + 0.012, 0.016 + 0.064i α h0.12, 0.08i = h0.6, 0.4i Ogólnie: P(X|e) = αP(X, e), gdzie X jest wektorem zmiennych losowych [zadanie 3] Policz, rozpisz: P(Dziura|ból) = αP(Dziura, ból) = α h0.108 + 0.012, 0.016 + 0.064i α h0.12, 0.08i = h0.6, 0.4i Ogólnie: P(X|e) = αP(X, e), gdzie X jest wektorem zmiennych losowych 1. Ten sam mianownik! Liczenie mianownika często jest trudne. 2. 0.12 + 0.08 6= 1.0, więc normalizujemy je dzieląc przez 0.12 + 0.08 = 0.2. Niezależność zdarzeń losowych c ⊥ w (W – pogoda), jeśli P(c) = P(c|w ) lub P(w ) = P(w |c) lub P(c)P(w ) = P(c ∧ w ) 2015-03-13 Podstawy: niezależność Modelowanie Niepewności Przypomnienie: podstawy probabilistyki Podstawy: niezależność Niezależność zdarzeń losowych c ⊥ w (W – pogoda), jeśli P(c) = P(c|w ) lub P(w ) = P(w |c) lub P(c)P(w ) = P(c ∧ w ) Podstawy: niezależność 1. Graficznie: niezależność zdarzeń losowych, jeśli pole c w stosunku do całości = pole c ∧ w w stosunku do w . Niezależność zdarzeń losowych c ⊥ w (W – pogoda), jeśli P(c) = P(c|w ) lub P(w ) = P(w |c) lub P(c)P(w ) = P(c ∧ w ) Niezależność zmiennych losowych C ⊥ W : P(C )P(W ) = P(C ∧ W ) [zadanie 4] Rozpisać powyższe 2015-03-13 Podstawy: niezależność Modelowanie Niepewności Przypomnienie: podstawy probabilistyki Podstawy: niezależność Niezależność zdarzeń losowych c ⊥ w (W – pogoda), jeśli P(c) = P(c|w ) lub P(w ) = P(w |c) lub P(c)P(w ) = P(c ∧ w ) Niezależność zmiennych losowych C ⊥ W : P(C )P(W ) = P(C ∧ W ) Podstawy: niezależność [zadanie 4] Rozpisać powyższe 1. Graficznie: niezależność zdarzeń losowych, jeśli pole c w stosunku do całości = pole c ∧ w w stosunku do w . Niezależność zdarzeń losowych c ⊥ w (W – pogoda), jeśli P(c) = P(c|w ) lub P(w ) = P(w |c) lub P(c)P(w ) = P(c ∧ w ) Niezależność zmiennych losowych C ⊥ W : P(C )P(W ) = P(C ∧ W ) [zadanie 4] Rozpisać powyższe Lewa = hP(c), P(¬c)i × hP(w ), P(¬w )i = hP(c)P(w ), P(c)P(¬w ), P(¬c)P(w ), P(¬c)P(¬w )i Prawa = hP(c ∧ w ), P(c ∧ ¬w ), P(¬c ∧ w ), P(¬c ∧ ¬w )i wiedza o niezależności zmiennych jest zwykle wiedzą dziedzinową. 2015-03-13 Podstawy: niezależność Modelowanie Niepewności Przypomnienie: podstawy probabilistyki Podstawy: niezależność Niezależność zdarzeń losowych c ⊥ w (W – pogoda), jeśli P(c) = P(c|w ) lub P(w ) = P(w |c) lub P(c)P(w ) = P(c ∧ w ) Niezależność zmiennych losowych C ⊥ W : P(C )P(W ) = P(C ∧ W ) Podstawy: niezależność [zadanie 4] Rozpisać powyższe Lewa = hP(c), P(¬c)i × hP(w ), P(¬w )i = hP(c)P(w ), P(c)P(¬w ), P(¬c)P(w ), P(¬c)P(¬w )i Prawa = hP(c ∧ w ), P(c ∧ ¬w ), P(¬c ∧ w ), P(¬c ∧ ¬w )i wiedza o niezależności zmiennych jest zwykle wiedzą dziedzinową. 1. Graficznie: niezależność zdarzeń losowych, jeśli pole c w stosunku do całości = pole c ∧ w w stosunku do w . Czwarta zmienna: Pogoda (W ) P(W = s loneczna, b, t, d) = P(W = s loneczna|b, t, d)P(b, t, d) Ale przecież (logika!): P(W = s loneczna|b, t, d) = P(W = s loneczna) więc P(W = s loneczna, b, t, d) = P(W = s loneczna)P(b, t, d) 2015-03-13 Niezależność Modelowanie Niepewności Przypomnienie: podstawy probabilistyki Niezależność Czwarta zmienna: Pogoda (W ) P(W = s loneczna, b, t, d) = P(W = s loneczna|b, t, d)P(b, t, d) Ale przecież (logika!): Niezależność P(W = s loneczna|b, t, d) = P(W = s loneczna) więc P(W = s loneczna, b, t, d) = P(W = s loneczna)P(b, t, d) Cavity Catch Toothache Weather Coin1 Coinn decomposes into decomposes into Cavity Toothache Catch 2015-03-13 Konsekwencja niezależności Weather Coin1 Coinn Modelowanie Niepewności Przypomnienie: podstawy probabilistyki Konsekwencja niezależności Cavity Catch Toothache Weather Konsekwencja niezależności Cavity Toothache Catch Coin1 Coinn decomposes into decomposes into Weather Coin1 1. Co nam to daje? Zamiast zapisywać rozkład prawd. łącznego za pomocą 24 = 16 liczb, wystarczy nam 23 + 2 = 10 (dekompozycja). Jest lepiej, ale w praktyce to nie wystarcza. Żeby było lepiej trzeba sięgnąć do reguły Bayesa i niezależności warunkowej. Coinn 2015-03-13 Reguła Bayesa P(y |x) = I P(x|y )P(y ) P(x) P(x) często nieznane i rozpisuje się je jako praw. całkowite. Modelowanie Niepewności Przypomnienie: podstawy probabilistyki Reguła Bayesa P(y |x) = I P(x|y )P(y ) P(x) P(x) często nieznane i rozpisuje się je jako praw. całkowite. Reguła Bayesa 1. Wyprowadzenie korzysta z def. prawd. warunkowego (reguły produkcji) 2. To proste równanie leży u podstawy większości nowoczesnych systemów sztucznej inteligencji opartych na wnioskowaniu probabilistycznym. 2015-03-13 Reguła Bayesa P(y |x) = I P(x|y )P(y ) P(x) P(x) często nieznane i rozpisuje się je jako praw. całkowite. Wersja ogólniejsza (zmienne losowe i dodatkowa wiedza e): P(Y |X , e) = P(X |Y , e)P(Y |e) P(X |e) Modelowanie Niepewności Przypomnienie: podstawy probabilistyki Reguła Bayesa P(y |x) = I P(x|y )P(y ) P(x) P(x) często nieznane i rozpisuje się je jako praw. całkowite. Wersja ogólniejsza (zmienne losowe i dodatkowa wiedza e): Reguła Bayesa P(Y |X , e) = 1. Wyprowadzenie korzysta z def. prawd. warunkowego (reguły produkcji) 2. To proste równanie leży u podstawy większości nowoczesnych systemów sztucznej inteligencji opartych na wnioskowaniu probabilistycznym. P(X |Y , e)P(Y |e) P(X |e) 2015-03-13 Wnioskowanie P(y |x) = P(x|y )P(y ) P(x) Zależność między zmiennymi X i Y . Możemy ją rozważać w dwóch kierunkach: I przyczynowym: P(efekt|przyczyna), np. P(gor aczka|grypa) ˛ I diagnostycznym: P(przyczyna|efekt), np. P(grypa|gor aczka) ˛ [zadanie 5] Które prawd. łatwiej poznać? Modelowanie Niepewności Przypomnienie: podstawy probabilistyki Wnioskowanie P(y |x) = P(x|y )P(y ) P(x) Zależność między zmiennymi X i Y . Możemy ją rozważać w dwóch kierunkach: Wnioskowanie I przyczynowym: P(efekt|przyczyna), np. P(gor aczka|grypa) ˛ I diagnostycznym: P(przyczyna|efekt), np. P(grypa|gor aczka) ˛ [zadanie 5] Które prawd. łatwiej poznać? 1. Łatwiej poznać P(gor aczka|grypa), ˛ czyli jak często grypa powoduje gorączkę - wystarczy zebrać dane na temat ludzi z grypą. Łatwiej więc pozyskać dane o kierunku przyczynowym. Trudniej o kierunku diagnostycznym. Zapalenie opon mózgowych (M) i sztywność karku (S). I P(s|m) = 0.7 (kierunek przyczynowy) I P(m) = 1/50000 (a priori, że osoba ma zapalenie opon) I P(s) = 0.01 (a priori, że osoba ma sztywność kark) [zadanie 6] P(m|s) =? 2015-03-13 Przykład Modelowanie Niepewności Przypomnienie: podstawy probabilistyki Przykład Zapalenie opon mózgowych (M) i sztywność karku (S). I P(s|m) = 0.7 (kierunek przyczynowy) I P(m) = 1/50000 (a priori, że osoba ma zapalenie opon) I P(s) = 0.01 (a priori, że osoba ma sztywność kark) [zadanie 6] P(m|s) =? Przykład 1. Jeśli doktor wie, że P(m|s) = 0.0014, to nie musi korzystać z reguły Bayes’a, więc po co mu to całe wnioskowanie? Otóż, P(m|s) nie jest stałe! Jeśli tylko wybuchnie epidemia zapalenia opon mózgowych, wtedy P(m) się zwiększy i P(m|s) się zwiększy. P(m|s) jest stałe, bo odzwierciedla zasady fizyki/biologii/etc. 2015-03-13 Przykład Modelowanie Niepewności Przypomnienie: podstawy probabilistyki Przykład Zapalenie opon mózgowych (M) i sztywność karku (S). I P(s|m) = 0.7 (kierunek przyczynowy) I P(m) = 1/50000 (a priori, że osoba ma zapalenie opon) I P(s) = 0.01 (a priori, że osoba ma sztywność kark) [zadanie 6] Przykład P(m|s) = P(s|m)P(m) = 0.0014 P(s) Zapalenie opon mózgowych (M) i sztywność karku (S). I P(s|m) = 0.7 (kierunek przyczynowy) I P(m) = 1/50000 (a priori, że osoba ma zapalenie opon) I P(s) = 0.01 (a priori, że osoba ma sztywność kark) [zadanie 6] P(m|s) = P(s|m)P(m) = 0.0014 P(s) 1. Jeśli doktor wie, że P(m|s) = 0.0014, to nie musi korzystać z reguły Bayes’a, więc po co mu to całe wnioskowanie? Otóż, P(m|s) nie jest stałe! Jeśli tylko wybuchnie epidemia zapalenia opon mózgowych, wtedy P(m) się zwiększy i P(m|s) się zwiększy. P(m|s) jest stałe, bo odzwierciedla zasady fizyki/biologii/etc. 2015-03-13 Przykład Modelowanie Niepewności Przypomnienie: podstawy probabilistyki Przykład Zapalenie opon mózgowych (M) i sztywność karku (S). I P(s|m) = 0.7 (kierunek przyczynowy) I P(m) = 1/50000 (a priori, że osoba ma zapalenie opon) I P(s) = 0.01 (a priori, że osoba ma sztywność kark) [zadanie 6] Przykład P(m|s) = P(s|m)P(m) = 0.0014 P(s) Prawd. w kierunku przyczynowym jest solidniejsze! Zapalenie opon mózgowych (M) i sztywność karku (S). I P(s|m) = 0.7 (kierunek przyczynowy) I P(m) = 1/50000 (a priori, że osoba ma zapalenie opon) I P(s) = 0.01 (a priori, że osoba ma sztywność kark) [zadanie 6] P(m|s) = P(s|m)P(m) = 0.0014 P(s) Prawd. w kierunku przyczynowym jest solidniejsze! 1. Jeśli doktor wie, że P(m|s) = 0.0014, to nie musi korzystać z reguły Bayes’a, więc po co mu to całe wnioskowanie? Otóż, P(m|s) nie jest stałe! Jeśli tylko wybuchnie epidemia zapalenia opon mózgowych, wtedy P(m) się zwiększy i P(m|s) się zwiększy. P(m|s) jest stałe, bo odzwierciedla zasady fizyki/biologii/etc. dziura ¬dziura ból test ¬test 0.108 0.012 0.016 0.064 ¬ból test ¬test 0.072 0.008 0.144 0.576 P(Dziura|ból ∧ test) =? Ale to się nie skaluje, gdy mamy wiele zmiennych ( wielka ” tabelka”). 2015-03-13 Warunkowa niezależność zmiennych Modelowanie Niepewności Przypomnienie: podstawy probabilistyki Warunkowa niezależność zmiennych dziura ¬dziura ból test ¬test 0.108 0.012 0.016 0.064 ¬ból test ¬test 0.072 0.008 0.144 0.576 P(Dziura|ból ∧ test) =? Warunkowa niezależność zmiennych Ale to się nie skaluje, gdy mamy wiele zmiennych ( wielka ” tabelka”). 1. P(Dziura|ból ∧ test) = α h0.108, 0.016i ≈ h0.871, 0.129i dziura ¬dziura ból test ¬test 0.108 0.012 0.016 0.064 ¬ból test ¬test 0.072 0.008 0.144 0.576 P(Dziura|ból ∧ test) =? Ale to się nie skaluje, gdy mamy wiele zmiennych ( wielka ” tabelka”). P(Dziura|ból ∧ test) = αP(ból ∧ test|Dziura)P(Dziura) = αP(ból|Dziura)P(test|Dziura)P(Dziura) 2015-03-13 Warunkowa niezależność zmiennych Modelowanie Niepewności Przypomnienie: podstawy probabilistyki Warunkowa niezależność zmiennych dziura ¬dziura ból test ¬test 0.108 0.012 0.016 0.064 ¬ból test ¬test 0.072 0.008 0.144 0.576 P(Dziura|ból ∧ test) =? Warunkowa niezależność zmiennych Ale to się nie skaluje, gdy mamy wiele zmiennych ( wielka ” tabelka”). P(Dziura|ból ∧ test) = αP(ból ∧ test|Dziura)P(Dziura) = αP(ból|Dziura)P(test|Dziura)P(Dziura) 1. P(Dziura|ból ∧ test) = α h0.108, 0.016i ≈ h0.871, 0.129i I C — rak, T1 — jakiś test na obecność raka, T2 — jakiś inny test na obecność raka I C jest zmienną ukrytą. Ale jeśli znalibyśmy C , jakakolwiek wiedza o T1 nie da nam żadnej dodatkowej wiedzy dot. T2 , czyli T1 i T2 są niezależne warunkowo pod warunkiem C . I I I P(T2 |C , T1 ) = P(T2 |C ) P(T1 , T2 |C ) = P(T1 |C )P(T2 |C ) Notacja: T1 ⊥ T2 |C 2015-03-13 Warunkowa niezależność zmiennych Modelowanie Niepewności Przypomnienie: podstawy probabilistyki Warunkowa niezależność zmiennych I C — rak, T1 — jakiś test na obecność raka, T2 — jakiś inny test na obecność raka I C jest zmienną ukrytą. Ale jeśli znalibyśmy C , jakakolwiek wiedza o T1 nie da nam żadnej dodatkowej wiedzy dot. T2 , czyli T1 i T2 są niezależne warunkowo pod warunkiem C . I Notacja: T1 ⊥ T2 |C I Warunkowa niezależność zmiennych I P(T2 |C , T1 ) = P(T2 |C ) P(T1 , T2 |C ) = P(T1 |C )P(T2 |C ) 1. Widać to na diagramie. Jeśli znamy C, to on niezależnie wpływa na T1 i T2. W pewnym sensie obcina to co się dzieje w T1 od tego co się dzieje w T2 2. Jeśli zmienne losowe A i B są niezależne pod warunkiem, że X , możemy wnioskować tak: P(A, B, X ) = P(A, B|X )P(X ) = P(A|X )P(B|X )P(X ). 1,4 2,4 3,4 4,4 1,4 2,4 3,4 4,4 1,3 2,3 3,3 4,3 1,3 2,3 3,3 4,3 2,2 3,2 4,2 OTHER QUERY 1,2 2,2 3,2 4,2 1,2 3,1 4,1 1,1 B OK 1,1 2,1 B OK KNOWN 2,1 FRONTIER 3,1 4,1 OK Jakie jest prawd, że w polu (1,3) jest jama jeśli wiatr poczuliśmy w polu (1,2) i (2,1)? Zmienne losowe: Di,j (dziura na polu (i, j)) oraz Bi,j (bryza na polu (i, j)). 2015-03-13 Wumpus Modelowanie Niepewności Przypomnienie: podstawy probabilistyki Wumpus 1,4 2,4 3,4 4,4 1,4 2,4 3,4 4,4 1,3 2,3 3,3 4,3 1,3 2,3 3,3 4,3 3,2 4,2 OTHER QUERY 1,2 2,2 3,2 4,2 1,2 3,1 4,1 1,1 2,2 B OK 1,1 2,1 B Wumpus OK KNOWN 2,1 FRONTIER 3,1 4,1 OK Jakie jest prawd, że w polu (1,3) jest jama jeśli wiatr poczuliśmy w polu (1,2) i (2,1)? Zmienne losowe: Di,j (dziura na polu (i, j)) oraz Bi,j (bryza na polu (i, j)).