Twierdzenie o schematach

Schematy
Twierdzenie o schematach
Algorytmy stochastyczne, wykład 04
Algorytmy genetyczne, Dlaczego w ogóle działają?
Twierdzenie o schematach
Jarosław Piersa
Wydział Matematyki i Informatyki, Uniwersytet Mikołaja Kopernika
2014-03-13
Jarosław Piersa
WSN 2013/2014 Wykład 04
Schematy
Twierdzenie o schematach
Definicja
Wpływ selekcji na przeżywalność schematu
Wpływ krzyżowań
Wpływ mutacji
1
Schematy
Definicja
Wpływ selekcji na przeżywalność schematu
Wpływ krzyżowań
Wpływ mutacji
2
Twierdzenie o schematach
Twierdzenie o schematach
Jarosław Piersa
WSN 2013/2014 Wykład 04
Schematy
Twierdzenie o schematach
Definicja
Wpływ selekcji na przeżywalność schematu
Wpływ krzyżowań
Wpływ mutacji
Schemat
schemat to ciąg znaków {0, 1, ∗}N
np: [0, 0, ∗, 1, ∗]
dla czytelności zaznaczamy początek i koniec schematu oraz
rozdzielamy symbole przecinkami
Jarosław Piersa
WSN 2013/2014 Wykład 04
Schematy
Twierdzenie o schematach
Definicja
Wpływ selekcji na przeżywalność schematu
Wpływ krzyżowań
Wpływ mutacji
Chromosom należy do schematu
Chromosom x należy do schematu s, jeżeli:
x ma zera na pozycjach gdzie schemat ma zera
x ma jedynki na pozycjach gdzie schemat ma jedynki
Innymi słowy: pokrywa się na symbolach ustalonych, może być
dowolny gdy na pozycji jest ∗,
Uwaga! ∗ oznacza tylko pojedynczy gen, a nie dowolny ciąg
Jarosław Piersa
WSN 2013/2014 Wykład 04
Schematy
Twierdzenie o schematach
Definicja
Wpływ selekcji na przeżywalność schematu
Wpływ krzyżowań
Wpływ mutacji
Chromosom należy do schematu
x = [0, 1, 0], y = [0, 0, 0]
schemat s1 = [0, 1, ∗]
czy x i y należą do s1 ?
Jarosław Piersa
WSN 2013/2014 Wykład 04
Schematy
Twierdzenie o schematach
Definicja
Wpływ selekcji na przeżywalność schematu
Wpływ krzyżowań
Wpływ mutacji
Chromosom należy do schematu
x = [0, 1, 0], y = [0, 0, 0]
schemat s1 = [0, 1, ∗]
czy x i y należą do s1 ?
schemat s2 = [∗, ∗, 0]
czy x i y należą do s2 ?
Jarosław Piersa
WSN 2013/2014 Wykład 04
Schematy
Twierdzenie o schematach
Definicja
Wpływ selekcji na przeżywalność schematu
Wpływ krzyżowań
Wpływ mutacji
Obserwacje
jeżeli w schemacie jest dokładnie m symboli ∗, to taki do
schematu jest dopasowanych 2m różnych chromosomów
chromosom długości N bitów należy do 2N różnych schematów
wszystkich schematów jest 3N , ale niektóre się zawierają w
innych, np.
[∗, 0, 0, 1, ∗] zawiera się w [∗, 0, ∗, 1, ∗]
Jarosław Piersa
WSN 2013/2014 Wykład 04
Schematy
Twierdzenie o schematach
Definicja
Wpływ selekcji na przeżywalność schematu
Wpływ krzyżowań
Wpływ mutacji
Pomysł
zamiast szacować szanse przeżycia dobrego chromosomu,
oszacujemy liczbę wystąpień dobrego schematu
Jarosław Piersa
WSN 2013/2014 Wykład 04
Schematy
Twierdzenie o schematach
Definicja
Wpływ selekcji na przeżywalność schematu
Wpływ krzyżowań
Wpływ mutacji
Wpływ selekcji
Oznaczmy:
c(s, t) = liczba chromosomów w populacji P t , które spełniają
schemat s
F (s, t) = średnie dostosowanie chromosomów w populacji P t ,
które spełniają schemat s
P
F (x̄)
x̄∈P t ∩s
F (s, t) =
c(s, t)
F̄ (t) = średnie dostosowanie wszystkich chromosomów w
populacji P t
P
F (x̄)
x̄∈P t
F̄ (t) =
|P t |
Jarosław Piersa
WSN 2013/2014 Wykład 04
Schematy
Twierdzenie o schematach
Definicja
Wpływ selekcji na przeżywalność schematu
Wpływ krzyżowań
Wpływ mutacji
Wpływ selekcji
Oznaczmy:
wybieramy M(t) osobników, które przetrwały i będą krzyżowane
każdy osobnik x ma szanse dostania się do na pozycję w M(t)
F (x̄)
ȳ ∈P t F (ȳ )
P(M(t) = x) = P
prawdopodobieństwo, ze osobnik x zgodny z s dostanie się do
M(t):
F (s, t)
P(Mi (t) ∈ s) = c(s, t) · P
ȳ ∈P t F (ȳ )
Jarosław Piersa
WSN 2013/2014 Wykład 04
Schematy
Twierdzenie o schematach
Definicja
Wpływ selekcji na przeżywalność schematu
Wpływ krzyżowań
Wpływ mutacji
Wpływ selekcji
w M(t) jest N miejsc, każde zajęte przez osobnika z s z p-em
P(Mi (t) ∈ s)
oczekiwana liczba osobników zgodnych z s w M(t)
F (s, t)
ȳ ∈P t F (ȳ )
E(|M(t)| ∩ s) = N · c(s, t) · P
E(|M(t)| ∩ s) = c(s, t) ·
Jarosław Piersa
F (s, t)
F̄ (t)
WSN 2013/2014 Wykład 04
Schematy
Twierdzenie o schematach
Definicja
Wpływ selekcji na przeżywalność schematu
Wpływ krzyżowań
Wpływ mutacji
Oznaczenia
rząd schematu (order )
o(s) = liczba symboli ∗
rozpiętość (defining length) d(s) = odległość między pierwszą a
ostatnią „nie-∗” w schemacie
d([∗, ∗, 1, ∗]) = 0
d([0, ∗, 1, ∗]) = 2
Jarosław Piersa
WSN 2013/2014 Wykład 04
Schematy
Twierdzenie o schematach
Definicja
Wpływ selekcji na przeżywalność schematu
Wpływ krzyżowań
Wpływ mutacji
Wpływ krzyżowań
prawdopodobieństwo zniszczenia schematu podczas krzyżowania
≤ pc
d(s)
N −1
pc — p-o krzyżowania
d(s)/N − 1 — p-o wyboru punktu cięcia, który przetnie schemat
prawdopodobieństwo zachowania schematu podczas krzyżowania
≥ 1 − pc
Jarosław Piersa
d(s)
N −1
WSN 2013/2014 Wykład 04
Schematy
Twierdzenie o schematach
Definicja
Wpływ selekcji na przeżywalność schematu
Wpływ krzyżowań
Wpływ mutacji
Wpływ mutacji
prawdopodobieństwo zachowania schematu podczas mutacji
(1 − pm )o(s)
jeżeli pm 1 , to możemy przybliżyć:
' (1 − pm · o(s))
pm — p-o mutacji
o(s) — rząd schematu (liczba ∗)
Jarosław Piersa
WSN 2013/2014 Wykład 04
Schematy
Twierdzenie o schematach
Twierdzenie o schematach
Przeżycie schematu
oczekiwana liczba schematów zgodnych z s w następnej
populacji
F (s, t)
d(s)
E(c(s, t + 1)) ≥ c(s, t)
· 1 − pc
· (1 − pm )o(s)
N −1
F̄ (t)
przybliżamy wpływ mutacji:
F (s, t)
d(s)
E(c(s, t + 1)) ≥ c(s, t)
· 1 − pc
· (1 − o(s)pm )
N −1
F̄ (t)
Jarosław Piersa
WSN 2013/2014 Wykład 04
Schematy
Twierdzenie o schematach
Twierdzenie o schematach
Przeżycie schematu
przybliżamy wpływ mutacji:
F (s, t)
d(s)
· 1 − pc
− o(s)pm +
N −1
F̄ (t)
d(s)o(s)
+pm pc
N −1
E(c(s, t + 1)) ≥ c(s, t)
pomijamy ostatni wyraz:
F (s, t)
d(s)
E(c(s, t + 1)) ≥ c(s, t)
· 1 − pc
− o(s)pm
N −1
F̄ (t)
Jarosław Piersa
WSN 2013/2014 Wykład 04
Schematy
Twierdzenie o schematach
Twierdzenie o schematach
Przeżycie schematu
jeżeli schemat s jest dostosowany powyżej średniej, to
F (s, t) > F̄ (t) ⇐⇒
F (s, t)
>1
F̄ (t)
jeżeli s ma małą rozpiętość i niski rząd
d(s) N ⇐⇒
d(s)
1
N −1
O(s) N ⇐⇒ pm o(s) 1
to
0 1 − pc
d(s)
− o(s)pm < 1
N −1
Jarosław Piersa
WSN 2013/2014 Wykład 04
Schematy
Twierdzenie o schematach
Twierdzenie o schematach
Przeżycie schematu
jeżeli schemat s jest dostosowany powyżej średniej oraz o niskim
rzędzie i małej długości
F (s, t)
d(s)
r :=
· 1 − pc
− o(s)pm > 1
N −1
F̄ (t)
wówczas zachodzi
c(t + 1, s) = c(t, s) · r
Tzn. oczekiwana liczba schematów zgodnych z s w populacji
P t+1 jest r > 1 razy większa niż w populacji P t
Jarosław Piersa
WSN 2013/2014 Wykład 04
Schematy
Twierdzenie o schematach
Twierdzenie o schematach
Przeżycie schematu
mamy
c(t + 1, s) = c(t, s) · r
jeżeli r > 1 nie zależy od epoki lub jest w przybliżaniu stałe (co
nie jest do końca uzasadnione), to
c(t+1, s) = c(t, s)·r = c(t−1, s)r 2 = c(t−2, s)r 3 = ...c(0, s)r t+1
zatem oczekiwana liczba schematów zgodnych z s rośnie
wykładniczo z czasem
Jarosław Piersa
WSN 2013/2014 Wykład 04
Schematy
Twierdzenie o schematach
Twierdzenie o schematach
Twierdzenie o schematach
co kończy dowód następującego twierdzenia
Theorem (Twierdzenie o schematach)
Schematy niskiego rzędu (o(s) N), niskiej rozpiętości (d(s) N)
¯ wykładniczo
i dostosowaniu powyżej średniej (F (s, t) > F (t))
zwiększają liczbę swoich reprezentantów w kolejnych populacjach.
Jarosław Piersa
WSN 2013/2014 Wykład 04
Schematy
Twierdzenie o schematach
Twierdzenie o schematach
Źródła
Z. Michalewicz, Algorytmy genetyczne + struktury danych =
programy ewolucyjne, WNT, Warszawa 1996
D. Rutkowska, M. Piliński, L. Rutkowski, Sieci neuronowe,
algorytmy genetyczne i systemy rozmyte, PWN, Warszawa 1997
Jarosław Piersa
WSN 2013/2014 Wykład 04