Schematy Johna Hollanda

Schematy Johna Hollanda
Radosław Czarnecki
Uniwersytet Śląski
5 listopada 2008
Radosław Czarnecki
Schematy Johna Hollanda
John Henry Holland
Urodzony w Fort Wayne (USA) w 1929 roku
Profesor psychologii i nauk informatycznych na University of Michigan
Uważany za ”ojca” algorytmów genetycznych
Twórca teorii schematów - 1975 rok, ”Adaptation in Natural and Artificial
Systems”
Radosław Czarnecki
Schematy Johna Hollanda
John Henry Holland
Urodzony w Fort Wayne (USA) w 1929 roku
Profesor psychologii i nauk informatycznych na University of Michigan
Uważany za ”ojca” algorytmów genetycznych
Twórca teorii schematów - 1975 rok, ”Adaptation in Natural and Artificial
Systems”
Radosław Czarnecki
Schematy Johna Hollanda
John Henry Holland
Urodzony w Fort Wayne (USA) w 1929 roku
Profesor psychologii i nauk informatycznych na University of Michigan
Uważany za ”ojca” algorytmów genetycznych
Twórca teorii schematów - 1975 rok, ”Adaptation in Natural and Artificial
Systems”
Radosław Czarnecki
Schematy Johna Hollanda
John Henry Holland
Urodzony w Fort Wayne (USA) w 1929 roku
Profesor psychologii i nauk informatycznych na University of Michigan
Uważany za ”ojca” algorytmów genetycznych
Twórca teorii schematów - 1975 rok, ”Adaptation in Natural and Artificial
Systems”
Radosław Czarnecki
Schematy Johna Hollanda
John Henry Holland
Urodzony w Fort Wayne (USA) w 1929 roku
Profesor psychologii i nauk informatycznych na University of Michigan
Uważany za ”ojca” algorytmów genetycznych
Twórca teorii schematów - 1975 rok, ”Adaptation in Natural and Artificial
Systems”
Radosław Czarnecki
Schematy Johna Hollanda
Pojęcie schematu
Schemat jest to wzorzec opisujący podzbiór ciągów podobnych ze względu
na ustalone pozycje
W schematach używa się się znaku *, czyli symbolu uniwersalnego,
zastępującego 0 lub 1
Alfabet V ma postać {0,1,*}
Przykładowo schemat *1000 pasuje do dwóch łańcuchów binarnych: 01000
i 11000
Radosław Czarnecki
Schematy Johna Hollanda
Pojęcie schematu
Schemat jest to wzorzec opisujący podzbiór ciągów podobnych ze względu
na ustalone pozycje
W schematach używa się się znaku *, czyli symbolu uniwersalnego,
zastępującego 0 lub 1
Alfabet V ma postać {0,1,*}
Przykładowo schemat *1000 pasuje do dwóch łańcuchów binarnych: 01000
i 11000
Radosław Czarnecki
Schematy Johna Hollanda
Pojęcie schematu
Schemat jest to wzorzec opisujący podzbiór ciągów podobnych ze względu
na ustalone pozycje
W schematach używa się się znaku *, czyli symbolu uniwersalnego,
zastępującego 0 lub 1
Alfabet V ma postać {0,1,*}
Przykładowo schemat *1000 pasuje do dwóch łańcuchów binarnych: 01000
i 11000
Radosław Czarnecki
Schematy Johna Hollanda
Pojęcie schematu
Schemat jest to wzorzec opisujący podzbiór ciągów podobnych ze względu
na ustalone pozycje
W schematach używa się się znaku *, czyli symbolu uniwersalnego,
zastępującego 0 lub 1
Alfabet V ma postać {0,1,*}
Przykładowo schemat *1000 pasuje do dwóch łańcuchów binarnych: 01000
i 11000
Radosław Czarnecki
Schematy Johna Hollanda
Pojęcie schematu
Schemat jest to wzorzec opisujący podzbiór ciągów podobnych ze względu
na ustalone pozycje
W schematach używa się się znaku *, czyli symbolu uniwersalnego,
zastępującego 0 lub 1
Alfabet V ma postać {0,1,*}
Przykładowo schemat *1000 pasuje do dwóch łańcuchów binarnych: 01000
i 11000
Radosław Czarnecki
Schematy Johna Hollanda
Pojęcie schematu
Dla łańcuchów o długości m istnieje 3m wszystkich możliwych schematów
Do danego łańcucha binarnego o długości m pasuje 2m schematów
W populacji o liczności n może być reprezentowanych od 2m do n · 2m
różnych schematów, w zależności od różnorodności populacji
Do każdego schematu pasuje dokładnie 2r łańcuchów binarnych, gdzie r
jest liczbą symboli ”*” w szablonie schematu
Radosław Czarnecki
Schematy Johna Hollanda
Pojęcie schematu
Dla łańcuchów o długości m istnieje 3m wszystkich możliwych schematów
Do danego łańcucha binarnego o długości m pasuje 2m schematów
W populacji o liczności n może być reprezentowanych od 2m do n · 2m
różnych schematów, w zależności od różnorodności populacji
Do każdego schematu pasuje dokładnie 2r łańcuchów binarnych, gdzie r
jest liczbą symboli ”*” w szablonie schematu
Radosław Czarnecki
Schematy Johna Hollanda
Pojęcie schematu
Dla łańcuchów o długości m istnieje 3m wszystkich możliwych schematów
Do danego łańcucha binarnego o długości m pasuje 2m schematów
W populacji o liczności n może być reprezentowanych od 2m do n · 2m
różnych schematów, w zależności od różnorodności populacji
Do każdego schematu pasuje dokładnie 2r łańcuchów binarnych, gdzie r
jest liczbą symboli ”*” w szablonie schematu
Radosław Czarnecki
Schematy Johna Hollanda
Pojęcie schematu
Dla łańcuchów o długości m istnieje 3m wszystkich możliwych schematów
Do danego łańcucha binarnego o długości m pasuje 2m schematów
W populacji o liczności n może być reprezentowanych od 2m do n · 2m
różnych schematów, w zależności od różnorodności populacji
Do każdego schematu pasuje dokładnie 2r łańcuchów binarnych, gdzie r
jest liczbą symboli ”*” w szablonie schematu
Radosław Czarnecki
Schematy Johna Hollanda
Pojęcie schematu
Dla łańcuchów o długości m istnieje 3m wszystkich możliwych schematów
Do danego łańcucha binarnego o długości m pasuje 2m schematów
W populacji o liczności n może być reprezentowanych od 2m do n · 2m
różnych schematów, w zależności od różnorodności populacji
Do każdego schematu pasuje dokładnie 2r łańcuchów binarnych, gdzie r
jest liczbą symboli ”*” w szablonie schematu
Radosław Czarnecki
Schematy Johna Hollanda
Różne schematy mają różne właściwości.
Właściwości schematów
1
2
Rzędem schematu H, który oznaczamy jako o(H), nazywamy liczbę
pozycji ustalonych (zer i jedynek) we wzorcu np. o(1 ∗ 10∗) = 3. Rząd
określa specyficzność (szczegółowość) schematu
Rozpiętością (długością) schematu H, którą oznaczamy jako δ(H),
nazywamy odległość między dwoma skrajnymi pozycjami ustalonymi.
Schemat 1*10* ma rozpiętość równą 3, gdyż ostatnia pozycja ustalona ma
numer 4, a pierwsza numer 1, więc odległość między nimi wynosi 3. Jeśli
mamy tylko jedną pozycję ustaloną to rozpiętość schematu wynosi 0
Radosław Czarnecki
Schematy Johna Hollanda
Różne schematy mają różne właściwości.
Właściwości schematów
1
2
Rzędem schematu H, który oznaczamy jako o(H), nazywamy liczbę
pozycji ustalonych (zer i jedynek) we wzorcu np. o(1 ∗ 10∗) = 3. Rząd
określa specyficzność (szczegółowość) schematu
Rozpiętością (długością) schematu H, którą oznaczamy jako δ(H),
nazywamy odległość między dwoma skrajnymi pozycjami ustalonymi.
Schemat 1*10* ma rozpiętość równą 3, gdyż ostatnia pozycja ustalona ma
numer 4, a pierwsza numer 1, więc odległość między nimi wynosi 3. Jeśli
mamy tylko jedną pozycję ustaloną to rozpiętość schematu wynosi 0
Radosław Czarnecki
Schematy Johna Hollanda
Różne schematy mają różne właściwości.
Właściwości schematów
1
2
Rzędem schematu H, który oznaczamy jako o(H), nazywamy liczbę
pozycji ustalonych (zer i jedynek) we wzorcu np. o(1 ∗ 10∗) = 3. Rząd
określa specyficzność (szczegółowość) schematu
Rozpiętością (długością) schematu H, którą oznaczamy jako δ(H),
nazywamy odległość między dwoma skrajnymi pozycjami ustalonymi.
Schemat 1*10* ma rozpiętość równą 3, gdyż ostatnia pozycja ustalona ma
numer 4, a pierwsza numer 1, więc odległość między nimi wynosi 3. Jeśli
mamy tylko jedną pozycję ustaloną to rozpiętość schematu wynosi 0
Radosław Czarnecki
Schematy Johna Hollanda
Wpływ selekcji na propagacje schematów
1
2
3
m(H, t + 1) = m(H, t) · f (H)
f
Liczba f (H) określa średnie przystosowanie ciągów będących
reprezentantami schematu H w chwilii t
Liczba
Pf określa średnie przystosowanie całej populacji w chwilii t,
fj
4
5
f = n
Liczebność reprezentacji danego schematu w następnym pokoleniu zmienia
się proporcjonalnie do stosunku średniego przystosowania schematu i
średniego przystosowania całej populacji
Schematy o przystosowaniu wyższym niż średnie z populacji będą miały
większą liczbę reprezentantów w następnym pokoleniu, natomiast
schematy o przystosowaniu niższym niż średnie z populacji orzymają mniej
reprezentantów niż miały dotychczas
Radosław Czarnecki
Schematy Johna Hollanda
Wpływ selekcji na propagacje schematów
1
2
3
m(H, t + 1) = m(H, t) · f (H)
f
Liczba f (H) określa średnie przystosowanie ciągów będących
reprezentantami schematu H w chwilii t
Liczba
Pf określa średnie przystosowanie całej populacji w chwilii t,
fj
4
5
f = n
Liczebność reprezentacji danego schematu w następnym pokoleniu zmienia
się proporcjonalnie do stosunku średniego przystosowania schematu i
średniego przystosowania całej populacji
Schematy o przystosowaniu wyższym niż średnie z populacji będą miały
większą liczbę reprezentantów w następnym pokoleniu, natomiast
schematy o przystosowaniu niższym niż średnie z populacji orzymają mniej
reprezentantów niż miały dotychczas
Radosław Czarnecki
Schematy Johna Hollanda
Wpływ selekcji na propagacje schematów
1
2
3
m(H, t + 1) = m(H, t) · f (H)
f
Liczba f (H) określa średnie przystosowanie ciągów będących
reprezentantami schematu H w chwilii t
Liczba
Pf określa średnie przystosowanie całej populacji w chwilii t,
fj
4
5
f = n
Liczebność reprezentacji danego schematu w następnym pokoleniu zmienia
się proporcjonalnie do stosunku średniego przystosowania schematu i
średniego przystosowania całej populacji
Schematy o przystosowaniu wyższym niż średnie z populacji będą miały
większą liczbę reprezentantów w następnym pokoleniu, natomiast
schematy o przystosowaniu niższym niż średnie z populacji orzymają mniej
reprezentantów niż miały dotychczas
Radosław Czarnecki
Schematy Johna Hollanda
Wpływ selekcji na propagacje schematów
1
2
3
m(H, t + 1) = m(H, t) · f (H)
f
Liczba f (H) określa średnie przystosowanie ciągów będących
reprezentantami schematu H w chwilii t
Liczba
Pf określa średnie przystosowanie całej populacji w chwilii t,
fj
4
5
f = n
Liczebność reprezentacji danego schematu w następnym pokoleniu zmienia
się proporcjonalnie do stosunku średniego przystosowania schematu i
średniego przystosowania całej populacji
Schematy o przystosowaniu wyższym niż średnie z populacji będą miały
większą liczbę reprezentantów w następnym pokoleniu, natomiast
schematy o przystosowaniu niższym niż średnie z populacji orzymają mniej
reprezentantów niż miały dotychczas
Radosław Czarnecki
Schematy Johna Hollanda
Wpływ selekcji na propagacje schematów
1
2
3
m(H, t + 1) = m(H, t) · f (H)
f
Liczba f (H) określa średnie przystosowanie ciągów będących
reprezentantami schematu H w chwilii t
Liczba
Pf określa średnie przystosowanie całej populacji w chwilii t,
fj
4
5
f = n
Liczebność reprezentacji danego schematu w następnym pokoleniu zmienia
się proporcjonalnie do stosunku średniego przystosowania schematu i
średniego przystosowania całej populacji
Schematy o przystosowaniu wyższym niż średnie z populacji będą miały
większą liczbę reprezentantów w następnym pokoleniu, natomiast
schematy o przystosowaniu niższym niż średnie z populacji orzymają mniej
reprezentantów niż miały dotychczas
Radosław Czarnecki
Schematy Johna Hollanda
Wpływ selekcji na propagacje schematów
1
2
3
m(H, t + 1) = m(H, t) · f (H)
f
Liczba f (H) określa średnie przystosowanie ciągów będących
reprezentantami schematu H w chwilii t
Liczba
Pf określa średnie przystosowanie całej populacji w chwilii t,
fj
4
5
f = n
Liczebność reprezentacji danego schematu w następnym pokoleniu zmienia
się proporcjonalnie do stosunku średniego przystosowania schematu i
średniego przystosowania całej populacji
Schematy o przystosowaniu wyższym niż średnie z populacji będą miały
większą liczbę reprezentantów w następnym pokoleniu, natomiast
schematy o przystosowaniu niższym niż średnie z populacji orzymają mniej
reprezentantów niż miały dotychczas
Radosław Czarnecki
Schematy Johna Hollanda
Wpływ selekcji na propagację schematów
1
2
3
4
5
6
Załóżmy, że pewien schemat H przewyższa średnie przystosowanie
populacji o wielkość cf , gdzie c jest stałą. Przy takim założeniu można
zapisać równanie schematów następująco:
m(H, t + 1) = m(H, t) · f +cf = (1 + c) · m(H, t)
f
Startując od t = 0 i zakładając, że c nie zmienia się w czasie,
otrzymujemy zależność
m(H, t) = m(H, 0) · (1 + c)t
Można tutaj rozpoznać wzór na postęp geometryczny, czyli dyskretny
odpowiednik funkcji wykładniczej
Stąd wniosek, że schematy lepsze (gorsze) od przeciętnej są wybierane w
liczbie przypadków rosnącej (malejącej) wykładniczo w czasie
Radosław Czarnecki
Schematy Johna Hollanda
Wpływ selekcji na propagację schematów
1
2
3
4
5
6
Załóżmy, że pewien schemat H przewyższa średnie przystosowanie
populacji o wielkość cf , gdzie c jest stałą. Przy takim założeniu można
zapisać równanie schematów następująco:
m(H, t + 1) = m(H, t) · f +cf = (1 + c) · m(H, t)
f
Startując od t = 0 i zakładając, że c nie zmienia się w czasie,
otrzymujemy zależność
m(H, t) = m(H, 0) · (1 + c)t
Można tutaj rozpoznać wzór na postęp geometryczny, czyli dyskretny
odpowiednik funkcji wykładniczej
Stąd wniosek, że schematy lepsze (gorsze) od przeciętnej są wybierane w
liczbie przypadków rosnącej (malejącej) wykładniczo w czasie
Radosław Czarnecki
Schematy Johna Hollanda
Wpływ selekcji na propagację schematów
1
2
3
4
5
6
Załóżmy, że pewien schemat H przewyższa średnie przystosowanie
populacji o wielkość cf , gdzie c jest stałą. Przy takim założeniu można
zapisać równanie schematów następująco:
m(H, t + 1) = m(H, t) · f +cf = (1 + c) · m(H, t)
f
Startując od t = 0 i zakładając, że c nie zmienia się w czasie,
otrzymujemy zależność
m(H, t) = m(H, 0) · (1 + c)t
Można tutaj rozpoznać wzór na postęp geometryczny, czyli dyskretny
odpowiednik funkcji wykładniczej
Stąd wniosek, że schematy lepsze (gorsze) od przeciętnej są wybierane w
liczbie przypadków rosnącej (malejącej) wykładniczo w czasie
Radosław Czarnecki
Schematy Johna Hollanda
Wpływ selekcji na propagację schematów
1
2
3
4
5
6
Załóżmy, że pewien schemat H przewyższa średnie przystosowanie
populacji o wielkość cf , gdzie c jest stałą. Przy takim założeniu można
zapisać równanie schematów następująco:
m(H, t + 1) = m(H, t) · f +cf = (1 + c) · m(H, t)
f
Startując od t = 0 i zakładając, że c nie zmienia się w czasie,
otrzymujemy zależność
m(H, t) = m(H, 0) · (1 + c)t
Można tutaj rozpoznać wzór na postęp geometryczny, czyli dyskretny
odpowiednik funkcji wykładniczej
Stąd wniosek, że schematy lepsze (gorsze) od przeciętnej są wybierane w
liczbie przypadków rosnącej (malejącej) wykładniczo w czasie
Radosław Czarnecki
Schematy Johna Hollanda
Wpływ selekcji na propagację schematów
1
2
3
4
5
6
Załóżmy, że pewien schemat H przewyższa średnie przystosowanie
populacji o wielkość cf , gdzie c jest stałą. Przy takim założeniu można
zapisać równanie schematów następująco:
m(H, t + 1) = m(H, t) · f +cf = (1 + c) · m(H, t)
f
Startując od t = 0 i zakładając, że c nie zmienia się w czasie,
otrzymujemy zależność
m(H, t) = m(H, 0) · (1 + c)t
Można tutaj rozpoznać wzór na postęp geometryczny, czyli dyskretny
odpowiednik funkcji wykładniczej
Stąd wniosek, że schematy lepsze (gorsze) od przeciętnej są wybierane w
liczbie przypadków rosnącej (malejącej) wykładniczo w czasie
Radosław Czarnecki
Schematy Johna Hollanda
Wpływ selekcji na propagację schematów
1
2
3
4
5
6
Załóżmy, że pewien schemat H przewyższa średnie przystosowanie
populacji o wielkość cf , gdzie c jest stałą. Przy takim założeniu można
zapisać równanie schematów następująco:
m(H, t + 1) = m(H, t) · f +cf = (1 + c) · m(H, t)
f
Startując od t = 0 i zakładając, że c nie zmienia się w czasie,
otrzymujemy zależność
m(H, t) = m(H, 0) · (1 + c)t
Można tutaj rozpoznać wzór na postęp geometryczny, czyli dyskretny
odpowiednik funkcji wykładniczej
Stąd wniosek, że schematy lepsze (gorsze) od przeciętnej są wybierane w
liczbie przypadków rosnącej (malejącej) wykładniczo w czasie
Radosław Czarnecki
Schematy Johna Hollanda
Wpływ selekcji na propagację schematów
1
2
3
4
5
6
Załóżmy, że pewien schemat H przewyższa średnie przystosowanie
populacji o wielkość cf , gdzie c jest stałą. Przy takim założeniu można
zapisać równanie schematów następująco:
m(H, t + 1) = m(H, t) · f +cf = (1 + c) · m(H, t)
f
Startując od t = 0 i zakładając, że c nie zmienia się w czasie,
otrzymujemy zależność
m(H, t) = m(H, 0) · (1 + c)t
Można tutaj rozpoznać wzór na postęp geometryczny, czyli dyskretny
odpowiednik funkcji wykładniczej
Stąd wniosek, że schematy lepsze (gorsze) od przeciętnej są wybierane w
liczbie przypadków rosnącej (malejącej) wykładniczo w czasie
Radosław Czarnecki
Schematy Johna Hollanda
Wpływ krzyżowania na propagację schematów
Selekcja nie przyczynia się w żaden sposób do eksploracji nowych obszarów
przestrzeni rozwiązań, gdyż nie wprowadza nowych łańcuchów
Operacja krzyżowania dokonuje uporządkowanej, choć zawierającej
element przypadku wymiany informacji między dwoma ciągami kodowymi
Schematy różnią się wrażliwością na krzyżowanie. Przykładowo mając dwa
schematy H1 = ∗1 ∗ ∗ ∗ ∗0 oraz H2 = ∗ ∗ ∗10 ∗ ∗ i wybierając punkt
krżyżowania (w krżyżowaniu prostym) pomiędzy 3-cią, a 4-tą pozycją,
łatwo zauważyć, że schemat H1 najprawdopodobniej ulegnie zniszczeniu.
Symbole 1 na pozycji 2 oraz 0 na pozycji 7 znajdą się w dwóch różnych
ciągach potomnych. Natomiast schemat H2 przetrwa to krzyżowanie
Radosław Czarnecki
Schematy Johna Hollanda
Wpływ krzyżowania na propagację schematów
Selekcja nie przyczynia się w żaden sposób do eksploracji nowych obszarów
przestrzeni rozwiązań, gdyż nie wprowadza nowych łańcuchów
Operacja krzyżowania dokonuje uporządkowanej, choć zawierającej
element przypadku wymiany informacji między dwoma ciągami kodowymi
Schematy różnią się wrażliwością na krzyżowanie. Przykładowo mając dwa
schematy H1 = ∗1 ∗ ∗ ∗ ∗0 oraz H2 = ∗ ∗ ∗10 ∗ ∗ i wybierając punkt
krżyżowania (w krżyżowaniu prostym) pomiędzy 3-cią, a 4-tą pozycją,
łatwo zauważyć, że schemat H1 najprawdopodobniej ulegnie zniszczeniu.
Symbole 1 na pozycji 2 oraz 0 na pozycji 7 znajdą się w dwóch różnych
ciągach potomnych. Natomiast schemat H2 przetrwa to krzyżowanie
Radosław Czarnecki
Schematy Johna Hollanda
Wpływ krzyżowania na propagację schematów
Selekcja nie przyczynia się w żaden sposób do eksploracji nowych obszarów
przestrzeni rozwiązań, gdyż nie wprowadza nowych łańcuchów
Operacja krzyżowania dokonuje uporządkowanej, choć zawierającej
element przypadku wymiany informacji między dwoma ciągami kodowymi
Schematy różnią się wrażliwością na krzyżowanie. Przykładowo mając dwa
schematy H1 = ∗1 ∗ ∗ ∗ ∗0 oraz H2 = ∗ ∗ ∗10 ∗ ∗ i wybierając punkt
krżyżowania (w krżyżowaniu prostym) pomiędzy 3-cią, a 4-tą pozycją,
łatwo zauważyć, że schemat H1 najprawdopodobniej ulegnie zniszczeniu.
Symbole 1 na pozycji 2 oraz 0 na pozycji 7 znajdą się w dwóch różnych
ciągach potomnych. Natomiast schemat H2 przetrwa to krzyżowanie
Radosław Czarnecki
Schematy Johna Hollanda
Wpływ krzyżowania na propagację schematów
Selekcja nie przyczynia się w żaden sposób do eksploracji nowych obszarów
przestrzeni rozwiązań, gdyż nie wprowadza nowych łańcuchów
Operacja krzyżowania dokonuje uporządkowanej, choć zawierającej
element przypadku wymiany informacji między dwoma ciągami kodowymi
Schematy różnią się wrażliwością na krzyżowanie. Przykładowo mając dwa
schematy H1 = ∗1 ∗ ∗ ∗ ∗0 oraz H2 = ∗ ∗ ∗10 ∗ ∗ i wybierając punkt
krżyżowania (w krżyżowaniu prostym) pomiędzy 3-cią, a 4-tą pozycją,
łatwo zauważyć, że schemat H1 najprawdopodobniej ulegnie zniszczeniu.
Symbole 1 na pozycji 2 oraz 0 na pozycji 7 znajdą się w dwóch różnych
ciągach potomnych. Natomiast schemat H2 przetrwa to krzyżowanie
Radosław Czarnecki
Schematy Johna Hollanda
Wpływ krzyżowania na propagację schematów
1
2
3
4
5
6
Ogólnie prawdopodobieństwo przeżycia krzyżowania (ps ) przez schemat
można wyrazić za pomocą nierówności:
ps ­ 1 − pc · δ(H)
l−1
Gdzie pc to prawdopodobieństwo krzyżowania, δ(H) to rozpiętość
schematu, natomiast l to liczba wszystkich pozycji w łańcuchu
Łączny efekt selekcji i krzyżowania można wyrazić za pomocą nierówności:
]
m(H, t + 1) ­ m(H, t) · f (H) · [1 − pc · δ(H)
l−1
f
Schematy, które mają przystosowanie wyższe od średniej i małą rozpiętość
będą rozprzestrzeniać się zgodnie z wykładniczym prawem wzrostu
Radosław Czarnecki
Schematy Johna Hollanda
Wpływ krzyżowania na propagację schematów
1
2
3
4
5
6
Ogólnie prawdopodobieństwo przeżycia krzyżowania (ps ) przez schemat
można wyrazić za pomocą nierówności:
ps ­ 1 − pc · δ(H)
l−1
Gdzie pc to prawdopodobieństwo krzyżowania, δ(H) to rozpiętość
schematu, natomiast l to liczba wszystkich pozycji w łańcuchu
Łączny efekt selekcji i krzyżowania można wyrazić za pomocą nierówności:
]
m(H, t + 1) ­ m(H, t) · f (H) · [1 − pc · δ(H)
l−1
f
Schematy, które mają przystosowanie wyższe od średniej i małą rozpiętość
będą rozprzestrzeniać się zgodnie z wykładniczym prawem wzrostu
Radosław Czarnecki
Schematy Johna Hollanda
Wpływ krzyżowania na propagację schematów
1
2
3
4
5
6
Ogólnie prawdopodobieństwo przeżycia krzyżowania (ps ) przez schemat
można wyrazić za pomocą nierówności:
ps ­ 1 − pc · δ(H)
l−1
Gdzie pc to prawdopodobieństwo krzyżowania, δ(H) to rozpiętość
schematu, natomiast l to liczba wszystkich pozycji w łańcuchu
Łączny efekt selekcji i krzyżowania można wyrazić za pomocą nierówności:
]
m(H, t + 1) ­ m(H, t) · f (H) · [1 − pc · δ(H)
l−1
f
Schematy, które mają przystosowanie wyższe od średniej i małą rozpiętość
będą rozprzestrzeniać się zgodnie z wykładniczym prawem wzrostu
Radosław Czarnecki
Schematy Johna Hollanda
Wpływ krzyżowania na propagację schematów
1
2
3
4
5
6
Ogólnie prawdopodobieństwo przeżycia krzyżowania (ps ) przez schemat
można wyrazić za pomocą nierówności:
ps ­ 1 − pc · δ(H)
l−1
Gdzie pc to prawdopodobieństwo krzyżowania, δ(H) to rozpiętość
schematu, natomiast l to liczba wszystkich pozycji w łańcuchu
Łączny efekt selekcji i krzyżowania można wyrazić za pomocą nierówności:
]
m(H, t + 1) ­ m(H, t) · f (H) · [1 − pc · δ(H)
l−1
f
Schematy, które mają przystosowanie wyższe od średniej i małą rozpiętość
będą rozprzestrzeniać się zgodnie z wykładniczym prawem wzrostu
Radosław Czarnecki
Schematy Johna Hollanda
Wpływ krzyżowania na propagację schematów
1
2
3
4
5
6
Ogólnie prawdopodobieństwo przeżycia krzyżowania (ps ) przez schemat
można wyrazić za pomocą nierówności:
ps ­ 1 − pc · δ(H)
l−1
Gdzie pc to prawdopodobieństwo krzyżowania, δ(H) to rozpiętość
schematu, natomiast l to liczba wszystkich pozycji w łańcuchu
Łączny efekt selekcji i krzyżowania można wyrazić za pomocą nierówności:
]
m(H, t + 1) ­ m(H, t) · f (H) · [1 − pc · δ(H)
l−1
f
Schematy, które mają przystosowanie wyższe od średniej i małą rozpiętość
będą rozprzestrzeniać się zgodnie z wykładniczym prawem wzrostu
Radosław Czarnecki
Schematy Johna Hollanda
Wpływ krzyżowania na propagację schematów
1
2
3
4
5
6
Ogólnie prawdopodobieństwo przeżycia krzyżowania (ps ) przez schemat
można wyrazić za pomocą nierówności:
ps ­ 1 − pc · δ(H)
l−1
Gdzie pc to prawdopodobieństwo krzyżowania, δ(H) to rozpiętość
schematu, natomiast l to liczba wszystkich pozycji w łańcuchu
Łączny efekt selekcji i krzyżowania można wyrazić za pomocą nierówności:
]
m(H, t + 1) ­ m(H, t) · f (H) · [1 − pc · δ(H)
l−1
f
Schematy, które mają przystosowanie wyższe od średniej i małą rozpiętość
będą rozprzestrzeniać się zgodnie z wykładniczym prawem wzrostu
Radosław Czarnecki
Schematy Johna Hollanda
Wpływ krzyżowania na propagację schematów
1
2
3
4
5
6
Ogólnie prawdopodobieństwo przeżycia krzyżowania (ps ) przez schemat
można wyrazić za pomocą nierówności:
ps ­ 1 − pc · δ(H)
l−1
Gdzie pc to prawdopodobieństwo krzyżowania, δ(H) to rozpiętość
schematu, natomiast l to liczba wszystkich pozycji w łańcuchu
Łączny efekt selekcji i krzyżowania można wyrazić za pomocą nierówności:
]
m(H, t + 1) ­ m(H, t) · f (H) · [1 − pc · δ(H)
l−1
f
Schematy, które mają przystosowanie wyższe od średniej i małą rozpiętość
będą rozprzestrzeniać się zgodnie z wykładniczym prawem wzrostu
Radosław Czarnecki
Schematy Johna Hollanda
Wpływ mutacji na propagację schematów
1
2
3
4
Mutacja polega na losowej zmianie zawartości poszczególnych pozycji z
prawdopodobieństwem pm
Aby schemat H przeżył mutację, muszą się zachować wszystkie jego
pozycje ustalone
Dany schemat H przeżyje mutację z prawdopodobieństwem (1 − pm )o(H) ,
mutacje na poszczególnych pozycjach są statystycznie niezależne
Dla małych wartości pm (pm << 1), prawdopodobieństwo przeżycia mutacji
można aproksymować za pomocą wyrażenia 1 − o(H) · pm
Radosław Czarnecki
Schematy Johna Hollanda
Wpływ mutacji na propagację schematów
1
2
3
4
Mutacja polega na losowej zmianie zawartości poszczególnych pozycji z
prawdopodobieństwem pm
Aby schemat H przeżył mutację, muszą się zachować wszystkie jego
pozycje ustalone
Dany schemat H przeżyje mutację z prawdopodobieństwem (1 − pm )o(H) ,
mutacje na poszczególnych pozycjach są statystycznie niezależne
Dla małych wartości pm (pm << 1), prawdopodobieństwo przeżycia mutacji
można aproksymować za pomocą wyrażenia 1 − o(H) · pm
Radosław Czarnecki
Schematy Johna Hollanda
Wpływ mutacji na propagację schematów
1
2
3
4
Mutacja polega na losowej zmianie zawartości poszczególnych pozycji z
prawdopodobieństwem pm
Aby schemat H przeżył mutację, muszą się zachować wszystkie jego
pozycje ustalone
Dany schemat H przeżyje mutację z prawdopodobieństwem (1 − pm )o(H) ,
mutacje na poszczególnych pozycjach są statystycznie niezależne
Dla małych wartości pm (pm << 1), prawdopodobieństwo przeżycia mutacji
można aproksymować za pomocą wyrażenia 1 − o(H) · pm
Radosław Czarnecki
Schematy Johna Hollanda
Wpływ mutacji na propagację schematów
1
2
3
4
Mutacja polega na losowej zmianie zawartości poszczególnych pozycji z
prawdopodobieństwem pm
Aby schemat H przeżył mutację, muszą się zachować wszystkie jego
pozycje ustalone
Dany schemat H przeżyje mutację z prawdopodobieństwem (1 − pm )o(H) ,
mutacje na poszczególnych pozycjach są statystycznie niezależne
Dla małych wartości pm (pm << 1), prawdopodobieństwo przeżycia mutacji
można aproksymować za pomocą wyrażenia 1 − o(H) · pm
Radosław Czarnecki
Schematy Johna Hollanda
Wpływ mutacji na propagację schematów
1
2
3
4
Mutacja polega na losowej zmianie zawartości poszczególnych pozycji z
prawdopodobieństwem pm
Aby schemat H przeżył mutację, muszą się zachować wszystkie jego
pozycje ustalone
Dany schemat H przeżyje mutację z prawdopodobieństwem (1 − pm )o(H) ,
mutacje na poszczególnych pozycjach są statystycznie niezależne
Dla małych wartości pm (pm << 1), prawdopodobieństwo przeżycia mutacji
można aproksymować za pomocą wyrażenia 1 − o(H) · pm
Radosław Czarnecki
Schematy Johna Hollanda
Oczekiwana liczba reprezentantów schematu H w następnym pokoleniu,
otrzymanym w wyniku selekcji, krzyżowania i mutacji spełnia następującą
nierówność:
− o(H)pm ]
m(H, t + 1) ­ m(H, t) · f (H) · [1 − pc · δ(H)
l−1
f
Twierdzenie o schematach
”Wąskie, niskiego rzędu i dobrze przystosowane schematy rozprzestrzeniają się
w kolejnych pokoleniach zgodnie z wykładniczym prawem wzrostu”
Radosław Czarnecki
Schematy Johna Hollanda
Oczekiwana liczba reprezentantów schematu H w następnym pokoleniu,
otrzymanym w wyniku selekcji, krzyżowania i mutacji spełnia następującą
nierówność:
− o(H)pm ]
m(H, t + 1) ­ m(H, t) · f (H) · [1 − pc · δ(H)
l−1
f
Twierdzenie o schematach
”Wąskie, niskiego rzędu i dobrze przystosowane schematy rozprzestrzeniają się
w kolejnych pokoleniach zgodnie z wykładniczym prawem wzrostu”
Radosław Czarnecki
Schematy Johna Hollanda
Oczekiwana liczba reprezentantów schematu H w następnym pokoleniu,
otrzymanym w wyniku selekcji, krzyżowania i mutacji spełnia następującą
nierówność:
− o(H)pm ]
m(H, t + 1) ­ m(H, t) · f (H) · [1 − pc · δ(H)
l−1
f
Twierdzenie o schematach
”Wąskie, niskiego rzędu i dobrze przystosowane schematy rozprzestrzeniają się
w kolejnych pokoleniach zgodnie z wykładniczym prawem wzrostu”
Radosław Czarnecki
Schematy Johna Hollanda
Schematy biorące efektywny udział w przetwarzaniu, to te, których
reprezentacja zwiększa się w pożądany wykładniczy sposób, często są one
nazywane cegiełkami
Własność ukrytej równoległości
”W algorytmie genetycznym działającym na n strukturach, w każdym pokoleniu
ulega efektywnemu przetworzeniu jakieś n3 schematów” (Holland, 1985 r.)
Radosław Czarnecki
Schematy Johna Hollanda
Hipoteza cegiełek
Dobrze przystosowane schematy niskiego rzędu i o małej rozpiętości (tzw.
cegiełki) są nieustannie wybierane, zestawiane i powielane, tworząc ciągi
kodowe o potencjalnie wyższym przystosowaniu
Wyzyskując te charakterystyczne schematy redukujemy w pewnym sensie
złożoność problemu, zamiast próbować każdej możliwej kombinacji,
budujemy coraz lepsze ciągi z najlepszych rozwiązań częściowych
dotychczas znalezionych
”Tak jak dziecko buduje swoje imponujące fortece, układając i
dopasowując drewniane klocki, algorytm genetyczny dochodzi do niemal
optymalnej wydajności zestawiając schematy-cegiełki” (Goldberg)
Hipoteza cegiełek znalazła doświadczalne potwierdzenie w wielu różnych
dziedzinach problemowych
Radosław Czarnecki
Schematy Johna Hollanda
Hipoteza cegiełek
Dobrze przystosowane schematy niskiego rzędu i o małej rozpiętości (tzw.
cegiełki) są nieustannie wybierane, zestawiane i powielane, tworząc ciągi
kodowe o potencjalnie wyższym przystosowaniu
Wyzyskując te charakterystyczne schematy redukujemy w pewnym sensie
złożoność problemu, zamiast próbować każdej możliwej kombinacji,
budujemy coraz lepsze ciągi z najlepszych rozwiązań częściowych
dotychczas znalezionych
”Tak jak dziecko buduje swoje imponujące fortece, układając i
dopasowując drewniane klocki, algorytm genetyczny dochodzi do niemal
optymalnej wydajności zestawiając schematy-cegiełki” (Goldberg)
Hipoteza cegiełek znalazła doświadczalne potwierdzenie w wielu różnych
dziedzinach problemowych
Radosław Czarnecki
Schematy Johna Hollanda
Hipoteza cegiełek
Dobrze przystosowane schematy niskiego rzędu i o małej rozpiętości (tzw.
cegiełki) są nieustannie wybierane, zestawiane i powielane, tworząc ciągi
kodowe o potencjalnie wyższym przystosowaniu
Wyzyskując te charakterystyczne schematy redukujemy w pewnym sensie
złożoność problemu, zamiast próbować każdej możliwej kombinacji,
budujemy coraz lepsze ciągi z najlepszych rozwiązań częściowych
dotychczas znalezionych
”Tak jak dziecko buduje swoje imponujące fortece, układając i
dopasowując drewniane klocki, algorytm genetyczny dochodzi do niemal
optymalnej wydajności zestawiając schematy-cegiełki” (Goldberg)
Hipoteza cegiełek znalazła doświadczalne potwierdzenie w wielu różnych
dziedzinach problemowych
Radosław Czarnecki
Schematy Johna Hollanda
Hipoteza cegiełek
Dobrze przystosowane schematy niskiego rzędu i o małej rozpiętości (tzw.
cegiełki) są nieustannie wybierane, zestawiane i powielane, tworząc ciągi
kodowe o potencjalnie wyższym przystosowaniu
Wyzyskując te charakterystyczne schematy redukujemy w pewnym sensie
złożoność problemu, zamiast próbować każdej możliwej kombinacji,
budujemy coraz lepsze ciągi z najlepszych rozwiązań częściowych
dotychczas znalezionych
”Tak jak dziecko buduje swoje imponujące fortece, układając i
dopasowując drewniane klocki, algorytm genetyczny dochodzi do niemal
optymalnej wydajności zestawiając schematy-cegiełki” (Goldberg)
Hipoteza cegiełek znalazła doświadczalne potwierdzenie w wielu różnych
dziedzinach problemowych
Radosław Czarnecki
Schematy Johna Hollanda
Hipoteza cegiełek
Dobrze przystosowane schematy niskiego rzędu i o małej rozpiętości (tzw.
cegiełki) są nieustannie wybierane, zestawiane i powielane, tworząc ciągi
kodowe o potencjalnie wyższym przystosowaniu
Wyzyskując te charakterystyczne schematy redukujemy w pewnym sensie
złożoność problemu, zamiast próbować każdej możliwej kombinacji,
budujemy coraz lepsze ciągi z najlepszych rozwiązań częściowych
dotychczas znalezionych
”Tak jak dziecko buduje swoje imponujące fortece, układając i
dopasowując drewniane klocki, algorytm genetyczny dochodzi do niemal
optymalnej wydajności zestawiając schematy-cegiełki” (Goldberg)
Hipoteza cegiełek znalazła doświadczalne potwierdzenie w wielu różnych
dziedzinach problemowych
Radosław Czarnecki
Schematy Johna Hollanda
Problemy zwodnicze
Nie zawsze algorytm genetyczny prowadzi do znalezienia (jest zbieżny do)
globalnego rozwiązania optymalnego, czasami znajdowane są rozwiązania
suboptymalne (optima lokalne)
Tzw. problemy zwodnicze starają się skierować algorytm genetyczny na
fałszywe tory. W takich problemach występują izolowane optima, punkty
najlepsze są otoczone przez najgorsze. Założeniem w problemach
zwodniczych jest doprowadzenie do takiej sytuacji, żeby małe cegiełki
łączyły się w niewłaściwe (nieoptymalne) większe bloki
Próby doświadczalne wykazały jednak, że algorytmy genetyczne dość
dobrze radzą sobie z takimi problemami (szczególnie gdy liczba
reprezentantów różnych schematów w populacji początkowej jest w miarę
jednakowa) i nie dają łatwo ”wyprowadzić się w pole”
Radosław Czarnecki
Schematy Johna Hollanda
Problemy zwodnicze
Nie zawsze algorytm genetyczny prowadzi do znalezienia (jest zbieżny do)
globalnego rozwiązania optymalnego, czasami znajdowane są rozwiązania
suboptymalne (optima lokalne)
Tzw. problemy zwodnicze starają się skierować algorytm genetyczny na
fałszywe tory. W takich problemach występują izolowane optima, punkty
najlepsze są otoczone przez najgorsze. Założeniem w problemach
zwodniczych jest doprowadzenie do takiej sytuacji, żeby małe cegiełki
łączyły się w niewłaściwe (nieoptymalne) większe bloki
Próby doświadczalne wykazały jednak, że algorytmy genetyczne dość
dobrze radzą sobie z takimi problemami (szczególnie gdy liczba
reprezentantów różnych schematów w populacji początkowej jest w miarę
jednakowa) i nie dają łatwo ”wyprowadzić się w pole”
Radosław Czarnecki
Schematy Johna Hollanda
Problemy zwodnicze
Nie zawsze algorytm genetyczny prowadzi do znalezienia (jest zbieżny do)
globalnego rozwiązania optymalnego, czasami znajdowane są rozwiązania
suboptymalne (optima lokalne)
Tzw. problemy zwodnicze starają się skierować algorytm genetyczny na
fałszywe tory. W takich problemach występują izolowane optima, punkty
najlepsze są otoczone przez najgorsze. Założeniem w problemach
zwodniczych jest doprowadzenie do takiej sytuacji, żeby małe cegiełki
łączyły się w niewłaściwe (nieoptymalne) większe bloki
Próby doświadczalne wykazały jednak, że algorytmy genetyczne dość
dobrze radzą sobie z takimi problemami (szczególnie gdy liczba
reprezentantów różnych schematów w populacji początkowej jest w miarę
jednakowa) i nie dają łatwo ”wyprowadzić się w pole”
Radosław Czarnecki
Schematy Johna Hollanda
Problemy zwodnicze
Nie zawsze algorytm genetyczny prowadzi do znalezienia (jest zbieżny do)
globalnego rozwiązania optymalnego, czasami znajdowane są rozwiązania
suboptymalne (optima lokalne)
Tzw. problemy zwodnicze starają się skierować algorytm genetyczny na
fałszywe tory. W takich problemach występują izolowane optima, punkty
najlepsze są otoczone przez najgorsze. Założeniem w problemach
zwodniczych jest doprowadzenie do takiej sytuacji, żeby małe cegiełki
łączyły się w niewłaściwe (nieoptymalne) większe bloki
Próby doświadczalne wykazały jednak, że algorytmy genetyczne dość
dobrze radzą sobie z takimi problemami (szczególnie gdy liczba
reprezentantów różnych schematów w populacji początkowej jest w miarę
jednakowa) i nie dają łatwo ”wyprowadzić się w pole”
Radosław Czarnecki
Schematy Johna Hollanda
Bibliografia
David E. Goldberg. ”Algorytmy genetyczne i ich zastosowania”. WNT,
Warszawa 2003 r.
Zbigniew Michalewicz. ”Algorytmy genetyczne + struktury danych =
programy ewolucyjne”. WNT, Warszawa 2003 r.
Radosław Czarnecki
Schematy Johna Hollanda
Dziękuję za uwagę.
Radosław Czarnecki
Schematy Johna Hollanda