Obliczenia Naturalne - Algorytmy genetyczne

Transkrypt

Wstęp
Reprodukcja
Krzyżowanie
Architektura równoległa
Literatura
Kodowanie
Paweł Paduch
Politechnika Świętokrzyska
27 marca 2014
Paweł Paduch
1 z 45
Wstęp
Reprodukcja
Krzyżowanie
Literatura
Kodowanie
Plan wykładu
1
Wstęp
Literatura
Kodowanie
2
Reprodukcja
Modele De Janga
Alternatywne metody selekcji
3
Krzyżowanie
PMX
OX
CX
4
Synchroniczna scentralizowania
Półsynchroniczna scentralizowania
Asynchroniczna rozproszona
Organizacja sieciowa
Paweł Paduch
2 z 45
Wstęp
Reprodukcja
Krzyżowanie
Literatura
Kodowanie
Literatura
Mariusz Flasiński - Wstęp do sztucznej inteligencji, PWN, 2011
Jarosław Arabas - Wykłady z algorytmów ewolucyjnych, WNT,
2001
David Edward Goldberg - Algorytmy genetyczne i ich
zastosowania, WNT, 2009
Zbigniew Michalewicz - Algorytmy genetyczne+struktury
danych=programy ewolucyjne, WNT, 2003
T. D. Gwiazda - Algorytmy Genetyczne - kompendium, Tom 1
i 2, PWN, 2007
Paweł Paduch
3 z 45
Wstęp
Reprodukcja
Krzyżowanie
Literatura
Kodowanie
Kodowanie
Do tej pory używaliśmy kodowania binarnego. Choć daje dość dużą
swobodę nie jest na tyle elastyczne by poradzić sobie z
różnorodnością wielu problemów. AG potrafią wyzyskać
podobieństwa ciągów kodowych niezależnie od metody kodowania jeśli tylko ze schematów-cegiełek da się zbudować prawie
optymalne rozwiązania. Przy doborze kodowania należy kierować
się dwoma zasadami:
Paweł Paduch
4 z 45
Wstęp
Reprodukcja
Krzyżowanie
Literatura
Kodowanie
Kodowanie - zasada znaczących cegiełek
„Kod należy dobierać w taki sposób, żeby schematy niskiego rzędu
i o małej rozpiętości wyrażały własności zadania oraz pozostawały
względnie niezależne od schematów o innych pozycjach
ustalonych.” (Goldberg)
Paweł Paduch
5 z 45
Wstęp
Reprodukcja
Krzyżowanie
Literatura
Kodowanie
Kodowanie - zasada minimalnego alfabetu
„Należy wybrać najmniejszy alfabet, w którym dane zadanie
wyraża się w sposób naturalny.” (Goldberg)
Stosując duże alfabety uniemożliwiamy wykrycie podobieństw
strukturalnych.
Paweł Paduch
6 z 45
Wstęp
Reprodukcja
Krzyżowanie
Literatura
Kodowanie
Kodowanie wielu parametrów
W
używaliśmy liczb całkowitych z przedziału
D przykładach
E
0, 2l − 1 . Żeby odwzorować w zadany przedział hUmin , Umax i
można odwzorować go liniowo, z precyzją:
π=
Umax − Umin
2l − 1
W przypadku wielu parametrów, należy każdy przypisać do bloku
kodowego i połączyć je razem w jeden łańcuch.
Bloki mogą mieć różną długość, oraz reprezentować różne
przedziały hUmin , Umax i
Paweł Paduch
7 z 45
Wstęp
Reprodukcja
Krzyżowanie
Literatura
Kodowanie
Dyskretyzacja
Żeby zastosować AG trzeba
sprowadzić taką funkcję do
postaci parametrycznej.
Paweł Paduch
Rozwiązanie ciągłe
Aproksymacja
liniowa
siła F
Zadania optymalizacyjne
często charakteryzują się nie
pojedynczym parametrem
ale funkcją decyzyjną, której
wartość musi być określona
w każdym punkcie pewnego
kontinuum.
0
t0
t1
t2
t3
czas t
t4
t5
8 z 45
Wstęp
Reprodukcja
Krzyżowanie
Modele De Janga
Modele De Janga
De Jang przeprowadził analizę zachowania genetycznych systemów
adaptacyjnych. W swoich eksperymentach opracował swoiste
stanowisko pomiarowe, składające się z pięciu zadań z zakresu
minimalizacji funkcji. Zaproponował dwa mierniki oceny:
Do oceny poziomu zbieżności
Do oceny efektywności bieżącej
Paweł Paduch
9 z 45
Wstęp
Reprodukcja
Krzyżowanie
Modele De Janga
Poziom zbieżności
Przy ocenie poziomu zbieżności (off-line performance) możemy
przeprowadzać wiele symulacji i zapamiętywać najlepszy wynik
otrzymany po warunku stopu. Efektywność off-line dla środowiska
e strategii s De Jang określił następująco:
xe∗ (s)
T
1 X
=
f ∗ (t)
T 1 e
gdzie fe∗ (t) = opt {fe (1), fe (2), ..., fe (t)}.
Czyli jest to średnia najlepszych aktualnych (do danej próby
włącznie) wartości funkcji celu ze wszystkich prób.
Paweł Paduch
10 z 45
Wstęp
Reprodukcja
Krzyżowanie
Modele De Janga
Ocena efektywności bieżącej
Przy ocenie efektywności bieżącej (on-line performance) wszystkie
wyniki otrzymywane są na bieżąco. Efektywność dla środowiska e
strategii s De Jang określił następująco:
T
1 X
xe (s) =
fe (t)
T 1
gdzie fe (t) jest wartością funkcji celu dla środowiska e w próbie t.
Jest to średnia wartość funkcji celu ze wszystkich prób włącznie z
bieżącą.
Paweł Paduch
11 z 45
Wstęp
Reprodukcja
Krzyżowanie
Modele De Janga
Plany reprodukcyjne De Janga
R1 - jest to cała rodzina planów zależnych od parametrów:
n - wielkość populacji
pc - prawdopodobieństwo krzyżowania
pm - prawdopodobieństwo mutacji
G - współczynnik wymiany (ang. Generation Gap)
R2 - model elitarystyczny
R3 - model wartości oczekiwanej
R4 - elitarystyczny model wartości oczekiwanej
R5 - model ze ściskiem (ang. crowding model)
R6 - model uogólnionego krzyżowania
Paweł Paduch
12 z 45
Wstęp
Reprodukcja
Krzyżowanie
Modele De Janga
Współczynnik wymiany
Parametr G ∈ h0, 1i określa, jaka część osobników będzie
podlegała operatorom genetycznym a jaka (z poprzedniego
pokolenia) przejdzie bez zmian. Liczba osobników do krzyżowania i
mutacji to n · G .
Gdy G = 1 tworzona jest zupełnie nowa generacja.
Paweł Paduch
13 z 45
Wstęp
Reprodukcja
Krzyżowanie
Modele De Janga
Strategia R2
Jeżeli a∗ (t) jest najlepszym osobnikiem wygenerowanym do chwili
t a utworzone w zwykły sposób pokolenie A(t + 1) nie zawiera
a∗ (t), to go dodajemy jako element N + 1.
Strategia R2 jest nieco lepsza od klasycznej R1 tylko dla funkcji
jednorodnych (z jednym maksimum), ponieważ algorytm może
utknąć w maksimach lokalnych.
Paweł Paduch
14 z 45
Wstęp
Reprodukcja
Krzyżowanie
Modele De Janga
Strategia R3
Model wartości oczekiwanej R3.
Obliczamy oczekiwaną liczbę kopii ni = ff¯i dla każdego ciągu
kodowego i. (zakładamy że w każdym pokoleniu reprodukcji
podlega cała populacja).
Za każdym razem gdy jakiś ciąg zostaje wylosowany do
kojarzenia i krzyżowania jego ni ulega zmniejszeniu o 0,5.
Jeżeli dany ciąg podlega tylko replikacji, bez krzyżowania, jego
ni zostaje zmniejszony o 1.
Jeżeli ni < 0 to taki osobnik nie bierze udziału w losowaniu.
Faktyczna liczba potomków nie może być większa niż
reguły jest to poniżej ff¯i + 0, 5
fi
f¯
+1 z
Strategia R3 jest metodą lepszą dla wszystkich funkcji prócz
jednorodnych. Najlepiej działa dla pc = 1.
Paweł Paduch
15 z 45
Wstęp
Reprodukcja
Krzyżowanie
Modele De Janga
Strategia R4
Elitarystyczny model wartości oczekiwanej R4.
Jest to połączenie strategii R2 i R3
W modelu tym zachowujemy najlepszego osobnika oraz
wykonujemy go w strategii R3.
Dla funkci jednomodalnych uzyskano znaczną poprawę.
Paweł Paduch
16 z 45
Wstęp
Reprodukcja
Krzyżowanie
Modele De Janga
Strategia R5
Model „ze ściskiem” R5.
Starsze osobniki są zastępowane przez nowo utworzone
podobne egzemplarze. W celu utrzymania większej
różnorodności populacji.
Zastosowany model to populacja mieszana z G = 0, 1
dodatkowy parametr CF (ang. crowding factor ) czynnik
tłoku/ścisku.
Osobnik przeznaczony do usunięcia był wybierany z podzbioru
CF osobników wylosowanych z całej populacji, kryterium
wyboru to maksymalne podobieństwo do nowo powstałego
osobnika. (minimalna liczba różnic na poszczególnych
pozycjach ciągu).
W strategii R5 uzyskano poprawę optymalizacji funkcji
wielomodalnych.
Paweł Paduch
17 z 45
Wstęp
Reprodukcja
Krzyżowanie
Modele De Janga
Strategia R6
Model uogólnionego krzyżowania.
Dodatkowy parametr CP określający liczbę punktów
krzyżowania. Dla CP = 1 mamy krzyżowanie proste.
W przypadku krzyżowania dla CP parzystego ciąg kodowy
traktowany jest jak pierścień bez początku i końca
W przpadku krzyżowania z nieparzystą liczbą punktów
dodatkowy punkt krzyżowania wypada na początku ciągu w
miejscu 0.
Niestety zwiększenie liczby punktów krzyżowania prowadzi do
obniżenia obu wskaźników efektywności.
Paweł Paduch
18 z 45
Wstęp
Reprodukcja
Krzyżowanie
Modele De Janga
Poza znaną metodą ruletki (wybór losowy z powtórzeniami) gdzie
występują fluktuacje losowe skutkujące sporymi odchyleniami
faktycznej liczby wylosowanych osobników od oczekiwanej, można
stosować wiele innych ciekawych metod wyboru:
deterministyczny
losowy według reszt bez powtórzeń
losowy bez powtórzeń
losowy według reszt z powtórzeniami
losowy z powtórzeniami
turnieje losowe (metoda rang Wetzela)
Paweł Paduch
19 z 45
Wstęp
Reprodukcja
Krzyżowanie
Modele De Janga
Wybór deterministyczny
Obliczamy prawdopodobieństwa reprodukcji pselecti = Pfi f
i
Wyznaczamy liczbę oczekiwanych kopii dla każdego osobnika
ei = pselecti · n, każdy otrzymuje tyle kopii ile wynosi część
całkowita ei
Populacja zostaje uporządkowana według części ułamkowych
ei
Pozostałe wolne miejsca w nowej populacji zostają zapełnione
kopiami osobników wziętych z góry listy
Paweł Paduch
20 z 45
Wstęp
Reprodukcja
Krzyżowanie
Modele De Janga
Wybór losowy według reszt bez powtórzeń
i
całkowita ei
Części ułamkowe oczekiwanych liczb kopii traktujemy jako
prawdopodobieństwa sukcesu w serii kolejnych próbach
Bernoulliego.
Np. Ciąg kodowy dla którego oczekiwana liczba kopii wynosi
1,4 otrzyma 1 kopię na pewno i jedną z
prawdopodobieństwem 0,4.
Działamy w ten sposób dopóki wszystkie miejsca w nowej
populacji nie bedą obsadzone.
Paweł Paduch
21 z 45
Wstęp
Reprodukcja
Krzyżowanie
Modele De Janga
Wybór losowy bez powtórzeń
Jest to inna nazwa modelu wartości oczekiwanej R3 De Jonga.
Paweł Paduch
22 z 45
Wstęp
Reprodukcja
Krzyżowanie
Modele De Janga
Wybór losowy według reszt z powtórzeniami
i
całkowita ei
Części ułamkowe oczekiwanych liczb kopii służą do
skalibrowania tarczy ruletki.
Zostaje ona użyta do wypełnienia pozostałych miejsc w
populacji.
Paweł Paduch
23 z 45
Wstęp
Reprodukcja
Krzyżowanie
Modele De Janga
Turnieje losowe
i
Losowane są pary osobników według reguły ruletki.
Lepszy zawodnik wygrywa i umieszczony zostaje w nowym
pokoleniu.
Proces jest powtarzany do zapełnienia wszystkich miejsc.
Paweł Paduch
24 z 45
Wstęp
Reprodukcja
Krzyżowanie
Modele De Janga
Metoda reprodukcji progowej
Sortujemy populacje według nierosnących wartości
współczynników przystosowania
Ustalamy próg „zaliczenia” :)
Osobnicy, których współczynnik przystosowania spełnił zadany
warunek są powielani.
Paweł Paduch
25 z 45
Wstęp
Reprodukcja
Krzyżowanie
PMX
OX
CX
Krzyżowanie PMX
Krzyżowanie PMX (ang. Partially Matched Crossover ) czyli
krzyżowanie z częściowym odwzorowaniem, zastosowano w
problemie komiwojażera. Przystosowanie jest tu funkcją
uporządkowania f = f (o). Metodą analogiczną do krzyżowania,
umożliwiającą wymianę wzorców uporządkowania między rodzicami
i przekazywanie ich dzieciom jest operacja PMX.
Paweł Paduch
26 z 45
Wstęp
Reprodukcja
Krzyżowanie
PMX
OX
CX
Krzyżowanie PMX
Wybieramy dwa losowe punkty podziału
Punkty te wyznaczają sekcję dopasowania (ang. matching
section)
PMX odbywa się za pomocą kolejnych transpozycji
Załóżmy, że mamy dwa ciągi:
A=8 7 3 |4 5 6 |0 2 1 9
B=7 6 0 |1 2 9 |8 4 3 5
Paweł Paduch
27 z 45
Wstęp
Reprodukcja
Krzyżowanie
PMX
OX
CX
Krzyżowanie PMX
Przenosząc 4 z ciągu A wstawiamy
ją na miejsce 1 w ciągu B, gdyby
tak zostawić mielibyśmy dwie 4 i
żadnej 1. Dlatego zamieniamy 1 i 4
miejscami w ciągu B.
Podobnie 5 z ciągu A trafia na 2 w
ciągu B, 2 z ciągu B przechodzi na
miejsce 5 w ciągu B
A= 8 7 3 4 5 6 0 2 1 9
B = 7 6 0 1 2 9 8 4 3 5
A0 = 8 7 3 1 2 9 0 5 4 6
B0 = 7 9 0 4 5 6 8 1 3 2
Podobnie 6 i 9.
W ciągu A robimy podobne
zamiany: 1 i 4, 2 i 5 oraz 9 i 6
Paweł Paduch
28 z 45
Wstęp
Reprodukcja
Krzyżowanie
PMX
OX
CX
Krzyżowanie OX
Operacja OX (ang. order
crossover ) początek ma podobny
do PMX, czyli wylosowanie sekcji
dopasowania.
Następnie w ciągu A zostawiamy
tylko sekcję dopasowania.
W wolne miejsca, poczynając od
drugiego punktu krzyżowania,
przepisujemy wartości jeszcze nie
występujące w ciągu A (pomijamy
wyszarzone).
Analogicznie postępujemy z
ciągiem B.
Paweł Paduch
A= 8 7 3 4 5 6 0 2 1 9
B = 7 6 0 1 2 9 8 4 3 5
A0 =
4 5 6
A0 =
4 5 6 8
A0 =
4 5 6 8 3
A0 =
4 5 6 8 3 7
A0 =
4 5 6 8 3 7 0
A0 = 1 2 9 4 5 6 8 3 7 0
29 z 45
Wstęp
Reprodukcja
Krzyżowanie
PMX
OX
CX
PMX a OX
Zasadniczo operacje PMX i OX są do siebie podobne z tym że:
PMX ma tendencje do respektowania bezwzględnych pozycji
miast,
OX ma tendencję do utrzymania względnych pozycji miast.
Paweł Paduch
30 z 45
Wstęp
Reprodukcja
Krzyżowanie
PMX
OX
CX
Operacja CX
W krzyżowanie CX (ang. Cycle Crossover ) rekombinacja spełnia
warunek, że pozycja zajmowana przez każde miasto pochodzi od
jednego lub drugiego z rodziców.
Nie wybieramy punktów podziałów tylko
wybieramy pierwsze miasto z trasy A czyli 1.
Patrzymy jakie miasto w ciągu B jest na
pierwszej pozycji jest to 3
Szukamy 3 w kodzie A i patrzymy co jest na
tej samej pozycji kodzie B
Ponieważ była to 4 a pod 4 w A jest 1 w B
to znaczy, że cykl nam się domknął.
A= 1 2 3 4 5 6
B = 3 5 4 1 6 2
A0 = 1
3 4
A0 = 1 5 3 4 6 2
teraz wystarczy uzupełnić resztą miast z
ciągu B.
Paweł Paduch
31 z 45
Wstęp
Reprodukcja
Krzyżowanie
Synchroniczna scentralizowana
Jeden proces nadrzędny
koordynujący k procesów
podrzędnych
Proces nadrzędny
odpowiedzialny jest za
selekcję, kojarzenie oraz
wykonywanie operacji
genetycznych.
Proces
nadrzędny
Proces
podrzędny
Proces
podrzędny
Proces
podrzędny
Procesy podrzędne obliczają
wskaźniki przystosowania.
Paweł Paduch
32 z 45
Wstęp
Reprodukcja
Krzyżowanie
Półsynchroniczna scentralizowana
Przy Synchronicznej organizacji, dla dużej wariancji czasu
obliczeń na poszczególnych węzłach efektywność może być
słaba.
W organizacji półsynchronicznej wymóg synchroniczności
został zniesiony, elementy populacji wstawiane i
selekcjonowane na bieżąco.
Mechanizm działa podobnie jak w populacjach mieszanych De
Jonga przy współczynniku 0 < G < 1.
Wadą jest nadal pełne uzależnienie od procesu nadrzędnego.
Paweł Paduch
33 z 45
Wstęp
Reprodukcja
Krzyżowanie
k identycznych procesów
wykonuje niezależnie od siebie
zarówno operacje genetyczne, jak
i obliczenia wskaźników
przystosowania, korzystając ze
wspólnej pamięci dzielonej.
Jedynie należy zadbać o to by,
dwa procesy nie zapisywały lub
odczytywały w tym samym czasie
z jednego miejsca.
Proces
wsp. 1
Proces
wsp. 9
Proces
wsp. 2
Proces
wsp. 8
Proces
wsp. 3
Pamięć
dzielona
Proces
wsp. 7
Proces
wsp. 4
Proces
wsp. 6
Paweł Paduch
Proces
wsp. 5
34 z 45
Wstęp
Reprodukcja
Krzyżowanie
Model wysp
Każdy proces działa niezależnie ze swoją podpopulacją. Co jakiś
czas niektóre osobniki rozsyłane są przez sieć do innych grup.
Modele wyspowe mogą różnić się co do:
intensywnością migracji, zwykle jeden
jakością migracji, zwykle są to najlepsi, ale można też losować,
częstości wysyłania, co ile pokoleń,
którego osobnika ma zastąpić przybysz (zwykle najgorszego),
oraz topologią i kolejnością połączeń.
Paweł Paduch
35 z 45
Wstęp
Reprodukcja
Krzyżowanie
Topologie organizacji sieciowego algorytmu gnetycznego
Okrąg jednokierunkowy
Każdy z każdym
Wyspa
1
Wyspa
1
Wyspa
6
Wyspa
2
Wyspa
6
Wyspa
2
Wyspa
5
Wyspa
3
Wyspa
5
Wyspa
3
Wyspa
4
Wyspa
4
Paweł Paduch
36 z 45
Wstęp
Reprodukcja
Krzyżowanie
Stopień wysp
Cantú-Paz wprowadził specjalne pojęcie stopnia wysp. Określa
liczbę sąsiednich wysp, do których wysyłane są osobniki.
Zaproponował 3 topologie w których każda z wysp ma stopień
równy 2.
Drabina
Okrąg 1+2
Okrąg 2+3
Cantú-Paz wyznaczył, że dla 8 wysp stopień 2 lub 3 jest najlepszy
w minimalizowaniu czasu konwergencji.
Paweł Paduch
37 z 45
Wstęp
Reprodukcja
Krzyżowanie
Topologie organizacji sieciowego algorytmu genetycznego
Okrąg dwukierunkowy
Okrąg 1+2
Wyspa
1
Wyspa
1
Wyspa
8
Wyspa
6
Wyspa
2
Wyspa
2
Wyspa
7
Wyspa
5
Wyspa
3
Wyspa
3
Wyspa
6
Wyspa
4
Wyspa
4
Wyspa
5
Paweł Paduch
38 z 45
Wstęp
Reprodukcja
Krzyżowanie
Topologie organizacji sieciowego algorytmu genetycznego
Drabina
Okrąg 2+3
Wyspa
1
Wyspa
8
Wyspa
1
Wyspa
5
Wyspa
2
Wyspa
6
Wyspa
3
Wyspa
7
Wyspa
4
Wyspa
8
Wyspa
2
Wyspa
7
Wyspa
3
Wyspa
6
Wyspa
4
Wyspa
5
Paweł Paduch
39 z 45
Wstęp
Reprodukcja
Krzyżowanie
Model wspólnotowy
Wspólnota
Wspólnota
Dom
Rodzice
Dom
Dzieci
Agencja
Klub
Dom
Miasto
Kościół
Dom
Wspólnota
Dworzec
Dom
Wspólnota
Dom
Paweł Paduch
40 z 45
Wstęp
Reprodukcja
Krzyżowanie
Model wspólnotowy
Algorytm genetyczny rozdzielony na zbiór połączonych ze
sobą wspólnot
W skład wspólnot wchodzą domy połączone z miastami, z
których jest dostęp do innych miast
Rodzice robią dzieci w swoich domach (tam wyznacza się
wskaźniki przystosowania)
Starsze potomstwo idzie do klubu młodzieżowego aby znaleźć
partnera
Po zawarciu związku pary trafiają do agencji nieruchomości
Dom można pozyskać w drodze przetargu
Gdy w mieście aktualnie nie ma miejsca agencja może
przydzielić dom w innym mieście, wtedy pary idą na dworzec
autobusowy aby się przeprowadzić.
Paweł Paduch
41 z 45
Wstęp
Reprodukcja
Krzyżowanie
Model pyłkowy
Roślina
Roślina
Roślina
kanały pyłkowe
Roślina
Roślina
Roślina
Roślina
Roślina
Roślina
Paweł Paduch
42 z 45
Wstęp
Reprodukcja
Krzyżowanie
Model pyłkowy
Sieć roślin połączona kanałami.
Pyłki przedostają się do sąsiednich roślin kanałami.
Ziarna kiełkują i rozwijają się w dojrzałe rośliny wytwarzające
pyłek.
Transmisja pyłku danym kanałem jest określona przez pewne
prawdopodobieństwo.
Umożliwia to tworzenie izolowanych (w mniejszym lub
większym stopniu) grup roślin.
Pyłek zapyla dojrzałe rośliny umożliwiając powstanie nowych
nasion.
Lokalnie wybierane są najlepsze ziarna w sposób losowy.
Wybrane ziarna kiełkują i wyrasta nowa roślina.
Paweł Paduch
43 z 45
Wstęp
Reprodukcja
Krzyżowanie
Pytania
?
Paweł Paduch
44 z 45
Wstęp
Reprodukcja
Krzyżowanie
koniec
Dziękuję Państwu za uwagę.
Paweł Paduch
45 z 45

Obliczenia Naturalne - Algorytmy genetyczne

Transkrypt

Podobne dokumenty

Materialy pomocnicze do przedmiotu Podstawy Optymalizacji

Wrocław, 19

Załącznik nr 1 do Uchwały nr 5/2014

Politechnika Gdańska Wydział Elektrotechniki i Automatyki Katedra

Ilustracja 30. Cegiełki na fundusz pomocy dla represjonowanych

ARCHITEKTURA MUZĄ MALARSTWA. Motywy formy

Załącznik_1D_do_Regulaminu_EMS

Spis treści Ziemia i pamięć Anselma Kiefera / 11 Domy w pałacu / 21