Przegląd metod optymalizacji globalnej.

Notes
Optymalizacja globalna
Tomasz M. Gwizdałła
2010.05.26
Różnorodność zagadnień
Notes
• GSO - pozycjonowanie satelitów geostacjonarnych
• ATC - kierowanie ruchem samolotów
• planowanie rozkładu zajęć (timetabling)
• klasyfikacja obrazów medycznych (mammografia)
• projektowanie układów elektronicznych VLSI
• projektowanie układu linii przesyłowych
• automatyzacja procesu pakowania
• analiza konstrukcji kadłubów statków
• analiza kosztów poprzez przydział pracowników do zadań
• analiza możliwości rozkładu emisji gazów
• tworzenie map (rozkład symboli)
• usytuowanie kanałów burzowych
• określanie dawek w terapii rakowej
Różnice pomiędzy algorytmem, a
metaheurystyką
Notes
• algorytm deterministyczny musi
wybrać kierunek lokalnego spadku
funkcji
• algorytm optymalizacji globalnej
musi umieć wybrać inny basen
przyciągania, ”przeskakując”
lokalne maksima
• jest to możliwe tylko poprzez
wprowadzenie czynnika losowego
Algorytmy
• Iteracyjna LO
• Symulowane wyżarzanie
• Algorytm genetyczny
• Poszukiwanie tabu
• Algorytm mrówkowy
• Algorytmy rojowe
Notes
Metoda Czochralskiego - 1916
Notes
• metoda Czochralskiego jest techniką
otrzymywania monokryształów, czyli form
charakteryzujących się optymalnymi
wartościami energii oddziaływań
międzyatomowych
• polega ona na powolnym wyciąganiu
próbki z roztopionego materiału (często
wspomagane jest ono obrotem)
• istotnym czynnikiem jest powolność
procesu, zarówno dotycząca prędkości
wyciągania, jak i schładzania
Algorytm Metropolisa - 1953
Notes
• N.Metropolis, A.Rosenbluth,
M.Rosenbluth, A.Teller, E.Teller,
Equation of State Calculations by Fast
Computing Machines, J. Chem. Phys., 21,
1087, 1953
• praca poświęcona była wykorzystaniu
MANIACa do obliczeń termodynamiki
oddziaływania ”sztywnych dysków”
• określono prawdopodobieństwo przejścia
pomiędzy dowolnymi stanami
−Es
Prs ∝ exp(− ErkT
)
Propozycja Kirkpatricka - 1983
Notes
• S.Kirkpatrick, C.D.Gelatt Jr.,
M.P.Vecchi, ”Optimization by
Simulated Annealing”, Science,
220, 4598, 671-680, 1983
• wskazanie relacji pomiędzy fizyką
statystyczną stanów
równowagowych, a wielokryterialną
optymalizacją kombinatoryczną
• zastosowanie zaproponowanego
schematu do problemu
komiwojażera
Pojęcia
• Rozwiązanie (struktura)
• Rozwiązanie sąsiednie (zmiana stanu)
• Funkcja oceny (energia)
• Parametr kontrolny (temperatura)
• Przestrzeń rozwiązań (przestrzeń stanów)
Notes
Algorytm
Notes
• Wybierz rozwiązanie początkowe
• Znajdź rozwiązanie sąsiednie
• Zaakceptuj rozwiązanie sąsiednie z prawdopodobieństwem
exp(−
1, jeśli energia (funkcja oceny) maleje
Ei −Ei−1
), jeśli energia (funkcja oceny) rośnie
T
Parametry
Notes
Parametry o charakterze proceduralnym
Notes
• rozwiązanie początkowe
• szerokość przedziału losowania
• temperatura początkowa
• przestrzeń rozwiązań
• funkcja oceny
• Sposób znajdowania rozwiązania sąsiedniego
• Schematy schładzania i zmiany szerokości przedziału
losowania
• Warunek stopu
• Sposób reakcji na wyjście poza przestrzeń poszukiwań
Sposób znajdowania kolejnego rozwiązania
Nowa wartość estymaty rozwiązania optymalnego może być
losowana w oparciu o jeden z wielu rozkładów prawdopodobieństwa
odległości od rozwiązania poprzedniego
• równomierny [xi−1 − dx, xi−1 + dx]
• gaussowski exp(−
(x−xi−1 )2
)
2σ 2
• wykładniczy exp(−λ(x − xi−1 ))
Notes
Schematy schładzania (1)
Notes
Problemem wychodzącym poza sam algorytm schładzania jest
określenie sposobu zmiany temperatury
• kiedy ma być dokonana zmiana
• czy preferować dużą liczbę iteracji dla mniejszej liczby
temperatur
1
• czy małą liczbę iteracji dla dużej liczby temperatur 2
Schematy schładzania (2)
Notes
Przykładowe algorytmy schładzania
• geometryczne 1 : tj = α ∗ tj−1
zwykle α ∈ (0.8, 0.99)
•
2:
t
i−1
ti = 1+βt
i−1
β jest małe, wykonywana jest pojedyncza iteracja dla danej
temperatury
c
• ti = log (1+i)
Warunek stopu
Notes
• liczba iteracji
• osiągnięcie zadanej temperatury
• brak poprawy w zadanej liczbie iteracji (możliwe
podgrzewanie)
Rozpoznawanie kształtu
Wykres kliku wybranych przebiegów algorytmu dla parametrów
T = 60, ∆x = 4
η∆x = 0.9, ηT = 0.9
η∆x = 0.97, ηT = 0.97
Notes
Tonga - Cooke 1777
Notes
Tabu jest silnym zakazem odnoszonym
do pewnych dziedzin aktywności
ludzkiej lub zwyczajów społecznych.
Jego źródłem może być nakaz moralny
lub religijny.
Nauszenie tabu wiąże się z sankcją
społeczną lub karną.
Glover
Notes
F.Glover, Future Paths for Integer
Programming and Links to Artificial
Intelligence. Computers and Operations
Research., 13, 533, 1986
P.Hansen, P, The Steepest Ascent
Mildest Descent Heuristic for
Combinatorial Programming. Congress
on Numerical Methods in Combinatorial
Optimization, Capri, Italy, 1986
Strategie
Notes
Parametry
Notes
Algorytm TS jest kombinacją trzech strategii
• Strategia zakazywania (forbidding)
• Strategia uwalniania (freeing)
• Strategia krótkoterminowa (short-term)
• Lista (forma) tabu i jej rozmiar
• Procedura przeszukiwania lokalnego
• Struktura sąsiedztwa
• Kryteria aspiracji
• Sposób dodawania do listy tabu
• Kryterium stopu
Algorytm
Notes
MST
Notes
• Określenie rozwiązania początkowego
• Stworzenie listy rozwiązań sąsiednich
• Ewaluacja rozwiązań sąsiednich
• Wybór rozwiązania najlepszego
• Modyfikacja list tabu i kryteriów aspiracji
Aktualny koszt 26
out
EF
EF
EF
AF
CD
in
AE
BE
DE
DF
DF
koszt
20
21
22
30
24
MST
Notes
Aktualny koszt 20
Lista tabu: AE
out
AF
AF
AB
AB
BC
CD
in
EF
DF
BE
DE
DE
DE
koszt
25
24
18
19
18
15
MST
Aktualny koszt 15
Lista tabu: DE, AE(?)
a może AF
out
AB
BC
in
BE
CD
koszt
13
18
Notes
MST
Notes
Uzyskaliśmy dobrze znane rozwiązanie
optymalne o koszcie równym 13.
Podsumowanie
Notes
• Jak akceptować kroki pogarszające wartość funkcji oceny?
Wykorzystanie kryteriów aspiracji.
• Wykorzystanie głównie do zagadnień o charakterze
dyskretnym.
• Duża wrażliwość na parametry algorytmu.
• Duża liczba iteracji.
Notes
Notes