dr inż. Agnieszka Bołtuć, pokój 304, e

2010‐03‐09
ORGANIZACJA ZAJĘĆ
OPTYMALIZACJA GLOBALNA
|
Wykładowca – dr inż. Agnieszka Bołtuć, pokój 304,
e-mail: [email protected]
|
Liczba godzin i forma zajęć: 15 godzin wykładu
oraz 15 g
godzin laboratorium i 15 g
godzin p
projektu
j
|
Konsultacje: poniedziałki 9:30-11:00, pokój 304
|
Wykłady w wersji elektronicznej:
gold.uwb.edu.pl/~aboltuc
|
Forma zaliczenia wykładu: zaliczenie pisemne
Wykład 1
dr inż. Agnieszka Bołtuć
PLAN WYKŁADU
WSTĘP
Wstęp
Rodzaje zadań
| Własności funkcji celu
| Ograniczenia funkcji celu
| Liczba wymiarów a złożoność
| Ocena algorytmów optymalizacji i koszt symulacji
|
Optymalizacja, ściśle rozumiana, dotyczy
poszukiwania najlepszego rozwiązania.
|
W rzeczywistości
i t ś i chodzi
h d i często
t o znalezienie
l i i
rozwiązania lepszego niż znane dotychczas.
|
optimus (łacina) - najlepszy
|
|
1
2010‐03‐09
GDZIE STOSOWANA
SFORMUŁOWANIE ZADANIA OPTYMALIZACJI
w oprogramowaniu wspomagającym projektowanie
(CAD) - w procesie projektowania kształtu komory
silnika odrzutowego, w mikroelektronice do
projektowania rozłożenia elementów na płytkach, w
radiotechnice do p
projektowania
j
anten,,
| w dziedzinach, będących domeną badań
operacyjnych, na przykład w optymalizacji
kolejności dostarczania przesyłek, w
harmonogramowaniu zadań, w rozkładach jazdy,
| we wspomaganiu nawigacji, wyznaczaniu tras,
podejmowaniu decyzji.
|
|
Jest dana metryczna przestrzeń poszukiwań Ω = (U , ⋅ ) ,
gdzie U jest zbiorem wartości, a ⋅ metryką, oraz
podzbiór D ⊆ U ,
|
Dana jest także funkcja celu (zwana wskaźnikiem
jakości) f (x) :U → R ,
|
Zadanie optymalizacji polega iza znalezieniu takiego
x* ∈ D , że
x* = argmin f (x)
x∈D
SPOSOBY ROZWIĄZYWANIA
|
|
analityczne – możliwe tylko w przypadku klasy
funkcji przedstawionych analitycznie, rzadko
stosowane ze względu na trudności,
numeryczne –przeszukiwanie
przeszukiwanie zbioru
dopuszczalnego w poszukiwaniu jak najlepszego
punktu
| klasyczne metody optymalizacji,
| metody optymalizacji globalnej.
RODZAJE ZADAŃ
w zależności od przestrzeni poszukiwań
|
optymalizacja parametryczna - zakłada się, że punkt x∈U
jest wektorem zmiennych niezależnych, z których każda
przyjmuje pewną wartość; oznacza to, że przestrzeń
przeszukiwań jest iloczynem kartezjańskim zbiorów
wartości zmiennych niezależnych.
| zadania ciągłe - charakteryzują się tym, że
przestrzeń przeszukiwań jest iloczynem kartezjańskim
n
zbioru liczb rzeczywistych U = R ,
| zadania wypukłe (gdy zbiór dopuszczalny i funkcja
celu są wypukłe),
| zadania optymalizacji globalnej (niewypukła
funkcja celu lub zbiór dopuszczalny),
2
2010‐03‐09
RODZAJE ZADAŃ
|
|
RODZAJE ZADAŃ
optymalizacja dyskretna - gdy wartości zmiennych
niezależnych xi, należą do zbioru dyskretnego
(skończonego lub przeliczalnego)U = Z n ,
optymalizacja kombinatoryczna -każda
każda ze
zmiennych niezależnych przyjmuje wartość logiczną
n
- prawda albo fałsz, czyli U = Z ,
|
Optymalizacja bez ograniczeń – gdy zbiór
dopuszczalny D jest tożsamy z przestrzenią
przeszukiwań U,
|
Optymalizacja z ograniczeniami – w przeciwnym
przypadku niż wyżej.
2
|
optymalizacja mieszana – część zmiennych
przyjmuje wartości rzeczywiste część całkowite.
WŁASNOŚCI FUNKCJI CELU
WŁASNOŚCI FUNKCJI CELU
Zadania w
będące dyskretną wersją z
Niektóre z zadań całkowitoliczbowych można uzyskać ,
formułując zadanie ciągłe i przyjmując dodatkowe
ograniczenie, że zbiór dopuszczalny zawiera wektory,
których wartości zmiennych niezależnych są liczbami
całkowitymi.
całkowitymi
Zadania takie można próbować rozwiązywać w sposób
przybliżony.
Wówczas, rozwiązanie odpowiedniego problemu ciągłego
może stanowić oszacowanie problemu dyskretnego lub
przynajmniej (po przybliżeniu do najbliższego rozwiązania
dyskretnego) służy jako punkt początkowy poszukiwań.
Proste przeniesienie właściwości zadań ciągłych w ich
dyskretna wersję prowadzi do zbyt dużych uogólnień.
|
Zn
Rn
|
Liniowość
f ( x) = aT x + b
Jeśli funkcja celu jest liniowa, to rozwiązanie zadania
wypadnie zawsze na granicy obszaru
dopuszczalnego (jeśli jest domknięty).
domknięty)
Jeśli zbiór dopuszczalny D jest nieskończonej miary,
to nie można wykluczyć sytuacji, że rozwiązanie nie
będzie istniało.
3
2010‐03‐09
WŁASNOŚCI FUNKCJI CELU
|
WŁASNOŚCI FUNKCJI CELU
Wypukłość
|
Funkcja jest wypukła (w dół lub w górę) gdy łuk
wykresu funkcji łączący dowolne dwa punkty P,Q
tego wykresu leży poniżej (powyżej) lub na cięciwie
PQ.
PQ
|
Dla funkcji różniczkowalnej - Funkcja f(x) jest
wypukła w przedziale (a,b) wtedy i tylko wtedy, gdy
wykres funkcji leży ponad (pod) wykresem stycznej
dla każdego punktu x0 z przedziału (a,b).
Jeśli wypukłe są funkcja celu i zbiór dopuszczalny, to
istnieje dokładnie jedno minimum.
Ułatwienie procesu optymalizacji - można go bowiem
ograniczyć się do przeszukiwania sąsiedztwa punktu
roboczego i wybierania z tego sąsiedztwa nowego
punktu roboczego.
WŁASNOŚCI FUNKCJI CELU
|
Różniczkowalność
Jeśli w każdym punkcie istnieje pochodna funkcji to:
WŁASNOŚCI FUNKCJI CELU
Warunek Lipschitza
Funkcja spełnia ten warunek, jeśli istnieje taka
wartość L < ∞ , że dla każdego x1 , x2 ∈ D zachodzi
|
f ( x1 ) − f (x2 ) ≤ L x1 − x2
łatwo znaleźć kierunek zmniejszania się wartości
funkcji (kierunek poprawy),
| zerowanie gradientu może wskazywać na
znalezienie minimum.
|
Wartość L jest zwana stalą Lipschitza.
Jeśli jest znana, to może być podstawą do
konstruowania algorytmów optymalizacji, a także
umożliwiać oszacowanie dokładności wyniku
optymalizacji.
4
2010‐03‐09
WŁASNOŚCI FUNKCJI CELU
WŁASNOŚCI FUNKCJI CELU
|
Właściwość dekompozycji
Funkcja taka jest złożeniem wielu funkcji; wartość
każdej z nich można obliczyć na podstawie
znajomości części zmiennych niezależnych.
Zadanie znalezienia minimum funkcji można zastąpić
wieloma zadaniami wyznaczenia minimów funkcji z
reguły są prostszych do rozwiązania.
Dekompozycja może prowadzić do zmniejszenia wymiarowości wektora argumentów lub też uczynić
funkcję mniej skomplikowaną (na przykład
dekompozycja na funkcje wypukłe).
Wiele minimów lokalnych
Są funkcje, które mają wiele minimów lokalnych funkcje wielomodalne.
Minimum lokalne to taki punkt, w którego sąsiedztwie
o niezerowym promieniu nie istnieje inny punkt o
mniejszej wartości funkcji celu.
Może istnieć spójny zbiór punktów o jednakowej
wartości funkcji celu, który traktuje się tak, jakby był
jednym punktem i nazywa się go minimum
niewłaściwym.
W przypadku gdy istnieje dokładnie jeden punkt
nazywa się go minimum właściwym.
WŁASNOŚCI FUNKCJI CELU
WŁASNOŚCI FUNKCJI CELU
Istnienie minimów lokalnych wynika z:
Zbiory przyciągania minimów lokalnych
Zbiór wszystkich punktów, które są elementami
początkowymi ciągu zbieżnego do minimum lokalnego x̂ ,
nazywamy obszarem przyciągania tego minimum i
oznaczamy D ( xˆ ) .
Podział zbioru dopuszczalnego na obszary przyciągania
generuje rodzinę zbiorów o następujących
właściwościach:
| suma obszarów przyciągania równa jest zbiorowi
dopuszczalnemu,
| obszary przyciągania dwóch różnych minimów lokalnych
są rozłączne.
|
postaci funkcji celu,
| może być także spowodowane właściwościami
zbioru dopuszczalnego, na przykład jego
niewypukłością – wówczas minimum lokalne
wypadnie często na brzegu obszaru dopuszczalnego.
|
|
5
2010‐03‐09
OGRANICZENIA FUNKCJI CELU
RODZAJE ZBIORÓW DOPUSZCZALNYCH
Ograniczenia kostkowe
Ograniczenia kostkowe mają postać
|
Zbiór dopuszczalny może być zdefiniowany za pomocą
zbioru funkcji ograniczeń gi hj, spełniających warunek,
że dla każdego zachodzi x∈ D
gi ≤ 0
hj = 0
li ≤ xi ≤ ui
Ograniczenia liniowe
Ograniczenia liniowe mają postać funkcji liniowej
|
gi (x) = aT x + b
W przestrzeni Rn, jeśli w zadaniu występują
wyłącznie ograniczenia liniowe, zbiór dopuszczalny
(jeśli jest niepusty) jest wypukły.
RODZAJE ZBIORÓW DOPUSZCZALNYCH
RODZAJE ZBIORÓW DOPUSZCZALNYCH
Wypukły obszar dopuszczalny
Kolejnym przypadkiem ograniczeń są takie, które
dają wypukły obszar dopuszczalny. Istnieje
możliwość transformacji do ograniczeń kostkowych.
|
|
Niewypukły i niespójny obszar dopuszczalny.
Niewypukłość obszaru dopuszczalnego jest
utrudnieniem dla zastosowania algorytmów
optymalizacji, gdyż na ograniczeniach może
występować jedno lub więcej minimów lokalnych.
|
Niespójny obszar dopuszczalny
Obszar dopuszczalny niespójny – to taki który składa
się z odizolowanych podzbiorów. Oznacza to, że dla
każdego punktu dopuszczalnego istnieje co najmniej
jeden punkt dopuszczalny
dopuszczalny, którego nie sposób
osiągnąć dowolnie małymi krokami, nie pozostając
przejściowo w obszarze zabronionym.
6
2010‐03‐09
LICZBA WYMIARÓW
wzrost liczby zmiennych
|
|
ZŁOŻONOŚĆ OBLICZENIOWA
wzrost komplikacji zadania
zadania kombinatoryczne - uzupełnienie wektora
zmiennych niezależnych o jedną zmienną powoduje
podwojenie
p
j
liczby
y różnych
y wartości,, które może on p
przyjąć
yją
|
Gdy funkcja kosztu pesymistycznego jest
wielomianem to problemy takie nazywamy łatwymi i
określamy klasą P (ang. polynomial),
|
Problemy klasy NP (ang.
(ang nondeterministic
polynomial) - dla których pesymistyczna złożoność
obliczeniowa niedeterministycznego algorytmu jest
funkcją wielomianową.
|
Wśród NP ważną rolę pełnią problemy NP-zupełne.
zadania dyskretne - dodanie zmiennej niezależnej
mogącej przyjąć k wartości będzie skutkować k-krotnym
zwiększeniem liczby różnych wartości
funkcje testowe – Ackleya, Rastrigina, Griewanka, etc.
więcej wymiarów
więcej minimów lokalnych
ALGORYTM DETERMINISTYCZNY
|
W informatyce to algorytm, którego działanie jest
całkowicie zdeterminowane przez warunki
początkowe (wejście).
|
Wielokrotne uruchomienie da te same wyniki.
|
Inne: równoległe i rozproszone, probabilistyczne,
kwantowe.
PROBLEMY NP-ZUPEŁNE I NP-TRUDNE
Cechy NP-zupełnych:
| dla żadnego z nich nie udało się wykazać istnienia
deterministycznego algorytmu o wielomianowej
złożoności,
| każdy z nich można przekształcić do każdego
innego za pomocą deterministycznego algorytmu o
złożoności wielomianowej.
Cechy NP-trudnych:
| trudne to takie, do których da się (za pomocą
algorytmu deterministycznego o wielomianowej
złożoności) sprowadzić dowolny problem z NP.
7
2010‐03‐09
OCENA ALGORYTMÓW OPTYMALIZACJI
OCENA ALGORYTMÓW OPTYMALIZACJI
Określenia jakości przybliżenia maksimum
globalnego można dokonać oceniając:
|
|
odległość od poszukiwanego minimum
x* − x
|
przybliżenie wartości funkcji celu w poszukiwanym
minimum
f (x* ) − f (x)
miarę zbioru poziomicowego otaczającego
minimum
| dokładność odniesiona do miary zbioru
poziomicowego wyciętego ze zbioru
dopuszczalnego
{x ∈ D : f (x) ≥ f (x )}
*
D
|
dokładność odniesiona do miary zbioru
poziomicowego wyciętego z obszaru
przyciągania poszukiwanego minimum
{x ∈ D : f (x) ≥ f (x )}
*
*
*
D
ODPORNOŚĆ
|
Chodzi o odporność algorytmu na ekstrema
lokalne,
|
Czy metoda jest w stanie „opuszczać" obszary
przyciągania minimum lokalnego?
|
Wiązałoby się to ze stwierdzeniem, jak często (i czy
w ogóle) znajdowane są punkty należące do
obszaru przyciągania minimum globalnego, mimo
że żaden taki punkt nie był wygenerowany w fazie
inicjacji algorytmu – trudne lub niemożliwe.
ODPORNOŚĆ
Inny sposób określania odporności.
| Można liczyć, że odporny algorytm powinien
generować rozwiązania, których położenie
zależałoby w jak najmniejszym stopniu od stanu
początkowego.
początkowego
| Oznacza to, że w wyniku wielu niezależnych
uruchomień należy oczekiwać uzyskania zbliżonych
do siebie rozwiązań.
8
2010‐03‐09
KOSZT SYMULACJI
|
Czas procesora – nieuniwersalny,
|
Liczba iteracji – wygodny, bo na jedna iterację
składa się wiele działań, których się nie bierze pod
uwagę,
uwagę
|
Liczba wywołań funkcji celu.
WYKŁAD PRZYGOTOWANO NA PODSTAWIE
|
J. Arabas „Wykłady z algorytmów ewolucyjnych”,
WNT, 2001
9