WAE Jarosław Arabas Testowanie metod optymalizacji

WAE
Jarosław Arabas
Testowanie metod optymalizacji
Metoda optymalizacji jako
generator propozycji rozwiązań
Metoda
optymalizacji
1. generacja rozwiązań
2. ewaluacja rozwiązań
ewaluator
Metoda optymalizacji jako
generator propozycji rozwiązań
Metoda
optymalizacji
4. wykorzystanie wartości
funkcji celu
3.przypisanie wartości funkcji celu
ewaluator
Informacyjne sprzężenie zwrotne
optymalizator – ewaluator
Metoda
optymalizacji
1. generacja rozwiązań
4. wykorzystanie wartości
funkcji celu
2. ewaluacja rozwiązań
3.przypisanie wartości funkcji celu
ewaluator
Optymalizacja typu
“czarna skrzynka” (black box)
Metoda
optymalizacji
ewaluator
Testowanie metod optymalizacji z
założeniem “czarnej skrzynki”
●
Zadania benchmarkowe
CEC 2005 … 2013
Metoda
optymalizacji
BBOB 2009 … 2013
●
Krzywe “zbieżności” (minimalizacja)
10.2
10
q(xk)
9.8
ewaluator
9.6
9.4
9.2
9
0
50
100
150
200
250
k
300
350
400
450
500
Testowanie metod optymalizacji z
założeniem “czarnej skrzynki”
●
Zadania benchmarkowe
CEC 2005 i następne … CEC2013
BBOB 2009 i 2010
●
Krzywe “zbieżności”
10.2
11
10.8
10
10.6
10.4
9.8
q(xk)
q(xk)
10.2
9.6
9.4
10
9.8
9.6
9.4
9.2
9.2
9
9
0
50
100
150
200
250
k
300
350
400
450
500
0
50
100
150
200
250
k
300
350
400
450
500
Testowanie metod optymalizacji
●
Porównanie metod losowych
11
11
10.8
10.8
10.6
10.6
10.4
10.4
10.2
q(xk)
10
9.8
9.6
10
9.8
9.6
9.4
9.4
9.2
9.2
9
0
50
100
150
200
250
300
350
400
450
500
k
9
0
50
100
150
200
250
300
350
400
450
k
1.2
1
Dystrybuanta empiryczna
rozwiązań uzyskanych
po założonym czasie
dla dwóch algorytmów
0.8
częstość
q(xk)
10.2
0.6
0.4
0.2
0
9
9.5
10
10.5
q(x)
11
11.5
500
Testowanie metod optymalizacji
Porównanie algorytmów na podst. dystrybuanty
rozwiązań (testy nieparametryczne)
1.2
1.2
1
1
0.8
0.8
częstość
częstość
●
0.6
0.4
0.2
0.6
0.4
0.2
0
9
9.5
10
10.5
q(x)
Algorytm B
jest gorszy niż
algorytm A
11
11.5
0
9
9.5
10
10.5
11
q(x)
Nie można stwierdzić,
że jeden jest lepszy
od drugiego
11.5
Testowanie metod optymalizacji
Porównanie algorytmów na podst. porównania
statystyk (testy parametryczne)
1.2
1
10.57 0.32
9.95 0.35
0.8
częstość
●
0.6
0.4
0.2
0
9
9.5
10
10.5
11
q(x)
Algorytm B
jest gorszy niż
algorytm A
Dystrybuanty rozkładu
normalnego
(idea testu t-Studenta)
11.5
Testowanie hipotez statystycznych
●
●
●
●
Stawiamy hipotezę zerową (null hypothesis)
Test jest procedurą obliczającą p-wartość, czyli
wartość pewnej statystyki,
będącej prawdopodobieństwem
zaobserwowania danych
przy założeniu prawdziwości hipotezy zerowej
Jeśli p-wartość jest mniejsza od zakładanej,
hipoteza zerowa jest odrzucana
Testy statystyczne są obecne w każdym
szanującym się pakiecie naukowym
Testowanie metod optymalizacji
●
Porównanie wielu
algorytmów dla
jednego zadania
A1
A2
A3
A4
A1 A2 A3 A4
. + + .
.
- + .
+ . + .
Na podstawie
porównań
w parach
●
Porównanie wielu
algorytmów dla wielu
zadań
A1
A2
A3
A4
Z1
2
4
3
1
Z2
3
2
1
1
Z3
1
1
1
1
Z4
1
2
2
3
Z5 średnia
4
2.2
1
2
2
1.8
3
1.8
Wygrywają ex aequo metody A3 i A4
A1
A2
A3
A4
bilans
1
-2
-1
2
ranga
2
4
3
1
Agregacja tabeli
porównań
Testowanie hipotez statystycznych
Figures often beguile me,
particularly when I have the
arranging of them myself; in
which case the remark
attributed to Disraeli would
often apply with justice and
force: "There are three
kinds of lies: lies, damned
lies and statistics."
- Mark Twain's Own
Autobiography: The
Chapters from the North
American Review
No Free Lunch Theorem (NFL)
●
Nie wiedząc z góry,
jakie zadanie
optymalizacji
przyjdzie nam
rozwiązać, nie
możemy dobrać
efektywnej metody
dla niego
Effects of accepting a free lunch