Metoda kierunków sprzezonych Powella

Metoda kierunków sprz¦»onych Powella
Igor Sieradzki, Konrad Talik
Metoda kierunków sprz¦»onych Powella - Igor Sieradzki, Konrad Talik
1
1. Kierunki sprz¦»one w algorytmach minimalizacji
2. Metoda Kierunków sprz¦»onych Powella
I
I
I
Zaªo»enia
Schemat metody
Zalety i wady
3. Demo
Metoda kierunków sprz¦»onych Powella - Igor Sieradzki, Konrad Talik
2
Kierunki sprz¦»one
i
n
d0 , d1 , . . . , dn , di 6= 0, = 1, . . . , nazywamy
wzajemnie sprz¦»onymi wzgl¦dem macierzy A, je±li
Kierunki
d| Ad = 0
j
i , j = 1, . . . , n
i 6= j
i
Metoda kierunków sprz¦»onych Powella - Igor Sieradzki, Konrad Talik
3
Zaªo»enia
I Funckja
f :R
n
−→ R
postaci:
f (x) = f (0) + h∇f , xi + 12 x Hx
|
I Hesjan
H
- dodatnio okre±lony, symetryczny
Twierdzenie
d0 , . . . ,dn−1 wektorów H-sprz¦»onych. Niezale»nie od
wyboru punktu pocz¡tkowego x0 mo»na zminimalizowa¢ funkcj¦
kwadratow¡
w conajwy»ej
krokach, prowadz¡c kolejn¡
We¹my ci¡g
f
n
minimalizacj¦ wzdªu» kierunków
d.
i
Ka»dy z kierunków
d
i
jest
wykorzystywany w tym tylko raz, a kolejno±¢ ich wprowadzenia do
oblicze« jest oboj¦tna.
Metoda kierunków sprz¦»onych Powella - Igor Sieradzki, Konrad Talik
4
Implementacja w Pythonie - taksówka
w misce
Metoda kierunków sprz¦»onych Powella - Igor Sieradzki, Konrad Talik
5
Obserwacja
x1
v
Wektor
x2 − x1
jest
x2
v
H-sprz¦»ony do wektora v
Metoda kierunków sprz¦»onych Powella - Igor Sieradzki, Konrad Talik
6
C
D
v1
B
v1
v2
d1
d2
v1
d2
d1
A
v3
v2
v1
B
v2
C
Metoda kierunków sprz¦»onych Powella - Igor Sieradzki, Konrad Talik
7
C
D
v1
B
v1
v2
d1
d2
v1
d2
d1
A
v3
v2
v1
B
v2
C
Metoda kierunków sprz¦»onych Powella - Igor Sieradzki, Konrad Talik
7
C
D
v1
B
v1
v2
d1
d2
v1
d2
d1
A
v3
v2
v1
B
v2
C
Metoda kierunków sprz¦»onych Powella - Igor Sieradzki, Konrad Talik
7
C
D
v1
B
v1
v2
d1
d2
v1
d2
d1
A
v3
v2
v1
B
v2
C
Metoda kierunków sprz¦»onych Powella - Igor Sieradzki, Konrad Talik
7
C
D
v1
B
v1
v2
d1
d2
v1
d2
d1
A
v3
v2
v1
B
v2
C
Metoda kierunków sprz¦»onych Powella - Igor Sieradzki, Konrad Talik
7
C
D
v1
B
v1
v2
d1
d2
v1
d2
d1
A
v3
v2
v1
B
v2
C
Metoda kierunków sprz¦»onych Powella - Igor Sieradzki, Konrad Talik
7
C
D
v1
B
v1
v2
d1
d2
v1
d2
d1
A
v3
v2
v1
B
v2
C
Metoda kierunków sprz¦»onych Powella - Igor Sieradzki, Konrad Talik
7
C
D
v1
B
v1
v2
d1
d2
v1
d2
d1
A
v3
v2
v1
B
v2
C
Metoda kierunków sprz¦»onych Powella - Igor Sieradzki, Konrad Talik
7
C
D
v1
B
v1
v2
d1
d2
v1
d2
d1
A
v3
v2
v1
B
v2
C
Metoda kierunków sprz¦»onych Powella - Igor Sieradzki, Konrad Talik
7
C
D
v1
B
v1
v2
d1
d2
v1
d2
d1
A
v3
v2
v1
B
v2
C
Metoda kierunków sprz¦»onych Powella - Igor Sieradzki, Konrad Talik
7
C
D
v1
B
v1
v2
d1
d2
v1
d2
d1
A
v3
v2
v1
B
v2
C
Metoda kierunków sprz¦»onych Powella - Igor Sieradzki, Konrad Talik
7
C
D
v1
B
v1
v2
d1
d2
v1
d2
d1
A
v3
v2
v1
B
v2
C
Metoda kierunków sprz¦»onych Powella - Igor Sieradzki, Konrad Talik
7
C
D
v1
B
v1
v2
d1
d2
v1
d2
d1
A
v3
v2
v1
B
v2
C
Metoda kierunków sprz¦»onych Powella - Igor Sieradzki, Konrad Talik
7
C
D
v1
B
v1
v2
d1
d2
v1
d2
d1
A
v3
v2
v1
B
v2
C
Metoda kierunków sprz¦»onych Powella - Igor Sieradzki, Konrad Talik
7
C
D
v1
B
v1
v2
d1
d2
v1
d2
d1
A
v3
v2
v1
B
v2
C
Metoda kierunków sprz¦»onych Powella - Igor Sieradzki, Konrad Talik
7
Implementacja w Pythonie - Powell
Metoda kierunków sprz¦»onych Powella - Igor Sieradzki, Konrad Talik
8
Zalety metody Powella
I jedynym obci¡»eniem obliczeniowym metody jest wewn¦trzna
funkcja minimalizacji jednej zmiennej
I nie wymaga obliczania gradientów, hesjanów itp.
I szybko zbie»na, kilka kroków na funkcji Rosenbrocka
Wady metody Powella
I ograniczona rodzina funkcji
I zatrzymuje si¦ w lokalnym minimum
I skuteczna do pewnej ilo±ci wymiarów (okoªo 30 wg
Metoda kierunków sprz¦»onych Powella - Igor Sieradzki, Konrad Talik
Wita)
9
Usprawnienia metody Powella
I zamiast usuwa¢ pierwszy w kolejno±ci wektor bazowy,
usuwamy ten, który miaª najwi¦kszy wpªyw na nowy kierunek
I usuwamy ten kierunek, w którym nie da si¦ ju» bardziej
zmiejszy¢ warto±ci funkcji
Metoda kierunków sprz¦»onych Powella - Igor Sieradzki, Konrad Talik
10