4. lista

Analiza wypukła, Matematyka, 2. st.
semestr zimowy 2015/2016
IV lista zadań
1. Rozważ zagadnienie minimalizacji bez ograniczeń funkcji f (x, y) = 3x2 + y 4 .
(a) Wykonaj dla tej funkcji jeden krok metody największego spadku, startując z punktu
(1, 2) i dobierając długość kroku przy pomocy reguły Armijo z s = 1, σ = 0.1 oraz
β = 0.1.
(b) Wykonaj polecenie z punktu (a), zmieniając wartość β na 0.5. O ile dokładniejsze jest uzyskane przybliżenie? O ile więcej operacji trzeba było wykonać, aby je
uzyskać?
(c) Wykonaj polecenie z punktu (b), ale tym razem stosując metodę Newtona. Porównaj
dokładność uzyskanego przybliżenia oraz liczbę operacji, które były konieczne do
jego otrzymania.
3
2. Niech f (x) = kxk 2 (gdzie x ∈ Rn z normą euklidesową). Zauważ, że jedynym punktem
stacjonarnym tej funkcji jest x∗ = 0. Zastosuj do niej metodę największego spadku ze
stałą długością kroku αk ≡ α. Pokaż, że dla dowolnego punktu startowego x0 jest ona
zbieżna do x∗ w skończonej liczbie kroków lub nie jest zbieżna w ogóle.
3. Rozważ funkcję f (x, y) = x2 + 4xy − 2y 2 .
(a) Zauważ, że ma ona dokładnie jeden punkt stacjonarny, który nie jest minimum
lokalnym ani maksimum lokalnym.
(b) Pokaż, że jeśli (x0 , y0 ) = a(2, 1), to metoda największego spadku ze stałą długością
kroku α jest zbieżna wtedy i tylko wtedy, gdy α ∈ 0, 14 .
(c) Pokaż, że jeśli (x0 , y0 ) = b(1, −2), to metoda największego
spadku
ze stałą długością
kroku α jest zbieżna wtedy i tylko wtedy, gdy α ∈ − 61 , 0 . Oczywiście z definicji
α > 0. Co zatem oznacza uzyskany wynik?
(d) Pokaż, że jeśli (x0 , y0 ) = a(2, 1) + b(1, −2), a, b 6= 0, to metoda największego spadku
nie jest zbieżna dla żadnej (stałej) wartości α.
(e) Oblicz wartości i wektory własne dla macierzy definiującej formę kwadratową f (x, y).
Korzystając z uzyskanych wyników wytłumacz, skąd się bierze szczególne zachowanie metody największego spadku w przypadkach z podpunktów (b) i (c).
(f) Jaka wartość kroku byłaby wybrana w podpunktach (b), (c) i (d), gdyby wybór był
dokonany w sposób optymalny? Czy metoda byłaby wtedy zbieżna?
4. Pokaż, że jeśli zbiór A ∈ Rn jest nieograniczony, domknięty i wypukły, to dla dowolnego
x0 ∈ A istnieje promień {x ∈ Rn : x = x0 + αv, α ∈ R+ } (gdzie v to pewien ustalony
wektor z Rn \ {0}) zawarty w A.
5. Pokaż, że jeśli f : Rn → R jest funkcją wypukłą posiadającą dokładnie jedno minimum
x∗ , to dowolna metoda gradientowa spełniająca założenia twierdzenia o zbieżności metod
gradientowych z wykładu będzie dla dowolnego punktu startowego zbieżna do x∗ .
Wskazówka: Na początek, korzystając z wyniku udowodnionego w poprzednim zadaniu,
pokaż, że zbiór {x ∈ Rn : f (x) ¬ f (x∗ )} jest zwarty.
6. Udowodnij, że metoda Newtona jest niezależna od przekształceń liniowych, tzn. że jeśli
zmienne yn uzyskamy z ciągu kolejnych przybliżeń metody Newtona zastosowanej do
funkcji f , xn , przy pomocy przekształcenia liniowego yn = Lxn (L – macierz odwracalna), to yn są kolejnymi przybliżeniami metody Newtona zastosowanej do szukania
minimum odpowiednio zmodyfikowanej funkcji f z punktem startowym y0 = Lx0 .
Zadania do zaprogramowania
1. Napisz program, który dla zadanego przez użytkownika problemu programowania kwadratowego z liniowymi ograniczeniami będzie rozwiązywał ten problem przy pomocy
algorytmu Wolfe’a.
2. Napisz implementację metody iteracyjnej Newtona szukania minimum funkcji (z poprawką zamieniającą zdefiniowaną w metodzie Newtona macierz Dk na macierz jednostkową, gdy ta pierwsza nie jest dodatnio określona). Program powinien umożliwiać
użytkownikowi podanie funkcji, dla której będzie szukane minimum oraz punktu początkowego. Pochodne mają być liczone symbolicznie. Można do programu wprowadzić
ograniczenie na liczbę zmiennych funkcji, ale musi on radzić sobie z funkcjami dwóch i
trzech zmiennych.