7 Forma liniowa i kwadratowa

WYKŁAD 7
FORMY LINIOWA I KWADRATOWA
DEFINICJA. Formą liniową L(x) nazywamy wyrażenie
(7.1)
gdzie a, x są wektorami N-wymiarowymi
DEFINICJA. Formą kwadratową Q(x) nazywamy wyrażenie
(7.2)
w którym macierz kwadratowa [H] o rozmiarze N⨉N, nazywana macierzą Hesse’go lub
krótko
Hesjanem,
jest
macierzą
drugich
pochodnych
liczoną
względem
i,j-tych
współrzędnych wektora x
(7.3)
Jeżeli forma kwadratowa Q(x) jest większa od zera dla dowolnego x, to mówimy, że macierz
[H] jest dodatnio określona.
Funkcja kwadratowa wielu zmiennych fQ(x) jest sumą formy liniowej L(x) oraz formy
kwadratowej Q(x)
(7.4)
Funkcję tę można przedstawić w postaci
(7.5)
gdzie wektor b jest gradientem funkcji fQ w punkcie x0
(7.6)
Wzór (7.6) jest nazywany rozwinięciem Taylora funkcji N zmiennych w otoczeniu punktu x0
z dokładnością do wyrazów zawierających drugie pochodne. W elementarnym przypadku
funkcji jednej zmiennej wyrażenie to redukuje się oczywiście do postaci
(7.7)
1
Funkcja kwadratowa fQ(x) jest dobrym przybliżeniem dowolnej funkcji f(x) w otoczeniu
ekstremum x0, co pokazano na rys.7.1. dla funkcji jednej zmiennej.
f
fQ(x)
f (x)
x
x0
Fig.7.1. Aproksymacja dowolnej funkcji za pomocą paraboli
Dla funkcji ciągłych i dwukrotnie różniczkowalnych warunkiem koniecznym wystąpienia
ekstremum w punkcie x0 jest zerowanie gradientu tej funkcji w tym punkcie. Nie jest to
wystarczające – aby badana funkcja posiadała minimum (maksimum) jej hesjan musi być
dodatnio (ujemnie) określony. Dla ilustracji rozpatrzmy dwie funkcje dwóch zmiennych:
Wyznaczając hesjany tych funkcji uzyskuje się
Widać, że gradienty obydwu funkcji osiągają zerową wartość w punkcie x=(0,0), natomiast
forma kwadratowa 〈x,[Hf]x〉 przyjmuje zarówno wartości dodatnie jak i ujemnie:
W drugim przypadku dla dowolnego (x1, x2) forma 〈x,[Hg]x〉 jest dodatnia (za wyjątkiem
punktu (0,0), w którym musi być równa zeru). Oznacza to, że w tym punkcie występuje
minimum. Pierwszy przypadek, kiedy w punkcie zerowania się gradientu dla kierunku
0x1 mamy minimum, a dla kierunku 0x2 maksimum, jest określany mianem punktu
siodłowego. Wykresy obydwu funkcji pokazano poniżej.
2
f
x2
x2
x1
a.
g
x2
x1
Rys.7.4. Wpływ postaci hesjanu na kształt funkcji, dla której gradient w punkcie x0 jest równy zeru
a. funkcja posiada punkt siodłowy, hesjan nie jest określony,
b. funkcja posiada minimum, hesjan jest dodatnio określony.
3
Występowanie minimum przy jednoczesnym spełnieniu warunku dodatniej określoności
hesjanu [H] i zerowania się gradientu funkcji b(x0) wynika również wprost ze wzoru (7.5).
Mamy bowiem w takim przypadku
(7.8)
dla dowolnego x.
Ważną własnością funkcji kwadratowej wielu zmiennych jest możliwość wyznaczenia
punktu minimum x0 na podstawie znajomości gradientu funkcji w dowolnym, innym jej
punkcie x. Gradient fQ(x) jest równy
(7.9)
a ponadto wiemy, że w nieznanym punkcie x0 występuje minimum
(7.10)
Odejmując stronami (7.9)(7.10) otrzymuje się
(7.11)
Otrzymaliśmy układ równań liniowych z N niewiadomymi - przyrostów (x-x0), który można
bądź rozwiązać wybraną metodą algebry liniowej, bądź obliczyć macierz odwrotną [H]-1.
Otrzymuje się w wyniku prostą zależność
(7.12)
Zależność ta oznacza, że kierunek d=[H]-1
fQ(x) poprowadzony w punkcie x przechodzi
przez minimum.
x
-[H]-1 fQ(x)
fQ(x)
x0
x2
x1
Rys.7.5. Znajdowanie minimum funkcji kwadratowej dwóch zmiennych.
4