Odcinek 7 HXH

WYKŁAD nr 4
1.
Zadanie programowania nieliniowego (ZPN)
1.1
Ekstrema funkcji jednej zmiennej o ciągłych pochodnych
Przypuśćmy ze punkt xˆ ∈ R jest punktem stacjonarnym funkcji f (x ) , gdzie
punktem stacjonarnym nazywamy punkt x̂ dla którego (∇f )xˆ = 0 .
punkt stacjonarny jest miejscem ekstremum jeżeli :
⎛ d 2 f ( x) ⎞
⎛ df ( x) ⎞
⎟ > 0 , i wówczas występuje minimum lokalne silne ,
⎟ = 0 , ⎜⎜
⎜
2
⎟
⎝ dx ⎠ xˆ
⎝ dx ⎠ xˆ
A./
⎛ d 2 f ( x) ⎞
⎛ df ( x) ⎞
⎟ < 0 , i wówczas występuje maksimum lokalne silne,
⎟ = 0 , ⎜⎜
⎜
2
⎟
⎝ dx ⎠ xˆ
⎝ dx ⎠ xˆ
B./
punkt stacjonarny nie jest miejscem ekstremum lecz miejscem przegięcia
funkcji jeżeli :
⎛ d 2 f ( x) ⎞
⎛ d 3 f ( x) ⎞
⎛ df ( x) ⎞
⎟ =0 , ⎜
⎟
⎟ = 0 , ⎜⎜
⎜
2
⎟
⎜ dx 3 ⎟ >, < 0
⎝ dx ⎠ xˆ
⎝ dx ⎠ xˆ
⎝
⎠ xˆ
⎛ d 2 f (x) ⎞
⎛ df (x) ⎞
⎟ >0
⎜
⎟ = 0 , ⎜⎜
2 ⎟
⎝ dx ⎠xˆ
⎝ dx ⎠xˆ
⎛ d3 f (x) ⎞
⎛ d 2 f (x) ⎞
⎛ df (x) ⎞
⎟
⎟ =0 , ⎜
⎜
⎟ = 0 , ⎜⎜
2 ⎟
⎜ dx3 ⎟ > 0
⎝ dx ⎠xˆ
⎠xˆ
⎝
⎝ dx ⎠xˆ
f (x)
maksimum
punkt
przegiecia
punkt
przegiecia
minimum
x
⎛ d 2 f (x) ⎞
⎛ df (x) ⎞
⎟ <0
⎜
⎟ = 0 , ⎜⎜
2 ⎟
⎝ dx ⎠xˆ
⎝ dx ⎠xˆ
Rys.1
⎛ d3 f (x) ⎞
⎛ d 2 f (x) ⎞
⎛ df (x) ⎞
⎟
⎟ =0 , ⎜
⎜
⎟ = 0 , ⎜⎜
2 ⎟
⎜ dx3 ⎟ < 0
⎝ dx ⎠xˆ
⎠xˆ
⎝
⎝ dx ⎠xˆ
Ekstrema i punkty przegięcia funkcji
Uogólnienie: Jeżeli funkcja f (x ) ma w otoczeniu x̂ pochodne do rzędu
K
⎛ d i f ( x) ⎞
⎛ d K f ( x) ⎞
⎟
⎟
⎜
=
=
−
dla
i
K
oraz
0
1
,..,
1
włącznie a nadto : ⎜⎜
i
⎟
⎜ dx K ⎟ ≠ 0
dx
⎠ xˆ
⎝
⎠ xˆ
⎝
to jeżeli K jest liczbą parzystą ,
A./
funkcja f (x )
ma w punkcie x̂ minimum lokalne silne gdy
B./
⎛ d K f ( x) ⎞
⎟
⎜
⎜ dx K ⎟ > 0
⎠ xˆ
⎝
funkcja f (x ) ma w punkcie
x̂
maksimum lokalne silne gdy
⎛ d f ( x) ⎞
⎟
⎜
⎜ dx K ⎟ < 0
⎠ xˆ
⎝
Jeżeli K jest nieparzyste , to ekstremum funkcji f (x ) w punkcie stacjonarnym x̂
nie istnieje .
K
Znając punkty stacjonarne funkcji dla znalezienia jej minimum leżącego wewnątrz
zbioru Η , wystarczy zbadać wartości , jakie funkcja przyjmie w punktach
stacjonarnych. Możliwość wnioskowania o tym że punkt stacjonarny jest punktem
w którym funkcja osiąga ekstremum wiąże się z wypukłością funkcji f (x ) oraz
wypukłością zbioru Η .
Zbiór punktów dopuszczalnych Η w obrębie którego możemy poszukiwać punktu
w którym funkcja f (x ) osiąga ekstremum , jest na ogół wyznaczony przez zespół
warunków ograniczających , określonych przy pomocy pewnych funkcji
ograniczających :
a./
warunki ograniczające równościowe ,
b./
warunki ograniczające nierównościowe.
punkt x musi spełniać warunki równościowe , które mają postać I
równań :
(
(
g i ( x) = g i , i = 1,.., I g i − stałe
(1)
Warunek będziemy oznaczać
(2)
W = = wi= , i = 1,.., I
co oznacza że punkt x ma należeć do zbioru punktów spełniających (1).
Zbiór ten oznaczamy Η i= ( hiperpowierzchnie ) .Spełnienie warunku x ∈ Η i= jest
Ad.a
{
}
równoważne spełnieniu warunku wi= .
Równoczesne spełnienie zespołu dwóch równań
(
(
g1 ( x ) = g1 ; g 2 ( x ) = g 2
x leży zarówno na hiperpowierzchni Η1=
oznacza że punkt
jak i na
hiperpowierzchni Η 2= a więc należy do zbioru Η = = Η1= ∩ Η 2= będącego
iloczynem zbiorów Η1= i Η 2= .
W przypadku gdy obie funkcje
(
(
g1 ( x) = g1 ; g 2 ( x) = g 2
są liniowe ,
hiperpowierzchnie Η1= , Η 2= są płaszczyznami .
W grę wchodzą trzy możliwości :
1.
płaszczyzny Η1= , Η 2= są równoległe
2.
płaszczyzny Η1= , Η 2= pokrywają się
3.
płaszczyzny Η1= , Η 2= przecinają się
Ograniczenia w przypadku 1. ,2. nazywamy zdegenerowanymi . Przypadek 3. jest
niezdegenerowany , zbór Η = = Η1= ∩ Η 2= jest linia przecięcia płaszczyzn Η1= ,
Η 2= .
Oznaczymy ogólnie przez Η = zbiór punktów spełniających zespół warunków
W = = wi= , i = 1,.., I . Zbór ten jest iloczynem zbiorów Η i= , zatem:
{
}
Η = = ∩ Η i=
I
(3)
i =1
Znajdowanie rozwiązania zadania optymalizacji
ZO :
x : f ( x)
x∈Η =
(4)
sprowadza się do badania funkcji f (x ) w punktach leżących w zbiorze Η = .
Ad.b
warunki ograniczające nierównościowe mają postać zespołu nierówności :
(
h j ( x) ≤ h j , j = 1,.., J
(
h 'j ( x) ≥ h j' , j ' = 1,.., J
Nierówność taką oznaczamy symbolem
≤
W =
{
w ≤j
, j = 1,.., J
}
w ≤j
a ich zespół przez
(5)
Przy założeniu że funkcja f (x ) jest funkcją ciągłą , hiperpowierzchnia Η i=
(
określona równaniem h j ( x) = h j rozdziela przestrzeń R N na dwa zbiory . Zbiór
(
leżący po jednej stronie powierzchni charakteryzuje się tym że h j ( x) ≥ h j , po
(
drugiej zaś stronie tym że h j ( x) ≤ h j
(
h j ( x) > h j
(
h j ( x) = h j
(
h j ( x) ≤ h j
Rys. 2
Przestrzeń
R N rozdzielona na dwa zbiory
Zbiór punktów Η ≤ spełniających warunki nierównościowe jest więc iloczynem
zbiorów Η ≤j , j = 1,.., J
Η ≤ = ∩ Η i≤
I
i =1
(6)
Η 1=
Η 3=
Η1≤
Η 2=
Η 2≥
Η ≤ = ∩ Η i≤
3
i =1
Η 3≤
Rys.3
Zbiór
Η ≤ = ∩ Η i≤
I
i =1
Podobnie jak w przypadku warunków równościowych może powstać sytuacja że
I
iloczyn ∩ Η i≤ jest zbiorem pustym co oznacza że warunki ograniczające są
i =1
sprzeczne .
Poszukiwanie miejsca ekstremalnego znacznie się upraszcza jeżeli zbiór
≤
Η jest zbiorem wypukłym.
Zbiór A nazywamy zbiorem wypukłym jeżeli dla x ′ ∈ A oraz
x′′ ∈ A wynika że punkt
(7)
x ′′′ = (1 − α ) ⋅ x ′ + α ⋅ x ′′ dla 0 ≤ α ≤ 1
należy też do zbioru A
Definicja:
Tak więc zbiór jest wypukły , jeżeli z faktu iż dwa punkty x ′ ∈ A i x′′ ∈ A wynika
,że cały odcinek łączący te punkty należy też do tego zbioru .
x′
x′
x ′′
x ′′
x′
Η1
Rys.4
Η2
Przykłady zbiorów wypukłych
x ′′
x′
x′
Η1
x′′
Η1
x′′
x′
Η2
Rys 5
Przykłady zbiorów które nie są wypukłe
Uwaga:
Iloczyn zbiorów wypukłych jest także zbiorem wypukłym
1./
x′′
Z pojęciem wypukłości zbioru wiąże się pojecie wypukłości funkcji
Mówimy że ciągła funkcja h( x) , x ∈ R N jest wypukła w dół w przestrzeni
R N jeżeli dla dowolnych dwóch punktów x ′ ∈ R N , x ′′ ∈ R N oraz każdego
α ∈< 0,1 > zachodzi :
h[(1 − α ) ⋅ x ′ + α ⋅ x ′′] ≤ (1 − α ) ⋅ h( x ′) + α ⋅ h( x ′′)
(8)
natomiast jeżeli :
h[(1 − α ) ⋅ x ′ + α ⋅ x ′′] ≥ (1 − α ) ⋅ h( x ′) + α ⋅ h( x ′′)
(9)
to funkcja h( x ) , x ∈ R N jest wypukła w górę w przestrzeni R N
2./
W przypadku gdy warunek (8) zachodzi tylko dla dowolnych punktów
x′ ∈ Η , x′′ ∈ Η , przy czym Η jest zbiorem wypukłym w przestrzeni R N
to funkcję h (x ) nazywamy wypukła w dół w zbiorze wypukłym Η ,
w przypadku warunku (9) funkcję h (x ) nazywamy wypukła w górę w
zbiorze wypukłym Η ,
C./
Warunki zapewniające istnienie ekstremum globalnego
Sytuacja upraszcza się jeżeli funkcja f (x ) określona w zbiorze R
wszystkich liczb rzeczywistych jest wypukła w górę lub w dół.
Jeżeli funkcja f (x ) jest wypukła w dół , to może mieć tylko jedno minimum
będące jej minimum globalnym .
Jeżeli funkcja f (x ) jest wypukła w górę , to może mieć tylko jedno
maksimum będące jej maksimum globalnym .
Funkcja f (x ) określona w zbiorze R jest :
wypukła w dół gdy dla wszystkich x ∈ R
, d 2 f ( x) dx 2 ≥ 0
wypukła w górę gdy dla wszystkich x ∈ R
D./
, d 2 f ( x) dx 2 ≤ 0
Ekstrema lokalne niewłaściwe (spłaszczone )
Jeżeli dla wszystkich xˆ ∈ Ηˆ jest (df ( x) dx ) xˆ = 0 oraz w pewnym
przedziale Η takim ,że Η ⊃ Ηˆ , druga pochodna d 2 f ( x) dx 2 jest
(
a.)
b.)
2.
ciągła , to funkcja f (x ) na w przedziale Η̂ :
maksimum
lokalne
niewłaściwe
(spłaszczone)
2
2
d f ( x) dx xˆ ≤ 0 , x ∈ H
minimum
lokalne
niewłaściwe
(spłaszczone),
2
2
d f ( x) dx xˆ ≥ 0 , x ∈ H
(
)
(
)
,
gdy
gdy
)
Ekstrema funkcji dwu zmiennych o ciągłych pochodnych
A./
Hesjan i jego własności
Hesjanem funkcji f ( x1 , x 2 ) w punkcie X ≡ (x1, x 2 ) nazywamy :
(∇ f )
2
x
⎛ ∂2 f ⎞
⎜
⎟
⎜ ∂x 2 ⎟
1 ⎠x
⎝
=
⎛ ∂2 f ⎞
⎜
⎟
⎜ ∂x ∂x ⎟
⎝ 1 2 ⎠x
⎛ ∂2 f ⎞
⎜
⎟
⎜ ∂x ∂x ⎟
⎝ 1 2 ⎠x
⎛ ∂2 f ⎞
⎜
⎟
⎜ ∂x 2 ⎟
⎝ 2 ⎠x
(10)
Z twierdzenia Schwarca o równości pochodnych cząstkowych mieszanych wynika
że hesjan jest macierzą symetryczną .
T
Jeżeli utworzymy wektor u = [u1 u 2 ] to funkcję
A(u1 , u 2 ) = a11 ⋅ u12 + 2 ⋅ a12 u1u 2 + a 22 ⋅ u 22
⎛ ∂2 f
gdzie : aij ≡ ⎜
⎜ ∂xi ∂x j
⎝
(11)
⎞
⎟ i = 1,2 , j = 1,2 możemy zapisać jako :
⎟
⎠ xˆ
(
A(u1 , u 2 ) = u T ⋅ ∇ 2 f
)
xˆ
⋅u
(12)
co oznacza że funkcja A(u1 , u 2 ) jest formą kwadratową względem wektora u o
(
macierzy symetrycznej ∇ 2 f
).
xˆ
B./
C./
Istnienie i postać ekstremum funkcji f ( x1 , x2 ) w punkcie stacjonarnym x̂
zależy od charakteru formy kwadratowej A(u1 , u 2 ) a ściślej od jej
określoności lub półokreśloności .
Jeżeli dla wszystkich wektorów u ≠ 0 zachodzi nierówność :
1./
A(u1 , u 2 ) = u T ⋅ ∇ 2 f xˆ ⋅ u > 0 to (macierz ∇ 2 f
(
)
(
)
(
)
kwadratowa A(u1 ,u 2 ) jest dodatnio określona ,
2./
D./
A(u1 , u 2 ) = u T ⋅ ∇ 2 f
xˆ
⋅ u < 0 to
(macierz
(
2
u ⋅∇ f
)
xˆ
⋅ u = 0 to (macierz
(∇ f )
2
A(u1 ,u 2 ) jest dodatnio półokreślona ,
2./
(
A(u1 , u 2 ) = u T ⋅ ∇ 2 f
(
uT ⋅ ∇2 f
)
xˆ
)
xˆ
forma
(∇ f )
)
forma
2
xˆ
xˆ
) forma kwadratowa
⋅ u ≤ 0 i istnieje taki wektor u ≠ 0 że
⋅ u = 0 to (macierz
(∇ f )
2
xˆ
) forma kwadratowa
)
(
)
Możemy zawsze dokonać takiego obrotu układu o współrzędnych
[u1 u 2 ] że w nowym układzie o współrzędnych [u1′ u 2′ ] formę
kwadratową A(u1 ,u 2 ) możemy zapisać w postaci :
A(u1 ,u 2 ) = A′(u1′ ,u 2′ ) = ξ1 ⋅ u1′ 2 + ξ 2 ⋅ u ′22
w której : ξ1 , ξ 2
G./
)
xˆ
A(u1 ,u 2 ) jest ujemnie półokreślona
W szczególności , jeżeli forma kwadratowa A(u1 ,u 2 ) jest dodatnio lub
ujemnie półokreślona zaś dla wszystkich wektorów u ≠ 0 zachodzi
równość u T ⋅ ∇ 2 f xˆ ⋅ u = 0 , to o formie kwadratowej A(u1 ,u 2 ) mówimy
że jest tożsamościowo równa zero .
W takim przypadku hesjan ∇ 2 f xˆ jest macierzą zerową .
(
F./
)
kwadratowa A(u1 ,u 2 ) jest ujemnie określona ,
Jeżeli dla wszystkich wektorów u ≠ 0 zachodzi nierówność:
1./
A(u1 , u 2 ) = u T ⋅ ∇ 2 f xˆ ⋅ u ≥ 0 i istnieje taki wektor u ≠ 0 że
T
E./
(
(
(13)
są wartościami własnymi macierzy ∇ 2 f
Wielomianem charakterystycznym macierzy
nazywamy wielomian o postaci:
ϕ(ξ) = det ∇ 2 f − ξ ⋅ 12
kwadratowej
Równaniem
nazywamy :
kwadratowej
[(
)
charakterystycznym
ϕ(ξ) = 0
]
macierzy
)
xˆ
(∇ f )
2
xˆ
(14)
(∇ f )
(15)
2
xˆ
(
Wartościami własnymi ξ1 , ξ 2 macierzy ∇ 2 f
)
xˆ
są pierwiastki równania
charakterystycznego (3.15) , zbiór wartości własnych
(
macierzy ∇ 2 f
)
xˆ
{ ξ1
, ξ2
}
, nazywamy widmem tej macierzy.
Przykład 3.1
1./
funkcja dwóch zmiennych
f ( x1 , x 2 ) = x12 − 2 x1 ⋅ x 2 + 2 x 22
2./
hesjan funkcji
⎛ ∂2 f ⎞
⎛ ∂2 f ⎞
⎟
⎜
⎜
⎟
⎜ ∂x ∂x ⎟
⎜ ∂x 2 ⎟
2 −2
1
2 ⎠x
⎝
1 ⎠x
⎝
2
=
∇ f x =
2
2
⎛∂ f ⎞
−2 4
⎛ ∂ f ⎞
⎟
⎜
⎜
⎟
⎜ ∂x ∂x ⎟
⎜ ∂x 2 ⎟
⎝ 1 2 ⎠x
⎝ 2 ⎠x
3./
wielomian charakterystyczny hesjanu
⎡ 2 −2
1 0⎤
ϕ(ξ) = det ∇ 2 f − ξ ⋅ 12 = det ⎢
−ξ⋅
⎥
0 1⎦
⎣− 2 4
4./
równanie charakterystyczne hesjanu ϕ(ξ) = 0
ϕ(ξ) = (2 − ξ ) ⋅ (4 − ξ ) − ( −2) ⋅ ( −2) = 0
(
)
[(
5./
6./
H./
)
]
ϕ(ξ) = ξ 2 − 6ξ + 4 = 0
wartości
własne
hesjanu
(pierwiastki
równania
ξ1 = 3 + 5 , ξ 2 = 3 − 5
charakterystycznego )
widmo hesjanu (zbiór pierwiastków charakterystycznych )
3+ 5 , 3− 5
{
}
Ogólnie możliwa jest jedna z następujących sytuacji
a./
obie wartości własne są dodatnie ,
b./
obie wartości własne są ujemne ,
c./
wartości własne mają przeciwne znaki ,
d./
jedna w wartości własnych jest równa zero
ad.a
f ( x1 , x2 )
fˆ ( xˆ1 , xˆ 2 )
xˆ 2 = x 2
0
xˆ 1 = x1
Rys.6
xˆ = [xˆ1 , xˆ 2 ]
Paraboloida eliptyczna wypukła w dół
Jeżeli obie wartości własne hesjanu są dodatnie wówczas zachodzi przypadek C.1
A(u1 , u 2 ) = u T ⋅ ∇ 2 f xˆ ⋅ u > 0 ,
(
(∇ f )
)
(macierz
xˆ ) forma kwadratowa A(u1 , u 2 ) jest dodatnio
określona.
Obrazem graficznym funkcji f ( x1 , x2 ) jest w tym przypadku
paraboloida eliptyczna wypukła w dół .
2
ad.b
Jeżeli obie wartości własne hesjanu są ujemne wówczas zachodzi
przypadek C.2
A(u1 , u 2 ) = u T ⋅ ∇ 2 f xˆ ⋅ u < 0 ,
(
(∇ f )
)
2
(macierz
xˆ ) forma kwadratowa A(u1 , u 2 ) jest ujemnie
określona
Obrazem graficznym funkcji f ( x1 , x2 ) jest w tym przypadku
paraboloida eliptyczna wypukła w górę .
f ( x1 , x 2 )
fˆ ( xˆ1 , xˆ 2 )
xˆ 2 = x 2
0
xˆ 1 = x 1
Rys.7.
ad.c
xˆ = [xˆ1 , xˆ 2 ]
Paraboloida eliptyczna wypukła w górę
w przypadku gdy wartości własne są różnych znaków , forma kwadratowa
przyjmuje zarówno wartości dodatnie jak i ujemne .
Forma kwadratowa jest zatem nieokreślona a także nieokreślony jest
hesjan ∇ 2 f xˆ . Obrazem graficznym funkcji f ( x1 , x2 ) jest w tym
przypadku paraboloida hiperboliczna jak na rysunku poniżej.
(
)
f ( x1 , x 2 )
x2
0
x1
Rys.8
Hesjan nieokreślony Punkt siodłowy
[x1 , x2 ]
ad.a
1.)
Jeżeli jedna z wartości własnych jest równa zero a druga jest
dodatnia to zachodzi przypadek D.1 ,
[
]
[
fˆ (xˆ1 , xˆ 2 ) , xˆ1 ∈ x11 , x12 , xˆ 2 ∈ x12 , x23
A
]
f ( x1 , x 2 )
x12
0
x22
x11
x12
Rys. 9
Minimum niewłaściwe (spłaszczone) funkcji
(
)
(
f ( x1 , x 2 )
)
A(u1 , u 2 ) = u T ⋅ ∇ 2 f xˆ ⋅ u ≥ 0 (macierz ∇ 2 f xˆ ) forma kwadratowa A(u1 , u 2 )
jest dodatnio półokreślona .Dodatnia półokreśloność wskazywać może na istnienie
minimum niewłaściwego (spłaszczonego) funkcji f ( x1 , x2 ) . Aproksymacja
lokalna funkcji f ( x1 , x2 ) walcem hiperbolicznym leżącym i wypukłym w dół
wykazuje istnienie minimum niewłaściwego (spłaszczonego) .
W przypadku A. w zbiorze Η̂ istnieje minimum niewłaściwe( rys. 9)
W przypadku B w zbiorze Η̂ minimum niewłaściwe nie istnieje ( rys. 10).
2.)
Jeżeli jedna z wartości własnych jest równa zero a druga jest ujemna to
zachodzi przypadek D.2
(
)
(
)
A(u1 , u 2 ) = u T ⋅ ∇ 2 f xˆ ⋅ u ≤ 0 (macierz ∇ 2 f xˆ ) forma kwadratowa A(u1 , u 2 )
jest ujemnie półokreślona. Ujemna półokreśloność wskazywać może na istnienie
maksimum niewłaściwego funkcji f ( x1 , x2 ) .
B
f ( x1 , x 2 )
x 21
Rys.10.
x12
0
x11
x22
Minimum niewłaściwe (spłaszczone) nie istnieje
Aproksymacja lokalna funkcji f ( x1 , x2 ) walcem hiperbolicznym leżącym i
wypukłym w górę wykazuje istnienie maksimum niewłaściwego.
W przypadku A. w zbiorze Η̂ istnieje maksimum niewłaściwe ( rys.11)
W przypadku B. w zbiorze Η̂ nie istnieje maksimum niewłaściwe (rys.12)
A
f ( x1 , x 2 )
x 21
Rys.11.
[
x11
]
[
fˆ (xˆ1 , xˆ 2 ) , xˆ1 ∈ x11 , x12 , xˆ 2 ∈ x12 , x23
x 21
0
x 22
Η̂
Maksimum niewłaściwe funkcji
f ( x1 , x2 )
]
f ( x1 , x 2 )
B
x 21
x11
x12
0
x22
Rys.12.
Maksimum niewłaściwe nie istnieje
I./
Warunki dostateczne istnienia ekstremum
(
Istnienie i postać ekstremum Hesjan ∇ 2 f
Minimum
Istnieje
w lokalne
silne
punkcie
stacjonarnym
x̂
Maksimum
lokalne
silne
Może istnieć
w otoczeniu
punktu
stacjonarnego
x̂
dodatnio
określony
ujemnie
określony
Minimum
dodatnio
lokalne
półokreślony
niewłaściwe
Maksimum ujemnie
Lokalne
półokreślony
niewłaściwe
)
xˆ
Powierzchnia
Wartości
określona
własne hesjanu
przez funkcję
ξ1 , ξ 2
A(u1 , u 2 )
paraboloida
ξ1 > 0
eliptyczna
ξ2 > 0
wypukła w dół
ξ1 < 0
ξ2 < 0
ξ1 = 0 , ξ 2 ≥ 0
ξ1 ≥ 0 , ξ 2 = 0
ξ1 = 0 , ξ 2 ≤ 0
ξ1 ≤ 0 , ξ 2 = 0
paraboloida
eliptyczna
wypukła
w
górę
walec
paraboliczny
wypukły w dół
walec
paraboliczny
wypukły
w
górę
nieokreślony
Nie istnieje ekstremum
ξ1 > 0 , ξ 2 < 0
ξ1 < 0 , ξ 2 > 0
paraboloida
hiperboliczna
Dla ustalenia typu formy A(u1 , u 2 ) nie zachodzi konieczność rozwiązywania
równania charakterystycznego gdyż nie musimy znać dokładnie wartości własnych
ξ1 , ξ 2 lecz tylko ich znaki.
Można wykazać że jeżeli :
2
⎛ ∂2 f ⎞ ⎛ ∂2 f ⎞ ⎛ ∂2 f ⎞
⎛ ∂2 f ⎞
2
⎜
⎟
⎟ >0
a11a22 − a12 = ⎜ 2 ⎟ ⋅ ⎜ 2 ⎟ − ⎜⎜
I.1.) a11 = ⎜ 2 ⎟ > 0 oraz
⎜ ∂x ⎟ ⎜ ∂x ⎟ ∂x ∂x ⎟
∂
x
1
2
⎠
⎝ 1 ⎠ ⎝ 2 ⎠ ⎝
⎝ 1 ⎠ xˆ
to forma kwadratowa A(u1 , u 2 ) jest dodatnio określona ,
⎛ ∂2 f ⎞
⎛ ∂2 f ⎞ ⎛ ∂2 f
2
= ⎜⎜ 2 ⎟⎟ ⋅ ⎜⎜ 2
I.2.) a11 = ⎜⎜ 2 ⎟⎟ < 0 oraz a11a22 − a12
⎝ ∂x1 ⎠ xˆ
⎝ ∂x1 ⎠ ⎝ ∂x2
to forma kwadratowa A(u1 , u 2 ) jest ujemnie określona .
2
⎞ ⎛ ∂2 f ⎞
⎟−⎜
⎟
⎟ ⎜ ∂x ∂x ⎟ > 0
⎠ ⎝ 1 2⎠
Warunek dostateczny istnienia ekstremum funkcji dwóch zmiennych
Jeżeli funkcja f ( x1 , x2 ) ma ciągłe pochodne do rzędu drugiego włącznie w
otoczeniu punktu stacjonarnego x̂ to w tym punkcie funkcja osiąga
minimum
silne gdy są spełnione warunki
I.1.
maksimum
silne gdy są spełnione warunki
I.2.
Uwaga:
Dotychczas mówiliśmy tylko o ekstremach lokalnych .
Analogicznie jak w przypadkach funkcji jednej zmiennej sytuacja
znacznie się upraszcza gdy dana funkcja jest wypukła w dół bądź
wypukła w górę .Jeżeli tylko występuje odpowiednie ekstremum
to jest ono jednocześnie ekstremum globalnym .
Można wykazać że funkcja f ( x1 , x2 ) określona w przestrzeni R 2 jest funkcją
(
)
a.) wypukłą w dół jeżeli dla wszystkich x ∈ R 2 hesjan ∇ 2 f xˆ jest dodatnio
półokreślony ,
b.) wypukłą w górę jeżeli dla wszystkich x ∈ R 2 hesjan ∇ 2 f xˆ jest ujemnie
półokreślony ,
c.) silnie wypukłą w dół jeżeli dla wszystkich x ∈ R 2 hesjan ∇ 2 f xˆ jest
dodatnio określony ,
d.) silnie wypukłą w górę jeżeli dla wszystkich x ∈ R 2 hesjan ∇ 2 f xˆ jest
ujemnie określony
(
)
(
)
(
)
J./
Warunki dostateczne istnienia ekstremum niewłaściwego
Jeżeli wszystkie punkty stacjonarne x̂ funkcji f ( x1 , x2 ) tworzą zbiór spójny Ĥ
oraz w pewnym zbiorze H takim , że H ⊃ Hˆ wszystkie pochodne rzędu
1
1
drugiego funkcji f ( x1 , x2 ) są ciągłe to funkcja ta ma w zbiorze Ĥ :
-minimum niewłaściwe lokalne , gdy hesjan jest dodatnio półokreślony dla
x ∈ H1 ,
-maksimum niewłaściwe lokalne , gdy hesjan jest ujemnie półokreślony dla
x ∈ H1 .
Definicja :
3.3
Przez zbiór spójny rozumiemy taki zbiór punktów , że każde dwa
dowolnie wybrane punkty z tego zbioru możemy połączyć taka
krzywą ciągłą której wszystkie punkty należą do danego zbioru.
Ekstrema funkcji
cząstkowych
wielu
zmiennych
o
ciągłych
pochodnych
Postać hesjanu dla funkcji wielu zmiennych
⎡ ⎛ ∂2 f ⎞
⎛ ∂2 f ⎞ ⎤
⎛ ∂2 f ⎞
⎟
⎟
⎜
⎜
•
•
⎢ ⎜⎜ 2 ⎟⎟
⎜ ∂x ∂x ⎟ ⎥
⎜ ∂x ∂x ⎟
x
∂
⎢ ⎝ 1 ⎠ xˆ
⎝ 1 n ⎠ xˆ ⎥
⎝ 1 2 ⎠ xˆ
⎥
(16)
•
•
• •
•
∇ 2 f xˆ = ⎢
2
⎢⎛ ∂ 2 f ⎞ ⎛ ∂ 2 f ⎞
⎛∂ f ⎞ ⎥
⎢⎜
⎟ ⎜
⎟ • • ⎜ 2 ⎟ ⎥
⎜ ∂x ⎟ ⎥
⎢⎜⎝ ∂x n ∂x1 ⎟⎠ xˆ ⎜⎝ ∂x n ∂x 2 ⎟⎠ xˆ
⎝ n ⎠ xˆ ⎦
⎣
B./ Warunki dostateczne istnienia ekstremum funkcji f ( x1 x2 ) , x ∈ R N w jej
punkcie stacjonarnym x̂
A./
(
)
(
2
Istnienie i postać ekstremum
Hesjan ∇ f
Minimum
Istnieje
w Lokalne
punkcie
silne
stacjonarnym
dodatnio
określony
)
xˆ
Wartości
Powierzchnia
własne hesjanu określona przez
ξ1 , ξ 2 ,...., ξ n funkcję A
paraboloida
ξ1 > 0
eliptyczna
ξ 2 > 0, ....,
wypukła w dół
ξn > 0
x̂
Maksimum
Lokalne
silne
Minimum
Może istnieć lokalne
w otoczeniu niewłaściwe
punktu
stacjonarnego
x̂
Maksimum
Lokalne
niewłaściwe
ujemnie
określony
dodatnio
półokreślony
ujemnie
półokreślony
nieokreślony
Nie istnieje ekstremum
ξ1 < 0
paraboloida
eliptyczna
ξ 2 < 0,...,
wypukła
w
ξn > 0
górę
Jedna spośród walec
paraboliczny
wartości
wypukły w dół
własnych
ξ1 ,...., ξ n = 0
a pozostałe są
nieujemne
Jedna spośród walec
paraboliczny
wartości
wypukły
w
własnych
górę
ξ1 ,...., ξ n = 0
a pozostałe są
niedodatnie
co
najmniej paraboloida
jedna
jest hiperboliczna
dodatnia i co
najmniej jedna
ujemna
Podobnie jak w przypadku N = 2 , aby stwierdzić rodzaj określoności bądź
półokreśloności hesjanu , nie istnieje konieczność rozwiązywania równania
charakterystycznego . Mianowicie przy badaniu określoności hesjanu (∇ 2 f )xˆ
można skorzystać ze wzoru Sylwestra o określoności form kwadratowych.
Aby z tego wzoru skorzystać , oznaczamy poszczególne podwyznaczniki hesjanu
w następujący sposób :
⎛ ∂2 f ⎞
⎟
∆ 1 ( xˆ ) = ⎜⎜
⎟
⎝ ∂x1 ⎠ xˆ
⎡ ⎛ ∂2 f ⎞
⎢ ⎜⎜ 2 ⎟⎟
⎢ ∂x
∆ 2 ( xˆ ) = ⎢ ⎝ 2 1 ⎠ xˆ
⎞
⎛
⎢⎜ ∂ f ⎟
⎜
⎢⎝ ∂x1∂x 2 ⎟⎠ xˆ
⎣
•
•
•
⎛ ∂2 f ⎞ ⎤
⎜
⎟
⎜ ∂x ∂x ⎟ ⎥
⎝ 1 2 ⎠ xˆ ⎥
⎛ ∂2 f ⎞ ⎥
⎜
⎟ ⎥
⎜ ∂x 2 ⎟ ⎥
⎝ 2 ⎠ xˆ ⎦
(17)
⎡ ⎛ ∂2 f ⎞
⎢ ⎜⎜ 2 ⎟⎟
⎢ ⎝ ∂x1 ⎠ xˆ
•
∆ n ( xˆ ) = ⎢
⎢⎛ ∂ 2 f ⎞
⎢⎜
⎟
⎢⎜⎝ ∂x n ∂x1 ⎟⎠ xˆ
⎣
⎛ ∂2 f ⎞
⎟
⎜
⎜ ∂x ∂x ⎟
⎝ 1 2 ⎠ xˆ
•
⎛ ∂2 f ⎞
⎜
⎟
⎜ ∂x ∂x ⎟
⎝ n 2 ⎠ xˆ
⎛ ∂2 f ⎞ ⎤
⎟ ⎥
• • ⎜⎜
⎟
⎝ ∂x1∂x n ⎠ xˆ ⎥
⎥
• •
•
⎛ ∂2 f ⎞ ⎥
• • ⎜⎜ 2 ⎟⎟ ⎥
⎝ ∂x n ⎠ xˆ ⎥⎦
Wykorzystując podwyznaczniki ∆1 ( xˆ ) , ∆ 2 ( xˆ ) , .... , ∆ n ( xˆ ) na podstawie twierdzenia
Sylwestra można sformułować warunki dostateczne istnienia ekstremum funkcji
N zmiennych :
Funkcja f ( x) , N zmiennych mająca ciągłe pochodne cząstkowe do rzędu
drugiego włącznie w otoczeniu punktu stacjonarnego x̂ :
1.)
ma w punkcie x̂ minimum lokalne silne , gdy
∆ n ( xˆ ) > 0 dla n = 1,.., N tj. gdy hesjan w punkcie x̂ jest dodatnio
określony ,
2.)
ma w punkcie x̂ maksimum lokalne silne , gdy
(−1) n ⋅ ∆ n ( xˆ ) > 0 dla n = 1,.., N
tj. gdy hesjan w punkcie x̂ jest
ujemnie określony,
nie można rozstrzygnąć czy istnieje ekstremum w punkcie x̂ gdy :
3.)
3.1)
∆ n ( xˆ ) ≥ 0 dla n = 1,.., N − 1 ,
∆ N ( xˆ ) = 0
(−1) n ⋅ ∆ n ( xˆ ) ≥ 0 dla n = 1,.., N − 1
3.2)
,
∆ N ( xˆ ) = 0
4.)
tj. gdy hesjan w punkcie x̂ jest dodatnio lub ujemnie półokreślony ,
nie ma w punkcie x̂ ekstremum gdy nie są spełnione warunki 3.1 lub 3.2
tj. gdy hesjan w punkcie x̂ nie jest określony .
3.4
Warunki optymalności programowania nieliniowego
Niech będzie dane zadanie programowania nieliniowego (ZPN) o postaci :
f ( x ) = min f ( x )
x∈ X 0
⎧ x : g i ( x ) ≤ 0 , i = 1,.., u
⎫
X0 = ⎨
⎬
⎩ g i ( x ) = 0 , i = u + 1,.., m ⎭
gdzie :
f : x = R n → R1
n
gi : R → R
f , gi
1
(17)
jest funkcją kryterialną zadania
są funkcjami przedstawiającymi ograniczenia
są funkcjami różniczkowalnymi .
Warunki Kuhna –Tuckera
Dla zadania optymalizacji (17) sformułowanego powyżej warunki Kuhna-Tuckera
przedstawiają się następująco :
xˆ ∈ X 0 , czyli jest punktem dopuszczalnym , jeżeli
1.)
istnieją λˆ i ≥ 0 , i = 1,.., u
istnieją λˆ , i = 1 + u ,.., m
( mnożniki Lagrange’a) oraz
o nieoznaczonym znaku takie , że :
i
2.)
∇f ( xˆ ) +
m
∑ λˆ ∇g ( xˆ )
i
= 0
i
oraz
(18)
i =1
λˆ i g i ( xˆ ) = 0, i = 1,.., u
(19)
3.)
Inna postać warunków Kuhna-Tuckera :
Dla zadania programowania nieliniowego (1) utwórzmy funkcję Lagrange’a w
postaci :
L( x, λ) = f ( x ) +
m
∑ λ g ( x)
i
i
(20)
i =1
Korzystając z (20) warunki konieczne można zapisać w postaci :
∇ x L( xˆ , λˆ) = 0
∇ L( xˆ , λˆ) ≤ 0
λ
λˆ , ∇ λ L( xˆ , λˆ) = 0
∇x
∇λ
λˆ ≥ 0
oznacza gradient funkcji Lagrange’a względem wektora x ,
oznacza gradient funkcji Lagrange’a względem wektora λ
(21)
(22)
(23)
(24)
Jeżeli w zbiorze ograniczeń wyróżniono w sposób jawny ograniczenia na zmienne
decyzyjne x ≥ 0 wówczas warunki Kuhna-Tuckera przyjmą postać :
∇ x L( xˆ , λˆ) ≥ 0
xˆ , ∇ L( xˆ , λˆ) = 0
(25)
xˆ ≥ 0
∇ λ L( xˆ , λˆ) ≤ 0
λˆ , ∇ λ L( xˆ , λˆ) = 0
(27)
(28)
x
λˆ ≥ 0
gdzie funkcja Lagrange’a jest zdefiniowana jak poprzednio .
(26)
(29)
(30)