Relaksacje i teoria dualności jako wsparcie rozwiązywania

Relaksacje i teoria dualności jako wsparcie
rozwiązywania problemów projektowania sieci
Andrzej Kamisiński
Katedra Telekomunikacji
Akademia Górniczo-Hutnicza im. Stanisława Staszica w Krakowie
20 listopada 2014
Plan
• Wstęp
• Dualność problemów programowania liniowego (LP)
• Relaksacja Lagrange'a
• Dualizacja Lagrange'a
• Relacja problemów dualnych Lagrange'a oraz LP
• Dualizacja Lagrange'a dla problemów wypukłych
• Dualizacja Lagrange'a dla problemów MILP
• Podsumowanie
© A. Kamisiński
Wstęp
2 / 24
Ilustracja dualności (przykład)
© A. Kamisiński
Wstęp
3 / 24
Dualność problemów LP
Problem prymalny:
min
n
∑
Problem dualny:
cj xj
m
∑
max
j=1
s.t.:
n
∑
bi πi
i=1
s.t.:
aij xj
≥
bi
i = 1, 2, . . . , m
j=1
m
∑
aij πi
≤
cj
j = 1, 2, . . . , n
πi
≥
0
i = 1, 2, . . . , m
i=1
xj
≥
0
j = 1, 2, . . . , n
xj — zmienna j
πi — zmienna dualna i
© A. Kamisiński
Problemy programowania liniowego
4 / 24
Dualność problemów LP
Problem prymalny:
Problem dualny:
max bT π
min cx
s.t.:
s.t.:
Ax ≥ b
x ≥ 0
A T π ≤ cT
π ≥ 0
© A. Kamisiński
Problemy programowania liniowego
5 / 24
Dualność problemów LP — właściwości
• Przeciwny charakter funkcji celu (min lub max)
• Związek pomiędzy zmiennymi dualnymi oraz ograniczeniami
• Odstęp dualności jest równy 0
• Problemy LP mogą być wielokrotnie dualizowane
(w przeciwieństwie do problemów IP)
• Jeśli problem prymalny jest sprzeczny, wówczas problem dualny
jest nieograniczony lub sprzeczny
• Jeśli problem prymalny jest nieograniczony, wówczas problem
dualny jest sprzeczny
© A. Kamisiński
Problemy programowania liniowego
6 / 24
Słabe twierdzenie o dualności
• Dla dowolnych rozwiązań dopuszczalnych x (dla problemu
prymalnego) oraz π (dla problemu dualnego) zachodzi
następująca relacja (problem prymalny — minimalizacja):
n
∑
cj x j ≥
j=1
m
∑
bi πi
i=1
• Dowód:
n
∑
cj xj ≥
( m
n
∑
∑
j=1
j=1
i=1
)
aij πi xj =
m
∑
i=1


m
n
∑
∑

bi πi
aij xj πi ≥
j=1
i=1
© A. Kamisiński
Problemy programowania liniowego
7 / 24
Silne twierdzenie o dualności
Problem prymalny posiada ograniczone rozwiązanie optymalne
postaci
x∗ = (x∗1 , x∗2 , . . . , x∗n )
wtedy i tylko wtedy, gdy problem dualny również posiada ograniczone
rozwiązanie optymalne
π ∗ = (π1∗ , π2∗ , . . . , πn∗ )
Wówczas prawdziwa jest równość:
n
∑
j=1
cj x∗j =
m
∑
bi πi∗
i=1
© A. Kamisiński
Problemy programowania liniowego
8 / 24
Twierdzenie o odstępach komplementarnych
n
∑
aij x∗j ≥ bi
i = 1, 2, . . . , m
(1)
aij πi∗ ≤ cj
j = 1, 2, . . . , n
(2)
j=1
m
∑
i=1


n
∑
πi∗ 
aij x∗j − bi  = 0
(
j=1
m
∑
aij πi∗ − cj
(3)
)
x∗j = 0
(4)
i=1
Jeśli w nierówności (2) obie strony nie są sobie równe, to wartość
optymalna x∗j w równaniu (4) wynosi 0
© A. Kamisiński
Problemy programowania liniowego
9 / 24
Dualność problemów LP — zastosowania
• Wyznaczenie ograniczeń (górnych lub
dolnych) dla rozwiązania optymalnego
problemu prymalnego
min
f = cx
max
T
(problem prymalny)
g = b π
(problem dualny)
• Szacowanie czułości funkcji celu na
zaburzenia ∆b wprowadzone do ograniczeń
Ax ≥ b + ∆b
(problem prymalny)
T
max g = (b + ∆b) π
(problem dualny)
© A. Kamisiński
Problemy programowania liniowego
10 / 24
Relaksacja Lagrange'a
• Problem prymalny
min
F (x)
s.t.:
hi (x) = 0
i = 1, 2, . . . , m
(µi )
gj (x) ≤ 0
j = 1, 2, . . . , n
(λj )
x ∈ X
• Funkcja Lagrange'a (µ , λ — zmienne dualne)
L (x; µ, λ) = F (x) +
m
∑
i=1
µi hi (x) +
n
∑
λj gj (x)
j=1
x ∈ X
λ ≥ 0,
µ — nieograniczone co do znaku
© A. Kamisiński
Relaksacja Lagrange'a
11 / 24
Dualizacja Lagrange'a
• Funkcja dualna
W (µ, λ) = minx∈X
λ ≥ 0,
L (x; µ, λ)
µ — nieograniczone co do znaku
• Dla pewnych wartości zmiennych dualnych (µ, λ) może się
zdarzyć, że:
W (µ, λ) = −∞
• Zatem należy zdefiniować dziedzinę funkcji dualnej:
Dom (W) = {(µ, λ) : µ ∈ Rm , λ ∈ Rn , λ ≥ 0, minx∈X L (x; µ, λ) > −∞}
© A. Kamisiński
Dualizacja Lagrange'a
12 / 24
Dualizacja Lagrange'a
• Problem dualny Lagrange'a
max W (µ, λ)
s.t.:
(µ, λ) ∈ Dom (W)
λ ≥ 0,
µ — nieograniczone co do znaku
• Słabe twierdzenie o dualności
F (x∗ )
≥
W (µ∗ , λ∗ )
x∗ — rozwiązanie optymalne problemu prymalnego
(µ∗ , λ∗ ) — rozwiązanie optymalne problemu dualnego
© A. Kamisiński
Dualizacja Lagrange'a
13 / 24
Dualizacja Lagrange'a — właściwości
• Wartość optymalna w problemie dualnym stanowi ograniczenie
(dolne lub górne) wartości optymalnej problemu prymalnego
• Jeśli wszystkie funkcje F, hi oraz gj są ciągłe oraz zbiór X jest
zwarty, wówczas:
• W (µ, λ) jest funkcją wklęsłą,
• Dom (W) = {(µ, λ) : µ ∈ Rm , λ ∈ Rn , λ ≥ 0}
• Odstęp dualności
• F (x∗ ) − W (µ∗ , λ∗ ) ≥ 0
• Jeśli odstęp dualności jest równy 0, to wtedy wartości (µ∗ , λ∗ ) są
nazywane mnożnikami Lagrange'a
• Odstęp dualności dla problemów wypukłych jest zawsze równy 0
© A. Kamisiński
Dualizacja Lagrange'a
14 / 24
Identyczność problemów dualnych
Lagrange'a oraz LP
Relaksacja Lagrange'a:
Problem prymalny:
max cx
L (x; π) = cx + π (b − Ax)
L (x; π) = (c − πA) x + πb
x ≥ 0
s.t.:
π ≥ 0
Ax ≤ b
x ≥ 0
W (π) = maxx∈X L (x; π)
{
πb, (c − πA) ≤ 0
W (π) =
∞, (c − πA) > 0
© A. Kamisiński
Relacja problemów dualnych
15 / 24
Identyczność problemów dualnych
Lagrange'a oraz LP
Problem prymalny:
Problem dualny Lagrange'a:
min bT π
max cx
s.t.:
s.t.:
Ax ≤ b
x ≥ 0
A T π ≥ cT
π ≥ 0
Problem dualny programowania liniowego jest przypadkiem
szczególnym relaksacji Lagrange'a, o ile dualizacja obejmuje
wszystkie ograniczenia zdefiniowane w problemie prymalnym
© A. Kamisiński
Relacja problemów dualnych
16 / 24
Dualizacja Lagrange'a dla problemów
wypukłych — właściwości
Niech x∗ oraz (µ∗ , λ∗ ) będą wartościami optymalnymi odpowiednio dla
problemu prymalnego i dualnego. Wówczas:
• funkcja dualna W (µ, λ) jest wklęsła, a jej dziedzina jest zbiorem
wypukłym; zatem problem dualny problemu wypukłego również
jest problemem wypukłym
• jeśli zarówno problem prymalny jak i dualny nie są sprzeczne, to
F (x∗ ) = W (µ∗ , λ∗ )
• jeśli problem prymalny jest nieograniczony, to wtedy problem
dualny jest sprzeczny; podobnie, jeśli problem dualny jest
nieograniczony, to problem prymalny jest sprzeczny
© A. Kamisiński
Dualizacja Lagrange'a dla problemów wypukłych
17 / 24
Dualizacja Lagrange'a dla problemów
wypukłych — właściwości
• dla każdego rozwiązania optymalnego problemu dualnego (µ∗ , λ∗ )
istnieje rozwiązanie optymalne problemu prymalnego x∗ i na
odwrót, dla każdego rozwiązania optymalnego x∗ istnieje takie
rozwiązanie optymalne (µ∗ , λ∗ ), że:
W (µ∗ , λ∗ ) = L (x∗ ; µ∗ , λ∗ )
• punkt (x∗ ; µ∗ , λ∗ ) stanowi punkt siodłowy
© A. Kamisiński
Dualizacja Lagrange'a dla problemów wypukłych
18 / 24
Relaksacja liniowa problemu MILP
Problem prymalny MILP:
( MILP )
max z = cx
z
Relaksacja liniowa:
s.t.:
s.t.:
max z = cx
Ax ≤ b
Ax ≤ b
Dx ≤ d
Dx ≤ d
x ≥ 0
x ≥ 0
x ∈ Z
x ∈ R
(
zLIN
)
© A. Kamisiński
Dualizacja Lagrange'a dla problemów MILP
19 / 24
Relaksacja Lagrange'a problemu MILP
Funkcja Lagrange'a:
Problem prymalny MILP:
( MILP )
max z = cx
z
L (x; π) = cx + π (d − Dx)
Relaksacja Lagrange'a:
s.t.:
max L (x; π)
Ax ≤ b
Dx ≤ d
s.t.:
x ≥ 0
X = {x : Ax ≤ b, x ≥ 0, x ∈ Z}
x ∈ Z
x ∈ X
π ≥ 0
© A. Kamisiński
Dualizacja Lagrange'a dla problemów MILP
20 / 24
Dualizacja Lagrange'a problemu MILP
• Funkcja dualna Lagrange'a
W (π) = maxx∈X
L (x; π)
Dom (W) = {π : π ∈ R, π ≥ 0, maxx∈X L (x; π) < ∞}
• Problem dualny Lagrange'a
min z = W (π)
π
(
zLD
)
∈ Dom (W)
• Relacja pomiędzy wartością optymalną zMILP a ograniczeniami
• zMILP ≤ zLD ≤ zLIN
• Dualizacja oparta na relaksacji Lagrange'a zapewnia lepsze
(dokładniejsze) ograniczenie wartości optymalnej problemu
prymalnego niż relaksacja liniowa
© A. Kamisiński
Dualizacja Lagrange'a dla problemów MILP
21 / 24
Podsumowanie
• Dualność jako powiązanie dwóch problemów optymalizacyjnych
• Nowe metody poszukiwania ograniczeń dla rozwiązań problemów
optymalizacyjnych
• Tworzenie wydajnych algorytmów
• Proces rozwiązywania problemu dualnego może być mniej
skomplikowany niż w przypadku problemu prymalnego
© A. Kamisiński
Podsumowanie
22 / 24
Literatura
• Michał Pióro and Deepankar Medhi. Routing, Flow and Capacity
Design in Communication and Computer Networks. Morgan
Kaufmann Publishers — Elsevier, San Francisco, CA, 2004.
• Dualność problemów poszukiwania maksymalnego przepływu
oraz minimalnego rozcięcia w grafie (dostęp: 20.11.2014):
http://theory.stanford.edu/~trevisan/cs261/lecture15.pdf
© A. Kamisiński
Podsumowanie
23 / 24
Dziękuję za uwagę
Podsumowanie
24 / 24