Metody dekompozycji macierzy stosowane w automatyce

Wprowadzenie
LU
Eigen
Cholesky
QR
Metody dekompozycji macierzy
stosowane w automatyce
Grzegorz Mzyk
Politechnika Wroc÷
awska, Wydzia÷Elektroniki
23 lutego 2015
SVD
Literatura
Wprowadzenie
LU
Eigen
Cholesky
QR
Plan wyk÷
adu
1
Wprowadzenie
2
Rozk÷
ad LU
3
Rozk÷
ad spektralny
4
Rozk÷
ad Cholesky’ego
5
Rozk÷
ad QR
6
Rozk÷
ad wg wartości szczególnych (SVD)
7
Literatura
SVD
Literatura
Wprowadzenie
LU
Eigen
Cholesky
Wprowadzenie
Ax = b
YN = ΦN θ + ZN
YN = Φ N θ
QR
SVD
Literatura
Wprowadzenie
LU
Eigen
Cholesky
QR
Rozk÷
ad LU
A = LU
Ax = b
!
= b
Ux = y
Ly
LUx = b
SVD
Literatura
Wprowadzenie
LU
Eigen
Cholesky
QR
SVD
Rozk÷
ad spektralny
Twierdzenie
Ka·
zda¾ dodatnio okre´slona¾ i symetryczna¾ macierz A mo·
zna
przedstawi´c w postaci
A = PP T
gdzie P jest macierza¾ nieosobliwa¾ (nazywana¾ pierwiastkiem
macierzy A).
Dowód
Oznaczmy
wi – wektory w÷
asne macierzy A,
λi – warto´sci w÷
asne macierzy A,
w÷
asno´s´c
Awi = λi wi
= 1, 2, ..., s
i = 1, 2, ..., s
i
Literatura
Wprowadzenie
LU
Eigen
Cholesky
QR
SVD
Literatura
Dowód (c.d.)
oznaczajac
¾
2
λ1
6 0
W = [w1 , w2 , ..., ws ] oraz Λ = diag (λi ) = 6
4 ..
0
0
λ2
0
..
poniewa·
z macierz A jest symetryczna, to
λi – rzeczywiste
wi – parami ortogonalne
poniewa·
z macierz A jest dodatnio okre´slona (A > 0), to
λi > 0 dla ka·
zdego i = 1, 2, ..., s
..
0
..
0
3
0
.. 7
7
0 5
λs
Wprowadzenie
LU
Eigen
Cholesky
QR
SVD
Literatura
Dowód (c.d.)
wniosek
W – macierz ortogonalna
T
W W
= I =) W
1
= WT
a zatem
= WΛ
A = W ΛW
AW
1
= W ΛW T (tzw. rozk÷
ad spektralny macierzy)
oznaczajac
¾
2 p
6 0
Λ = Λ1/2 Λ1/2 , gdzie Λ1/2 = 6
4 ..
0
λ1 0p
0
..
λ2
..
0
..
0
0
..
0p
3
λs
7
7
5
Wprowadzenie
LU
Eigen
Cholesky
QR
SVD
Dowód (c.d.)
otrzymujemy
W ΛW T = W Λ1/2 W Λ1/2
T
stad
¾
A = PP T , gdzie P = W Λ1/2 (c.k.d.)
Literatura
Wprowadzenie
LU
Eigen
Cholesky
QR
SVD
Rozk÷
ad Cholesky’ego
inny rozk÷
ad dodatnio określonej, symetrycznej macierzy
kwadratowej A
A = LDLT
gdzie
D = diag(di ), di > 0
L – macierz trójkatna
¾
dolna,
stad
¾
A = LD 1/2 D 1/2 LT
p
gdzie D 1/2 = diag( di )
przyjmujac
¾ oznaczenie
L = LD 1/2
otrzymujemy
A = LL
T
Literatura
Wprowadzenie
LU
Eigen
Cholesky
QR
SVD
Literatura
Schemat metody obliczeniowej
Ax = b
!
T
LL x = b
Etap 1.
T
oznaczajac
¾ α = L x rozwiazujemy
¾
równanie ”zewnetrzne”
¾
Lα = b
Etap 2.
dla wartości α z etapu 1 rozwiazujemy
¾
równanie ”wewnetrzne”
¾
T
L x=α
Zalety metody
1) prostota operacji przy rozwiazywaniu
¾
równań
Etap 1 – met. podstawiania ”od góry”, Etap 2 – met.
podstawiania ”od do÷
u”
p
2) dobre uwarunkowanie zadania, gdyz· det L = det A, zatem dla
0 < det A < 1
T
det L = det L > det A
Wprowadzenie
LU
Eigen
Cholesky
QR
SVD
Rozk÷
ad QR
A = QR
(m
n)
Q – macierz ortogonalna (m
m),
R – macierz trójkatna
¾
górna (m
Ax = b
!
QRx = b
!
n)
Rx = Q T b
Literatura
Wprowadzenie
LU
Eigen
Cholesky
QR
SVD
Literatura
Metoda odbić Householdera
De…nicja
Macierza¾ odbicia Householdera nazywamy macierz postaci
P=I
2ww T
gdzie kw k = 1, tj. w T w = 1.
Interpretacja
Pw = (I
2ww T )w = w
2ww T w = w
W÷
asności:
(i) P = P T (symetria)
(ii) P T P = PP T = I (ortogonalność)
2w =
w
Wprowadzenie
LU
Eigen
Cholesky
QR
SVD
Literatura
(iii) dla kaz·dego wektora x istnieje macierz Pj , taka z·e
Pj x =
2
3
0
6 0 7
7
kx k ej , gdzie ej jest j-tym wersorem ej = 6
4 1 5
0
(iiii) dla ciagu
¾ macierzy Householdera P1 , P2 , ..., Ps przekszta÷
cenie
z÷
oz·enia
Ψ = Ps Ps 1 ... P2 P1
jest macierza¾ ortogonalna,
¾ tj.
ΨT Ψ = I
Wprowadzenie
LU
Eigen
Cholesky
QR
SVD
Lemat
Dla ka·
zdej macierzy A istnieje taki ciag
¾ macierzy Householdera
e1 , P
e2 , ..., P
es g, ·
fP
ze przekszta÷
cenie z÷
o·
zone
ma w÷
asno´s´c
es P
es
Ψ=P
ΨA =
e e
1 , ...P2 P1
R
0
gdzie R jest macierza¾ trójkatn
¾ a¾ górna.¾
Twierdzenie
Oszacowanie NK wektora x jest równowa·
zne rozwiazaniu
¾
uk÷
adu
równa´n
Rx = η R
gdzie η R jest wektorem zawierajacym
¾
pierwsze elementy wektora
ΨYN .
Literatura
Wprowadzenie
LU
Eigen
Cholesky
QR
SVD
Literatura
Dowód
Q (x ) = kAx
Q (x ) = (Ax
b k2e ! min
x
T
b ) (Ax
b) =
= [ΨAx Ψb ] [ΨAx Ψb ] =
R
ηR T R
] [
x
= [
x
ηz
0
0
T
=
Rx η R
ηz
T
Rx η R
ηz
=
= (Rx
η R )T (Rx
η R ) + η Tz η z =
= kRx
η R k2e + kη z k2e ! min
a
zatem
Q (x ) ! min ) Rx = η R
x
ηR
ηz
]=
Wprowadzenie
LU
Eigen
Cholesky
QR
SVD
Literatura
Rozk÷
ad wg wartości szczególnych (SVD)
De…nicja
Warto´sciami szczególnymi macierzy A nazywamy pierwiastki
kwadratowe warto´sci w÷
asnych macierzy AT A.
Twierdzenie
Dowolna¾ macierz A o rozmiarach m
n mo·
zna wyrazi´c w postaci
A = PDQ
gdzie P i Q sa¾ macierzami unitarnymi stopnia m m i n
D jest macierza¾ przekatniow
¾
a¾ o rozmiarach m n.
n, za´s
Wnioski z dowodu [Kincaid, Cheney, str. 277]:
1) tylko r = rank (A) pierwszych elementów diagonali macierzy D
jest niezerowych
2) zmieniajac
¾ kolejność tych elementów moz·na uzyskać r ! róz·nych
rozk÷
adów SVD dla tej samej macierzy A
Wprowadzenie
LU
Eigen
Cholesky
QR
SVD
Literatura
Przyk÷
ad
2
2
3
49
6
0
AT A = 6
4 0
0
7 0 0 0
4
A= 0 3 0 0 5
0 0 0 0
2
3
3
2
0
9
0
0
2
1
1 0 0
7 0 0 0
6 0
P = 4 0 1 0 5, D = 4 0 3 0 0 5, Q = 6
4 0
0 0 0 0
0 0 1
0
2
3
2
3
3
0
0 7
7
0 5
0
0
0
0
0
2
0
1
0
0
0
0 1 0
3 0 0 0
6 1
P = 4 1 0 0 5, D = 4 0 7 0 0 5, Q = 6
4 0
0 0
1
0 0 0 0
0
0
0
1
0
1
0
0
0
3
0
0 7
7
0 5
1
0
0
0
1
3
0
0 7
7
1 5
0
Wprowadzenie
LU
Eigen
Cholesky
QR
SVD
De…nicja
Pseudoowdrotno´scia¾ macierzy diagonalnej D rozmiaru m
takiej ·
ze
σi , dla i = j 6 rank (A)
D [i, j ] :=
0, w przeciwnym razie
nazywamy macierz D + rozmiaru n
D + [i, j ] :=
m postaci
dla i = j 6 rank (A)
0, w przeciwnym razie
1
σi ,
Literatura
n, czyli
Wprowadzenie
LU
Eigen
Cholesky
QR
SVD
Literatura
Przyk÷
ad
2
3
2 0 0 0
4
D= 0 4 0 0 5
0 0 0 0
DD
+
2
!
3
1 0 0
4
= 0 1 0 5
0 0 0
D+
2
0.5
6 0
=6
4 0
0
2
1
6
0
D +D = 6
4 0
0
0
0.25
0
0
0
1
0
0
0
0
0
0
3
0
0 7
7
0 5
0
3
0
0 7
7
0 5
0
Wprowadzenie
LU
Eigen
Cholesky
QR
SVD
De…nicja
Pseudoodwrotno´scia¾ dowolnej macierzy A = PDQ nazywamy
macierz
A+ = Q T D + P T
mamy uk÷
ad równań – moz·e być sprzeczny, moz·e mieć wiele
rozwiazań
¾
Ax = b
oznaczmy
ρ = min kAx
x
b k2
Literatura
Wprowadzenie
LU
Eigen
Cholesky
QR
SVD
De…nicja
Rozwiazaniem
¾
minimalnym uk÷
adu równa´n Ax = b nazywamy
najkrótszy (w sensie euklidesowym) wektor minimalizujacy
¾
¾ do zbioru
kAx b k2 , czyli nale·zacy
fx : kAx
b k2 = ρ g
Moz·liwe przypadki
Sprzeczny?
nie, ρ = 0
nie, ρ = 0
tak, ρ > 0
tak, ρ > 0
Liczba rozwiazań
¾
1
∞
0 (jedno rozw. NK)
0 (∞ wiele rozw. NK)
Rozw. minimalne =
jedyne rozw.
najkrótsze rozw.
jedyne rozw. NK
najkrótsze rozw. NK
Literatura
Wprowadzenie
LU
Eigen
Cholesky
QR
SVD
Twierdzenie
Rozwiazanie
¾
minimalne uk÷
adu równa´n Ax = b ma posta´c
x = A+ b
Zastosowanie
XN θ = YN – w ogólności sprzeczny
XN = PDQ
b
θ = XN+ YN = Q T D + P T YN
Literatura
Wprowadzenie
LU
Eigen
Cholesky
QR
SVD
Literatura
D. Kincaid, W. Cheney, Analiza Numeryczna, WNT,
Warszawa, 2006.
A. Kie÷
basiński, H. Schwetlick, Numeryczna Algebra Liniowa:
Wprowadzenie do Oblicze´n Zautomatyzowanych, WNT,
Warszawa, 1992.
T. Kaczorek, Wektory i Macierze w Automatyce i
Elektrotechnice, WNT, Warszawa, 1998.
Literatura