11. Rozkład SVD według warto´sci szczególnych (ang. singular

11.
Rozk÷
ad SVD wed÷
ug wartości szczególnych
(ang. singular value decomposition)
1.
Podstawy algebraiczne metody
De…nicja (wartości szczególne)
Wartościami szczególnymi macierzy A nazywamy pierwiastki kwadratowe wartości w÷
asnych macierzy AH A, gdzie miacierz
AH jest macierza¾ sprze¾z·ona¾ do A.
Dla macierzy rzeczywistych A zachodzi
AH = AT
Twierdzenie
Dowolna¾ macierz A o rozmiarach m
n moz·na wyrazić w postaci
A = P DQ
gdzie P jest macierza¾ unitarna¾ stopnia m
rozmiarach m n.
m, Q jest macierza¾ unitarna¾ stopnia n
n, zaś D jest macierza¾ przekatniow
¾
a¾ o
Dowód
patrz [Kincaid, Cheney, str. 277]
Wnioski z dowodu:
1) tylko r = rank(A) pierwszych elementów diagonali macierzy D jest niezerowych
2) zmieniajac
¾ kolejność tych elementów moz·na uzyskać r! róz·nych rozk÷
adów SVD dla tej samej macierzy A
Przyk÷
ad
2
2
3
1 0 0
P = 4 0 1 0 5,
0 0 1
3
0 1 0
P = 4 1 0 0 5,
0 0 1
2
7 0
4
A= 0 3
0 0
2
49
6
0
AH A = 6
40
0
2
3
0 0
0 05
0 0
0
9
0
0
0
0
0
0
3
0
07
7
05
0
3
7 0 0 0
D = 4 0 3 0 0 5,
0 0 0 0
3
3 0 0 0
D = 4 0 7 0 0 5,
0 0 0 0
2
2
1
60
Q=6
40
0
2
0
61
Q=6
40
0
0
1
0
0
1
0
0
0
0
0
1
0
0
0
0
1
3
0
07
7
05
1
3
0
07
7
15
0
De…nicja (pseudoodwrotność macierzy diagonalnej)
Pseudoowdrotnościa¾ macierzy diagonalnej D rozmiaru m n, czyli takiej z·e
D[i; j] :=
nazywamy macierz D+ rozmiaru n
dla i = j 6 rank(A)
0, w przeciwnym razie
i,
m postaci
, dla i = j 6 rank(A)
0, w przeciwnym razie
1
D+ [i; j] :=
i
Przyk÷
ad
2
3
2 0 0 0
D=40 4 0 05
0 0 0 0
2
3
1 0 0
DD+ = 4 0 1 0 5
0 0 0
!
2
0:5
60
D+ = 6
40
0
2
1 0 0
60 1 0
D+D = 6
40 0 0
0 0 0
0
0:25
0
0
3
0
07
7
05
0
3
0
07
7
05
0
De…nicja (pseudoodwrotność dowolnej macierzy)
Pseudoodwrotnościa¾ dowolnej macierzy A = P DQ nazywamy macierz
A + = QH D + P H
2.
Zastosowanie SVD w zadaniach NK
mamy uk÷
ad równań –moz·e być sprzeczny, moz·e mieć wiele rozwiazań
¾
Ax = b
oznaczmy
= min kAx
x
bk2
De…nicja (rozwiazanie
¾
minimalne)
Rozwiazaniem
¾
minimalnym uk÷
adu równań Ax = b nazywamy najkrótszy (w sensie euklidesowym) wektor minimalizujacy
¾
kAx bk2 , czyli nalez·acy
¾ do zbioru
fx : kAx bk2 = g
Moz·liwe przypadki
Czy sprzeczny? Liczba rozwiazań
¾
nie, = 0
1
nie, = 0
1
tak, > 0
0 (jedno rozwiazanie
¾
problemu NK)
tak, > 0
0 (1 wiele rozwiazań
¾
problemu NK)
Czym jest rozwiazanie
¾
minimalne?
jedynym rozwiazaniem
¾
najkrótszym rozwiazaniem
¾
jedynym rozwiazaniem
¾
problemu NK
najkrótszym z rozwiazań
¾
problemu NK
Twierdzenie
Rozwiazanie
¾
minimalne uk÷
adu równań Ax = b ma postać
x = A+ b
Aplikacja
XN a = YN –w ogólności sprzeczny
XN = P DQ
b
a = XN+ YN = QT D+ P T YN