AlgLin

Dodatek A
Piotr Jacek Suchomski
A.1 Elementy: przestrze« liniowa, przeksztaªcenie
liniowe, liniowa niezale»no±¢, rzuty
Przestrze« liniowa. Podprzestrze«. Przeksztaªcenie liniowe
Niech K b¦dzie ciaªem liczbowym, a X niepustym zbiorem. Zakªada si¦, i»
w zbiorze X okre±lone s¡ dwa dziaªania:
dodawanie elementów zbioru X : X × X 3 (a, b) 7→ a + b ∈ X ,
mno»enie elementów zbioru X przez elementy ciaªa K: K × X 3 (α, a) 7→
αa ∈ X .
Elementy ciaªa K nazywane s¡ skalarami, za± elementy zbioru X - wektorami.
Zbiór X jest przestrzeni¡ liniow¡ (wektorow¡ ) nad ciaªem K, je»eli speªnione
s¡ nast¦puj¡ce warunki:
a+b=b+a
∀(a, b) ∈ X × X ,
(a + b) + c = a + (b + c)
∀(a, b, c) ∈ X × X × X ,
równanie a+x = b ma dokªadnie jedno rozwi¡zanie w zbiorze X oznaczane
jako x = b − a
∀(a, b) ∈ X × X ,
α(a + b) = αa + αb
(α + β)a = αA + βA
α(βa) = (αβ)a
∀(α, a, b) ∈ K × X × X ,
∀(α, β, a) ∈ K × X × X ,
∀(α, β, a) ∈ K × X × X ,
1
2
1a = a
DODATEK A.
∀a ∈ X , gdzie 1 ∈ K jest jedno±ci¡ ciaªa K.
Element 0X ∈ X taki, »e ∀a ∈ X zachodzi a + 0X = a nazywany jest
zerem przestrzeni X . Z kolei, elementem odwrotnym do a ∈ X jest taki
element b ∈ X , »e a + b = 0X . Element odwrotny do a oznaczany jest
przez −a . ∀a ∈ X zachodzi 0a = 0X , gdzie 0 ∈ K oznacza zero ciaªa K.
Z powy»szej denicji przestrzeni liniowej wynika, i» zbiór X z dziaªaniem
dodawania wektorów tworzy struktur¦ algebraiczn¡ grupy przemiennej.
Niech Xi ⊂ X , i ∈ {1, . . . , k}, oznacza rodzin¦ podzbiorów przestrzeni
liniowej X . Przez sum¦ algebraiczn¡ tych podzbiorów rozumie si¦ zbiór
(
)
k
k
X
X
Xi = a ∈ X : a =
ai , ai ∈ Xi , i ∈ {1, . . . , k} .
i=1
i=1
Niech X b¦dzie przestrzeni¡ liniow¡. Podzbiór X0 ⊂ X nazywany jest podprzestrzeni¡ liniow¡ przestrzeni X , je»eli speªnia aksjomaty przestrzeni liniowej z dziaªaniem grupowym i mno»eniem przez skalar obci¦tymi do X0 .
Rozmaito±ci¡ liniow¡ (hiperpªaszczyzn¡ ) w X jest ka»dy podzbiór o postaci:
{a ∈ X : a = {a0 } + X0 }, gdzie a0 ∈ X , za± X0 ⊂ X jest podprzestrzeni¡
liniow¡ w X . Prost¡ przechodz¡c¡ przez punkt a0 ∈ X w kierunku a1 ∈ X
jest nast¦puj¡cy podzbiór przestrzeni X : {a ∈ X : a = a0 + αa1 , α ∈ K}.
Ka»da prosta przechodz¡ca przez punkt 0X ∈ X jest podprzestrzeni¡ liniow¡
przestrzeni X .
Niech X i Y b¦d¡ przestrzeniami liniowymi nad tym samym ciaªem K,
a zbiór D(A) ⊂ X podprzestrzeni¡ liniow¡ w X . Przeksztaªcenie (odwzorowanie) A : D(A) → Y nazywane jest liniowym, gdy speªnione s¡ nast¦puj¡ce warunki:
A(αa) = αA(a) ∀(α, a) ∈ K × D(A) ⊂ K × X ,
A(a + b) = A(a) + A(b) ∀(a, b) ∈ D(A) × D(A) ⊂ X × X .
Warto±¢ przeksztaªcenia liniowego A dla a ∈ D(A) oznacza si¦ jako Aa.
Zbiór D(A) ⊂ X nazywany jest dziedzin¡ przeksztaªcenia A. Przez L(X , Y)
oznacza si¦ zbiór wszystkich przeksztaªce« liniowych okre±lonych na dziedzinach zawartych w X oraz o warto±ciach w Y . Nale»y zauwa»y¢, i» w ogólno±ci L(X , Y) mo»e nie by¢ przestrzeni¡ liniow¡ ze wzgl¦du na odmiennie
zdeniowane dziedziny przeksztaªce« tego zbioru. Gdy rozwa»a si¦ przeksztaªcenia liniowe okre±lone na caªej przestrzeni X o warto±ciach w Y , zbiór
L(X , Y) oznaczany teraz jako L0 (X , Y), jest przestrzeni¡ liniow¡. Zachodzi
przy tym L0 (X , Y) ⊂ L(X , Y). Zbiory L(X , X ) oraz L0 (X , X ) oznacza si¦
odpowiednio L(X ) oraz L0 (X ).
A.1. ELEMENTY
3
Dalsze rozwa»ania dotyczy¢ b¦d¡ przestrzeni liniowych nad ciaªem liczb
rzeczywistych R oraz zespolonych C.
Wektory i macierze
Niech Rm×n oznacza przestrze« liniow¡ macierzy rzeczywistych o wymiarach
m×n


a11 · · · a1n

..  .
..
A ∈ Rm×n ⇔ A = [aij ]i∈{1,...,m}, j∈{1,...,n} = [aij ]m,n =  ...
.
. 
am1 · · · amn
Niekiedy elementy macierzy A ∈ Rm×n indeksujemy jako ai,j , gdzie i ∈
{1, . . . , m} oraz j ∈ {1, . . . , n}.
Oprócz dodawania macierzy (Rm×n × Rm×n → Rm×n )
C = A + B : cij = aij + bij ,
i ∈ {1, . . . , m}, j ∈ {1, . . . , n}
oraz mno»enia macierzy przez skalar (R × Rm×n → Rm×n )
B = αA : bij = αaij ,
i ∈ {1, . . . , m}, j ∈ {1, . . . , n}
do podstawowych dziaªa« zdeniowanych dla macierzy nale»¡:
mno»enie macierzy (Rm×n × Rn×p → Rm×p )
C = AB : cij =
n
X
aik bkj ,
i ∈ {1, . . . , m}, j ∈ {1, . . . , p}
k=1
transpozycja macierzy (Rm×n → Rn×m )
B = AT : bij = aji ,
i ∈ {1, . . . , m}, j ∈ {1, . . . , n}.
Przez Rm rozumie si¦ przestrze« liniow¡ wektorów kolumnowych (Rm ≡
Rm×1 ). Wspóªrz¦dne wektora x ∈ Rm oznacza si¦ przy pomocy pojedynczej
notacji indeksowej x = [ x1 · · · xm ]T . ∀(x, y) ∈ Rm × Rn okre±lony jest
iloczyn zewn¦trzny xy T ∈ Rm×n


x1 y1 · · · x1 yn

..  ∈ Rm×n .
..
xy T =  ...
.
. 
xm y1 · · · xm yn
4
DODATEK A.
∀(x, y) ∈ Rm × Rm okre±lony jest iloczyn wewn¦trzny (iloczyn skalarny )
xT y ∈ R tych wektorów
m
X
T
x y=
x i yi .
i=1
Rn×n
Macierz A ∈
nazywana jest rzeczywist¡ macierz¡ kwadratow¡.
Macierz kwadratowa In ∈ Rn×n o postaci


1 ··· 0


In =  ... . . . ... 
0 ··· 1
jest macierz¡ jednostkow¡ w Rn×n . Je»eli macierze kwadratowe A, B ∈ Rn×n
speªniaj¡ równanie AB = In , wówczas o macierzy B mówi si¦, »e jest
macierz¡ odwrotn¡ macierzy A (co zapisujemy jako B = A−1 ), za± macierz
A nazywa si¦ macierz¡ nieosobliw¡. Analogicznie mamy A = B −1 ). Dla
danej nieosobliwej macierzy A ∈ Rn×n macierz odwrotna A−1 ∈ Rn×n jest
jednoznacznie wyznaczon¡ macierz¡ nieosobliw¡. Dla nieosobliwej macierzy
A ∈ Rn×n zachodzi (A−1 )−1 = A, a ponadto (A−1 )T = (AT )−1 , co pozwala
na przyj¦cie oznaczenia A−T ≡ (A−1 )T .
Liniowa niezale»no±¢. Baza
Niech {ai ∈ Rm }ni=1 b¦dzie zbiorem wektorów. Wektor a ∈ Rm , dla którego
zachodzi
n
X
a=
αi ai , αi ∈ R, i ∈ {1, . . . , n}
i=1
jest kombinacj¡ liniow¡ wektorów {ai ∈ Rm }ni=1 . Niech P ⊂ Rm b¦dzie
podzbiorem przestrzeni Rm . Zbiorowi temu mo»na przyporz¡dkowa¢ nast¦puj¡cy podzbiór span {P } ⊂ Rm
(
)
k
X
span {P } = a ∈ Rm : a =
αi ai , k ∈ N, αi ∈ R, ai ∈ P, i ∈ {1, . . . , k}
i=1
nazywany powªok¡ liniow¡ zbioru P . Powªoka span {P } jest najmniejsz¡
(ze wzgl¦du na inkluzj¦) podprzestrzeni¡ liniow¡ przestrzeni Rm zawieraj¡c¡
zbiór P . O powªoce span {P } mówi si¦ tak»e jako o podprzestrzeni liniowej
rozpi¦tej na zbiorze P .
Niech P1 i P2 b¦d¡ podzbiorami przestrzeni liniowej Rm . Zbiory te s¡
wzajemnie liniowo niezale»ne, gdy P1 6= {0m }, P2 6= {0m } oraz span {P1 } ∩
A.1. ELEMENTY
5
span {P2 } = {0m }. A zatem, »adnego niezerowego wektora ze zbioru P1 nie
mo»na przedstawi¢ w postaci kombinacji liniowej wektorów ze zbioru P2 i na
odwrót. Zbiór P ⊂ Rm jest liniowo niezale»ny, je»eli 0m ∈
/ P oraz ∀a ∈ P
przekrój {a} ∩ span {P \{a}} jest zbiorem pustym: {a} ∩ span {P \{a}} = ∅.
Z powy»szego wynika, »e wektory {ai ∈ Rm }ni=1 s¡ liniowo niezale»ne (tworz¡
ukªad wektorów liniowo niezale»nych), je»eli


n
X

αi ai = 0m , αi ∈ R, i ∈ {1, . . . , n} ⇒ (αi = 0, i ∈ {1, . . . , n}) .
j=i
W przeciwnym razie wektory {ai ∈ Rm }ni=1 nazywane s¡ wektorami liniowo
zale»nymi co oznacza, »e istniej¡ takie skalary αi ∈ R, i ∈ {1, . . . , n}, nie
wszystkie równe zeru, dla których powy»sza kombinacja liniowa jest wektorem zerowym 0m ∈ Rm . Zbiór wszystkich kombinacji liniowych wektorów
{ai ∈ Rm }ni=1 tworzy powªok¦ liniow¡ span {ai }ni=1
(
)
n
X
n
m
m
R ⊃ span {ai }i=1 = a ∈ R : a =
αi ai , αi ∈ R, i ∈ {1, . . . , n} .
i=1
Niech b ∈ span {aj }ni=1 . W przypadku, w którym wektory {ai }ni=1 , s¡ liniowo
niezale»ne, wektor b jest jednoznacznie okre±lon¡ kombinacj¡ liniow¡ tych
wektorów.
Niech {Si ⊂ Rm }ki=1 b¦dzie rodzin¡ podprzestrzeni liniowych przestrzeni
m
R . Sum¡ tych podprzestrzeni jest zbiór
(
)
k
k
X
X
m
S1 + · · · + Sk =
Si = s ∈ R : s =
ai , ai ∈ Si , i ∈ {1, . . . , k}
i=1
i=1
za± ich przekrojem zbiór
S1 ∩ · · · ∩ Sk =
k
\
Si = {s ∈ Rm : s ∈ Si , i ∈ {1, . . . , k}} .
i=1
Poniewa» 0m ∈ Si , i ∈ {1, . . . , k}, zatem przekrój dowolnych podprzestrzeni
liniowych przestrzeni Rm jest niepusty. Suma oraz przekrój podprzestrzeni
{Si ⊂ Rm }ki=1 s¡ podprzestrzeniami liniowymi przestrzeni Rm .
Przestrze« S ⊂ Rm jest sum¡ prost¡ przestrzeni {Si ⊂ Rm }ki=1 , co zapisuje si¦ jako
k
M
S = S1 ⊕ · · · ⊕ Si =
Si
i=1
6
DODATEK A.
je»eli ∀s ∈ S posiada jednoznaczn¡ reprezentacj¦
s=
k
X
ai ,
ai ∈ Si , i ∈ {1, . . . , k}.
i=1
Przestrze« S ⊂ Rm jest sum¡ prost¡ przestrzeni {Si ⊂ Rm }ki=1 wtedy i tylko
wtedy, gdy:
S = S1 + · · · + Sk ,
(S1 +· · ·+Si )∩Si+1 = {0m }, i ∈ {1, . . . , k−1} (co oznacza, »e przestrzenie
Si , i ∈ {1, . . . , k}, s¡ wzajemnie liniowo niezale»ne).
Zbiór wektorów {ai ⊂ Rm }ki=1 nazywa si¦ baz¡ przestrzeni S ⊂ Rm , je»eli
ai ∈ S , i ∈ {1, . . . , k},
ai , i ∈ {1, . . . , k}, s¡ liniowo niezale»ne,
S = span {ai }ki=1 .
Wszystkie bazy danej przestrzeni S ⊂ Rm maj¡ tak¡ sam¡ liczb¦ elementów
okre±lan¡ jako wymiar tej przestrzeni (dim (S)). Gdy S = {0m }, przyjmuje
si¦ dim (S) = 0.
Niech S ⊂ Rm b¦dzie k -wymiarow¡ przestrzeni¡ liniow¡. Wtedy:
baz¦ S tworzy ka»dy zbiór k liniowo niezale»nych wektorów nale»¡cych do
S,
ka»dy zbiór k +1 wektorów nale»¡cych do S jest zbiorem wektorów liniowo
zale»nych,
ka»dy zbiór wektorów liniowo niezale»nych nale»¡cych do S da si¦ uzupeªni¢ do bazy tej przestrzeni,
je»eli wektory ai ∈ S , i ∈ {1, . . . , k}, tworz¡ baz¦ przestrzeni S to ∀a ∈ S
posiada jednoznaczn¡ reprezentacj¦ w tej bazie
a=
k
X
αi ai , αi ∈ R, i ∈ {1, . . . , k}
i=1
(skalary αi , i ∈ {1, . . . , k}, nazywane s¡ wspóªrz¦dnymi wektora a w
bazie {ai }ki=1 ).
A.1. ELEMENTY
7
Niech S1 , S2 ⊂ Rm oznaczaj¡ podprzestrzenie liniowe przestrzeni Rm .
Wymiar sumy S1 + S2 tych podprzestrzeni okre±lony jest wzorem
dim (S1 + S2 ) = dim (S1 ) + dim (S2 ) − dim (S1 ∩ S2 ).
W przypadku sumy prostej S1 ⊕ S2 otrzymuje si¦
dim (S1 ⊕ S2 ) = dim (S1 ) + dim (S2 ).
Wzory powy»sze mo»na bez trudu uogólni¢ na wi¦ksz¡ liczb¦ skªadników;
przykªadowo dla sumy prostej podprzestrzeni zachodzi
à k
!
k
M
X
dim
Si =
dim (Si ).
i=1
i=1
Macierz przeksztaªcenia liniowego
Macierz A ∈ Rm×n traktowa¢ mo»na jako macierz pewnego przeksztaªcenia liniowego Rn → Rm : x 7→ Ax. Zbiór wszystkich takich macierzy jest
bowiem izomorczny ze zbiorem L0 (Rn , Rm ) wszystkich przeksztaªce« liniowych przestrzeni Rn w przestrze« Rm . Wektor y = Ax ∈ Rm jest obrazem
wektora x ∈ Rn , za± dla danego wektora y ∈ Rm ka»dy wektor x ∈ Rn , dla
którego zachodzi y = Ax jest przeciwobrazem wektora y . Zauwa»my, »e gdy
y∈
/ A(Rn ) taki przeciwobraz jest zbiorem pustym. Dla A : Rn → Rm wyró»nia si¦ dwie podprzestrzenie tego przeksztaªcenia, cz¦sto okre±lane tak»e jako
przestrzenie zwi¡zane z macierz¡ A ∈ Rm×n . Zbiór Im (A) ⊂ Rm zdeniowany jako
Im (A) = {y ∈ Rm : ∃x ∈ Rn ` y = Ax}
nazywany jest obrazem (przestrzeni¡ warto±ci, przestrzeni¡ zasi¦gow¡ ) przeksztaªcenia A (macierzy A). Zbiór Ker (A) ⊂ Rn , okre±lany jako przestrze«
zerowa (j¡dro ) odwzorowania A (macierzy A), zdeniowany jest nast¦puj¡co
Ker (A) = {x ∈ Rn : Ax = 0m } .
Dla macierzy A = [ a1 · · · an ] ∈ Rm×n , ai ∈ Rm , i ∈ {1, . . . , n}, obraz
Im (A) jest podprzestrzeni¡ liniow¡ przestrzeni Rm rozpiet¡ na kolumnach
tej macierzy: Im (A) = span {ai }ni=1 . O Im (A) mówi si¦ jako o przestrzeni
kolumnowej lub przestrzeni zasi¦gowej danej macierzy A. Przestrze« zerowa
Ker (A) macierzy A ∈ Rm×n jest podprzestrzeni¡ liniow¡ przestrzeni Rn .
Rz¡d przeksztaªcenia liniowego A : Rn → Rm (rz¡d macierzy A) deniowany jest jako
rank (A) = dim (Im (A)).
Poniewa» zachodzi rank (A) = rank (AT ), zatem:
8
DODATEK A.
rz¡d macierzy A jest równy maksymalnej liczbie liniowo niezale»nych ko-
lumn oraz maksymalnej liczbie liniowo niezale»nych wierszy tej macierzy,
rank (A) ≤ min{m, n} .
Macierz A ∈ Rm×n jest macierz¡ regularn¡ (macierz¡ o peªnym rz¦dzie ),
gdy rank (A) = min{m, n}. Macierz A ∈ Rm×n , dla której rank (A) = m,
nazywamy macierz¡ o peªnym wierszowym rz¦dzie lub macierz¡ regularn¡
wierszowo. W przypadku, gdy dla A ∈ Rm×n zachodzi rank (A) = n, mamy
do czynienia z macierz¡ o peªnym kolumnowym rz¦dzie (macierz¡ regularn¡
kolumnowo ).
Dla dowolnego przeksztaªcenia liniowego A : Rn → Rm (dowolnej macierzy
A ∈ Rm×n ) obowi¡zuj¡ równo±ci
dim (Ker (A)) + dim (Im (A)) = dim (Ker (A)) + rank (A) = dim (Rn ) = n.
Wynika st¡d, i» dla macierzy kwadratowej A ∈ Rn×n poni»sze warunki s¡
równowa»ne:
macierz A jest nieosobliwa,
Ker (A) = {0n },
macierz A ma peªny rz¡d (rank (A) = n) .
W oparciu o podane wy»ej denicje mo»na pokaza¢, »e:
½
0 gdy a = 0n
rank (a) =
∀a ∈ Rn ,
1 gdy a 6= 0n
½
0 gdy (a = 0n ) ∨ (b = 0m )
T
rank (ab ) =
∀(a, b) ∈ Rn × Rm ,
1 gdy (a 6= 0n ) ∧ (b 6= 0m )
rank (A + B) ≤ rank (A) + rank (B) ∀(A, B) ∈ Rm×n × Rm×n ,
rank (AB) ≤ min{rank (A), rank (B)} ∀(A, B) ∈ Rm×n × Rn×p .
Dla dowolnych A ∈ Rm×n oraz B ∈ Rn×p zachodzi
rank (AB) = rank (B) − dim (Im (B) ∩ Ker (A))
= rank (A) − dim (Im (AT ) ∩ Ker (B T )).
Podprzestrze« liniowa S ⊂ Rn jest podprzestrzeni¡ niezmiennicz¡ (inwariantn¡ ) przeksztaªcenia A : Rn → Rn , gdy ∀a ∈ S zachodzi Aa ∈ S .
Oznacza to, »e obraz podprzestrzeni S wzgl¦dem przeksztaªcenia A zawiera
si¦ w S : AS ⊂ S . Podprzestrze« tak¡ okre±la si¦ tak»e jako A-inwariantn¡.
A.1. ELEMENTY
9
Norma
Niech X oznacza przestrze« liniow¡ nad ciaªem K. Funkcj¦ k · k okre±lon¡
na X , k · k : X → R, nazywamy norm¡, je»eli:
kxk ≥ 0
∀x ∈ X ,
∀x ∈ X , ∀α ∈ K,
kαxk = |α| · kxk
kx + yk ≤ kxk + kyk
∀x, y ∈ X ,
kxk = 0 ⇔ x = 0X .
Gdy X = Rn lub Cn , wtedy dla x = [ xi · · · xn ]T mamy:
kxkp =
à n
X
!1/p
p
|xi |
i=1
kxk∞ = max |xi |.
i
Dla X = Rm×n lub Cm×n przy A = [aij ]m,n mamy:
kAk1 =
kAk∞ =
max
1≤j≤n
max
1≤i≤m

kAkF
= 
m
X
|aij |
i=1
n
X
|aij |
j=1
m X
n
X
1/2
|aij |2 
i=1 j=1
kAks = σ̄(A) =
max
1≤i≤min{m,n}
σi (A).
Norma k · kF to norma Frobeniusa (macierzowa norma euklidesowa, norma
Schura ), za± k · ks jest macierzow¡ norm¡ spektraln¡. Niech A ∈ Rm×n
(Cm×n ). Rozwa»aj¡c wektorowe normy w przestrzeniach Rm (Cm ) oraz Rn
(Cn ), mo»na zdeniowa¢ odpowiednie indukowane macierzowe normy (normy
liniowego operatora A : Rn → Rm (Cn → Cm ))
kAkind = max
x6=0
kAxk
.
kxk
Kªad¡c wektorowe euklidesowe normy, mamy k · kind ≡ k · k2 = k · ks .
10
DODATEK A.
Ortogonalno±¢
Zbiór wektorów {xi ∈ Rm }ki=1 jest ortogonalny, gdy xTi xj = 0, i 6= j , i, j ∈
{1, . . . , k}. Je»eli ponadto xTi xi = 1, i ∈ {1, . . . , k}, zbiór ten jest okre±lany
jako ortonormalny (dla zbioru takiego zachodzi zatem xTi xj = δij , gdzie δij ,
i, j ∈ {1, . . . , k}, oznacza symbol Kroneckera). Fakt xTi xj = 0 zapisujemy
jako xi ⊥ xj . O przestrzeniach Si ⊂ Rm , i ∈ {1, . . . , k}, mówi si¦, »e
stanowi¡ rodzin¦ przestrzeni wzajemnie ortogonalnych, gdy ∀(x, y) ∈ Si ×
Sj ⊂ Rm × Rm zachodzi xT y = 0, i 6= j , i, j ∈ {1, . . . , k}. Niech S ⊂ Rm
oznacza podprzestrze« liniow¡ przestrzeni Rm . Ortogonalnym uzupeªnieniem
tej podprzestrzeni jest zbiór
©
ª
Rm ⊃ S ⊥ = x ∈ Rm : xT y = 0 ∀y ∈ S .
Zachodzi:
S ⊥ jest podprzestrzeni¡ liniow¡ przestrzeni Rm ,
dim (S) + dim (S ⊥ ) = m,
∀A ∈ Rm×n Im⊥ (A) = Ker (AT ) oraz Im⊥ (AT ) = Ker (A).
Wektory {ai ∈ Rm }ki=1 tworz¡ ortonormaln¡ baz¦ podprzestrzeni liniowej
S ⊂ Rm , gdy s¡ ortonormalne (a zatem liniowo niezale»ne!) oraz S =
span {ai }ki=1 . W przypadku, gdy dim (S) = k < m, baz¦ t¦ mo»na zawsze rozszerzy¢ do bazy ortonormalnej {a1 , . . . , ak , ak+1 , . . . , am } w Rm . Zam
chodzi wówczas S ⊥ = span {ai }m
i=k+1 . Niech zatem wektory ai ∈ R ,
m
m
i ∈ {1, . . . , m}, tworz¡ ortonormaln¡ baz¦ przestrzeni R . ∀a ∈ R w
bazie tej okre±lona jest jednoznaczna reprezentacja
a=
m
X
(aTi a)ai .
i=1
Dla dowolnej (niekoniecznie ortonormalnej) bazy {ai ∈ Rm }m
i=1 istnieje i jest
m
m
jednoznacznie okre±lona baza sprz¦»ona {bi ∈ R }i=1 , taka, »e:
m
zbiór {bi ∈ Rm }m
i=1 jest baz¡ w przestrzeni R ,
bTi aj = δij , i, j ∈ {1, . . . , m}.
m m
O zbiorach {ai ∈ Rm }m
i=1 oraz {bi ∈ R }i=1 mówi si¦, »e stanowi¡ biortogm
onalny ukªad wektorów w R . W takim przypadku baz¦ sprz¦»on¡ {bi ∈
−T . NaRm } m
i=1 tworz¡ kolumny macierzy [ b1 · · · bm ] = [ a1 · · · am ]
le»y podkre±li¢, i» w przypadku k -wymiarowej podprzestrzeni S ⊂ Rm ,
A.1. ELEMENTY
11
k < m baza sprz¦»ona danej bazy {ai ∈ S}ki=1 tej podprzestrzeni mo»e
nie istnie¢ lub te» mo»e by¢ okre±lona niejednoznacznie.
Macierz A = [ a1 · · · an ] ∈ Rm×n , n ≤ m, jest kolumnowo ortonormalna, je»eli jej kolumny ai , i ∈ {1, · · · , n}, s¡ niezerowe oraz tworz¡ ukªad
ortonormalny. Macierz A ∈ Rm×n , m ≥ n, jest zatem kolumnowo ortonormalna wtedy i tylko wtedy, gdy AT A = In . Macierz A ∈ Rm×n , m ≤ n, jest
wierszowo ortonormalna, gdy AT jest kolumnowo ortonormalna. Macierz
A ∈ Rm×n , m ≤ n, jest zatem wierszowo ortonormalna wtedy i tylko wtedy,
gdy AAT = Im .
W przypadku macierzy kwadratowych A ∈ Rn×n wyró»nia si¦:
macierze symetryczane : AT = A,
macierze sko±nie symetryczne : AT = −A,
macierze dodatnio okre±lone : xT Ax > 0 ∀x ∈ Rn \{0n },
macierze dodatnio póªokre±lone (nieujemnie okre±lone ): xT Ax ≥ 0 ∀x ∈
Rn ,
macierze nieokre±lone : ∃(x, y) ∈ Rn × Rn takie, »e (xT Ax)(y T Ay) < 0,
macierze ortonormalne (ortogonalne ): AT A = In ,
macierze nilpotentne : ∃k ∈ N takie, »e Ak = 0n×n ,
macierze idempotentne : A2 = A.
Dla dowolnej macierzy ortonormalnej A ∈ Rn×n zachodzi:
A jest kolumnowo oraz wierszowo ortonormalna,
A jest nieosobliwa (A−1 = AT ), przy czym macierz odwrotna A−1 jest
tak»e macierz¡ ortonormaln¡,
| det(A)| = 1,
przeksztaªcenie A : Rn → Rn jest przeksztaªcenim Rn na Rn , a jego
niezmiennikiem jest iloczyn wewn¦trzny wektorów (∀(x, y) ∈ Rn × Rn
zachodzi bowiem (Ax)T (Ay) = xT y).
Niech A, B ∈ Rn×n . Je»eli istnieje taka nieosobliwa macierz X ∈ Rn×n ,
»e B = X T AX , wówczas o macierzach A i B mówi si¦, »e s¡ kongruentne.
Niezmiennikami relacji kongruencji s¡ cechy symetrii, sko±nej symetrii oraz
okre±lono±ci macierzy. Macierze A i B , dla których obowi¡zuje relacja B =
X −1 AX s¡ macierzami podobnymi. Niezmiennikami relacji podobie«stwa
macierzy s¡ widma tych macierzy, ich wyznaczniki oraz ±lady.
12
DODATEK A.
Rzuty (projekcje)
Niech Rn = M ⊕ W , gdzie M ⊂ Rn oraz W ⊂ Rn oznaczaj¡ pewne podprzestrzenie liniowe przestrzeni Rn . ∀x ∈ Rn istnieje wówczas jednoznaczne
przedstawienie x = xM + xW takie, »e xM ∈ M oraz xW ∈ W .
Przeksztaªcenie liniowe P : Rn → M, zdeniowane jako
x 7→ P x = xM
nazywane jest rzutem przestrzeni Rn na podprzestrze« M równolegªym do
podprzestrzeni W . Podprzestrze« M okre±lana jest jako przestrze« rzutowania, a podprzestrze« W jako kierunek rzutowania przeksztaªcenia P . Z
powy»szej denicji wynika, »e:
Im (P ) = M oraz Ker (P ) = W ,
gdy W = Rn rzut P jest przeksztaªceniem zerowym (P = 0n×n ),
gdy W = {0n } rzut P jest przeksztaªceniem identyczno±ciowym (P = In ).
Macierz P ∈ Rn×n przeksztaªcenia rzutowego P : Rn → Rn jest macierz¡
idempotentn¡ (P 2 = P ). Prawdziwe jest tak»e twierdzenie gªosz¡ce, »e
ka»de przeksztaªcenie liniowe P : Rn → Rn o idempotentnej macierzy
P jest przeksztaªceniem rzutowym. Przestrzeni¡ rzutowania tego przeksztaªcenia jest obraz Im (P ), a kierunkiem rzutowania j¡dro Ker (P ), przy
czym w omawianym przypadku zachodzi Im (P ) = {a ∈ Rn : P a = a}
oraz Ker (P ) = {a ∈ Rn : a = b − P b, b ∈ Rn }. Je»eli P ∈ Rn×n jest
macierz¡ przeksztaªcenia rzutowego wówczas In − P jest macierz¡ przeksztaªcenia rzutowego przestrzeni Rn na podprzestrze« Ker (P ) równolegªego
do podprzestrzeni Im (P ). W przypadku, gdy W = M⊥ rzut przestrzeni
Rn na podprzestrze« M równolegªy do podprzestrzeni M⊥ nazywany jest
rzutem ortogonalnym Rn na M.
Niech {vi ∈ Rn }ki=1 b¦dzie dowoln¡ ortonormaln¡ baz¡ podprzestrzeni M
o wymiarze dim (M) = k . Macierz P = V V T , gdzie V = [ v1 · · · vk ] ∈
Rn×k jest ow¡ jednoznacznie wyznaczon¡ macierz¡ rzutu ortogonalnego. ∀x ∈
Rn istnieje jednoznaczne przedstawienie x = xM + xM⊥ takie, »e xM ∈ M
oraz xM⊥ ∈ M⊥ . Poniewa» xM mo»na wyrazi¢ jako
xM =
k
X
i=1
(viT xM )vi
A.1. STRUKTURA WŠASNA I SZCZEGÓLNA
13
za± dla xM⊥ zachodzi V T xM⊥ = 0k , zatem
V V T x = V V T xM =
k
k
X
X
(viT xM )V (V T vi ) =
(viT xM )V ei
i=1
=
i=1
k
X
(viT xM )vi = xM
i=1
gdzie przez ei ∈ Rk oznaczono i-ty wersor przestrzeni Rk , i ∈ {1, . . . , k}.
Macierz P rzutu ortogonalnego jest przeto symetryczn¡ macierz¡ idempotentn¡ (P 2 = P , P T = P ).
Dla dowolnej podprzestrzeni M ⊂ Rn prawdziwe jest tak»e nast¦puj¡ce twierdzenie: je»eli macierz P ∈ Rn×n speªnia warunki: Im (P ) = M,
P 2 = P oraz P T = P , wówczas P jest macierz¡ rzutu ortogonalnego przestrzeni Rn na podprzestrze« M. Z idempotentno±ci P wynika bowiem,
»e P jest macierz¡ rzutu Rn na M równolegªego do Ker (P ). Poniewa»
Ker (P ) = Im⊥ (P T ) = Im⊥ (P ), zatem kierunek rzutowania macierzy P
jest ortogonalny do przestrzeni rzutowania M.
A.2 Zagadnienie wªasne. Struktura Jordana przeksztaªcenia liniowego. Dekompozycja wedªug
warto±ci szczególnych
Zagadnienie wªasne
Zagadnienie wªasne, zwi¡zane z macierz¡ A ∈ Rn×n (liniowym operatorem
A : Rn → Rn (Cn → Cn ), polega na wyznaczeniu zbioru wektorów wªasnych
{xi ∈ Rn }ni=1 , czyli zbioru kierunków A-niezmienniczych oraz zbioru warto±ci
wªasnych (widma ) {λi ∈ R (C)}ni=1 , dla których zachodzi
Axi = λi xi ,
xi 6= 0n , i ∈ {1, . . . , n}.
Aby jednorodne równanie liniowe (A − λi In )xi = 0n posiadaªo niezerowe
rozwi¡zanie xi ∈ Ker (A − λi In ), xi 6= 0n , musi obowi¡zywa¢ nierówno±¢
dim (Ker (A − λi In )) > 0,
i ∈ {1, . . . , n}.
Wynika st¡d, »e warto±ci wªasne {λi }ni=1 wyznaczymy, rozwa»aj¡c warunek
rank (A − λi In ) < n,
i ∈ {1, . . . , n}.
14
DODATEK A.
Warto±ci wªasne macierzy A musz¡ przeto speªnia¢ nast¦puj¡ce algebraiczne
równanie stopnia n
det(A − λi In ) = 0,
i ∈ {1, . . . , n}.
Twierdzenie Cayley'a-Hamiltona gªosi, »e ka»da macierz A ∈ Rn×n speªnia swoje równanie charakterystyczne : ϕA (A) = 0n×n , gdzie ϕA (λ) = det(λIn
−A) jest wielomianem charakterystycznym tej macierzy.
Struktura Jordana
Niech {λi }n̂i=1 oznacza zbiór ró»nych warto±ci wªasnych macierzy A ∈ Rn×n ,
n̂ ≤ n. Krotno±¢ arytmetyczna ρ(λi ) = ρi warto±ci wªasnej λi , i ∈ {1, . . . , n̂},
to znaczy krotno±¢ tej warto±ci jako zera wielomianu charakterystycznego
ϕA (λ) danej macierzy A, nie musi si¦ pokrywa¢ z krotno±ci¡ geometryczn¡
η(λi ) = ηi tej warto±ci wªasnej, to znaczy maksymaln¡ liczb¡ liniowo niezale»nych wektorów wªasnych przyporz¡dkowanych λi :
ηi = dim(Ker (A − λi In )) = n − rank (A − λi In ).
Zachodzi przy tym
n̂
X
ρi = n
i=1
oraz 1 ≤ ηi ≤ ρi ≤ n, i ∈ {1, . . . , n̂},
1) Jak ªatwo sprawdzi¢, dla macierzy Jr (λ) ∈ Cr×r , λ ∈ C, r ≥ 1, zdenio-
wanej wzorem



Jr (λ) = 


λ
1
0
0
λ
1
0
0
λ
... ... ...
0
0
0
... 0
... 0
... 0
... ...
... λ






mamy 1 = η(λ) ≤ ρ(λ) = r, a ponadto
(Jr (λ) − λIr )r = 0r×r
(Jr (λ) − λIr )r−1 6= 0r×r .
Znaczenie macierzy Jr (λ), r ≥ 1, polega na tym, »e na ich podstawie buduje
si¦ posta¢ Jordana danej macierzy A. Istnieje bowiem taka nieosobliwa
macierz P ∈ Cn×n , »e macierz podobna J = P −1 AP , J ∈ Cn×n , ma posta¢
n
o
J = diag Jν1,1 (λ1 ) · · · Jν1,η1 (λ1 ) · · · Jνn̂,1 (λn̂ ) · · · Jνn̂,ηn̂ (λn̂ )
A.2. STRUKTURA WŠASNA I SZCZEGÓLNA
gdzie
ηi
X
νi,j = ρi ,
15
i ∈ {1, . . . , n̂}
j=1
Liczby νi,j , j ∈ {1, . . . , ηi }, s¡ wyznaczone z dokªadno±ci¡ do kolejno±ci.
Macierz J jest kanoniczn¡ postaci¡ Jordana macierzy A. Macierze Jνi,j (λi ) ∈
Cνi,j ×νi,j , i ∈ {1, . . . , n̂}, j ∈ {1, . . . , ηi }, tworz¡ce blokowo diagonaln¡ struktur¦ macierzy J , nazywane s¡ klatkami (blokami) Jordana tej macierzy.
Wyró»niaj¡c w macierzy P podmacierze zgodnie z postaci¡ Jordana macierzy
A
¤
£
P = P1,1 · · · P1,η1 · · · Pn̂,1 · · · Pn̂,ηn̂
(A.1)
gdzie Pi,j ∈ Cn×νi,j , otrzymuje si¦ zale»no±¢
APi,j = Pi,j Jνi,j (λi ),
i ∈ {1, . . . , n̂}, j ∈ {1, . . . , ηi }.
Oznaczaj¡c kolumny podmacierzy Pi,j jako
£
¤
Pi,j = pi,j,1 · · · pi,j,νi,j , pi,j,k ∈ Cn ,
k ∈ {1, . . . , νi,j }
dla i ∈ {1, . . . , n̂} oraz j ∈ {1, . . . , ηi } zapisa¢ mo»emy nast¦puj¡ce równo±ci:
(A − λi In )pi,j,1 = 0n ,
(A − λi In )pi,j,k = pi,j,k−1 ,
k ∈ {2, . . . , νi,j },
νi,j ≥ 2.
Pierwsz¡ kolumn¦ podmacierzy Pi,j tworzy zatem j -ty wektor wªasny pi,j,1
macierzy A przyporz¡dkowany warto±ci wªasnej λi tej macierzy, za± pozostaªe (dla νi,j ≥ 2) kolumny podmacierzy Pi,j stanowi¡ wektory doª¡czone
νi,j
{pi,j,k }k=2
(uogólnione wektory wªasne macierzy A), odpowiadaj¡ce warto±ci
wªasnej λi oraz wektorowi wªasnemu pi,j,1 , i ∈ {1, . . . , n̂}, j ∈ {1, . . . , ηi }.
2) Wielomiany charakterystyczne ϕi,j (λ) klatek Jordana Jνi,j (λi ), i ∈ {1, . . . ,
n̂}, j ∈ {1, . . . , ηi }, nazywane s¡ dzielnikami elementarnymi macierzy A
ϕi,j (λ) = det(λIνi,j − Jνi,j (λi )) = (λ − λi )νi,j .
Macierz A ma dzielniki liniowe wtedy i tylko wtedy, gdy νi,j = 1 dla i ∈
{1, . . . , n̂} oraz j ∈ {1, . . . , ηi }. Macierz Jordana jest w tym przypadku
macierz¡ diagonaln¡, za± macierz A nazywana jest macierz¡ diagonalizowaln¡.
Macierz A jest zatem macierz¡ diagonalizowaln¡ wtedy i tylko wtedy, gdy
ηi = ρi , i ∈ {1, . . . , n̂}. Macierz¡ tak¡ jest w szczególno±ci macierz A ∈ Rn×n
o n ró»nych warto±ciach wªasnych. Zachodzi wówczas ηi = ρi = νi,1 = 1 dla
i ∈ {1, . . . , n̂ = n}.
16
DODATEK A.
3) Macierz A ∈ Rn×n nazywamy prost¡ (cykliczn¡), gdy ηi = 1, i ∈
{1, . . . , n̂}. Z ka»d¡ ró»n¡ warto±ci¡ wªasn¡ λi prostej macierzy A zwi¡zana
jest przeto tylko jedna klatka Jordana Jρi (λi ) ∈ Cρi ×ρi , i ∈ {1, . . . , n̂}. Zachodzi przy tym ρi = νi,1 , i ∈ {1, . . . , n̂}. Wielomian
ψA (λ) =
n̂
Y
(λ − λi )τi
i=1
gdzie {τi }n̂i=1 jest zbiorem tak zwanych indeksów poszczególnych warto±ci
wªasnych danej macierzy A, to znaczy wymiarów najwi¦kszych klatek Jordana zwi¡zanych z tymi warto±ciami
τi =
max
j∈{1,···,ηi }
νi,j ,
i ∈ {1, . . . , n̂}
nazywamy wielomianem minimalnym macierzy A. Jest to moniczny wielomian o najmniejszym stopniu spo±ród wszystkich wielomianów speªniaj¡cych
warunek ψA (A) = 0. Jak ªatwo pokaza¢ obowi¡zuje nierówno±¢: τi ≤ ρi ,
przy czym ρi = τi wtedy i tylko wtedy, gdy A jest macierz¡ prost¡.
Zachodzi ponadto
n̂
X
deg(ψA (λ)) =
τi
i=1
a zatem deg(ψA (λ)) ≤ deg(ϕA (λ)) = n. Wielomiany charakterystyczny i
minimalny macierzy A maj¡ ten sam stopie«, deg(ψA (λ)) = deg(ϕA (λ)) = n,
wtedy i tylko wtedy, gdy A jest macierz¡ prost¡.
Rozkªad macierzy wedªug warto±ci szczególnych
Dowoln¡ macierz A ∈ Rm×n mo»na przedstawi¢ w postaci iloczynu
A = U ΣV T
gdzie: U ∈ Rm×m oraz V ∈ Rn×n s¡ jest macierzami ortonormalnymi (U T =
U −1 , V T = V −1 ), za± Σ ∈ Rm×n jest macierz¡ blokowo diagonaln¡
·
¸
Σr
0r×(n−r)
Σ=
0(m−r)×r 0(m−r)×(n−r)
o diagonalnej podmacierzy Σr ∈ Rr×r

Σr = diag {σi }ri=1

σ1 0 · · · 0
 0 σ2 · · · 0 

=
 ··· ··· ··· ··· 
0 · · · 0 σr
A.2. STRUKTURA WŠASNA I SZCZEGÓLNA
17
gdzie r = rank (A), za± nieujemne liczby
σ1 ≥ σ2 ≥ · · · ≥ σr > 0
to warto±ci szczególne macierzy A (osobliwe, singularne, st¡d svd singular
value decomposition ). Zbiór warto±ci szczególnych macierzy A oznaczamy
jako σ(A) = {σi }ri=1 . Niekiedy dogodnie jest zdeniowa¢ rozszerzony zbiór
warto±ci szczególnych danej macierzy, przyjmuj¡c σr+1 = · · · = σmax {m,n} =
0. Macierz A ∈ Rm×n posiada przeto r dodatnich warto±ci szczególnych oraz
(max{m, n} − r) zerowych warto±ci szczególnych.
Kolumny ui ∈ Rm , i ∈ {1, . . . , m} ortonormalnej macierzy U = [ u1 · · ·
um ] s¡ lewymi wektorami szczególnymi macierzy A, za± kolumny vi ∈ Rn ,
i ∈ {1, . . . , n} ortonormalnej macierzy V = [ v1 · · · vn ] nazywane s¡
prawymi wektorami szczególnymi macierzy A, skojarzonymi z odpowiednimi
warto±ciami szczególnymi tej macierzy. Dla i, j ∈ {1, . . . , m} zachodzi zatem
uTi uj = δij . Dla i, j ∈ {1, . . . , n} mamy analogiczn¡ równo±¢ viT vj = δij .
Wniosek D.1 (uogólniona diagonalizowalno±¢ macierzy A). Z rozkªa-
du svd macierzy A ∈ Rm×n , A = U ΣV T , wynika równo±¢ U T AV = Σ.
Oznacza to, i» dla danej macierzy A istniej¡ takie ortonormalne bazy w
przestrzeniach Rn oraz Rm , »e w tych bazach odpowiednie odwzorowanie
liniowe A : Rn → Rm mo»e by¢ traktowane jako odwzorowanie posiadaj¡ce
uogólnion¡ diagonaln¡ (blokowo diagonaln¡) macierz Σ ∈ Rm×n .
¤
Wniosek D.2 (posta¢ diadyczna macierzy A). Ka»d¡ macierz A ∈
Rm×n o rz¦dzie r mo»na przedstawi¢ w postaci sumy r skªadników o jednostkowym rz¦dzie
r
X
T
A = Ur Σr Vr =
σi ui viT
i=1
przy czym macierze Ur = [ u1 · · · ur ], Vr = [ v1 · · · vr ] oraz Σr =
diag {σi }ri=1 wynikaj¡ z rozkªadu svd macierzy A.
¤
m×n
Warto±ci szczególne macierzy A ∈ R
wyznaczone s¡ w jednoznaczny
sposób, za± ukªad jej wektorów szczególnych w ogólnym przypadku nie jest
jednoznacznie okre±lony. Jak ªatwo jednak zauwa»y¢, dla danego zbioru
prawych wektorów szczególnych {vi }ri=1 macierzy A odpowiednie lewe wektory szczególne tej macierzy wyznaczone s¡ w jednoznaczny sposób: Avi =
σi ui , i ∈ {1, . . . , r}. Podobnie danemu zbiorowi lewych wektorów szczególnych {ui }ri=1 macierzy A ∈ Rm×n odpowiada jednoznacznie okre±lony zbiór
prawych wektorów szczególnych tej macierzy: AT ui = σi vi , i ∈ {1, . . . , r}.
18
DODATEK A.
Mamy zatem:
span {ui }ri=1 = span⊥ {ui }m
i=r+1
span {vi }ri=1 = span⊥ {vi }ni=r+1
oraz
m
span {ui }ri=1 ⊕ span {ui }m
i=r+1 = R
span {vi }ri=1 ⊕ span {vi }ni=r+1 = Rn .
Rozwa»my ortonormalne bazy przestrzeni Im (A) ⊂ Rm oraz Ker (A) ⊂
zwi¡zanych z macierz¡ A ∈ Rm×n . Wymiary tych przestrzeni wynosz¡
dim (Im (A)) = r oraz dim (Ker (A)) = n − r, gdzie r = rank (A). Zakªada si¦ nietrywialny przypadek r ≥ 1. Baz¦ przestrze« kolumnowej Im (A)
macierzy A mo»na utworzy¢ z ka»dego obrazu r liniowo niezale»nych kolumn tej macierzy, otrzymanego w dowolnym nieosobliwym przeksztaªceniu liniowym. Baz¦ t¦ mo»na nast¦pnie podda¢ ortonormalizacji, uzyskuj¡c poszukiwan¡ baz¦ ortonormaln¡. Przykªadow¡ baz¦ ortonormaln¡ przestrzeni Im (A) mo»na tak»e w dogodny sposób wyznaczy¢ posªuguj¡c si¦
rozkªadem svd tej macierzy. W tym celu dokonuje si¦ nast¦puj¡cej partycji
macierzy czynnikowych U oraz V stosownego iloczynu A = U ΣV T :
Rn
U
=
V
=
£
£
Ur Ūr
Vr V̄r
¤
¤
∈ Rm×m ,
∈ Rn×n ,
Ur ∈ Rm×r ,
Vr ∈ Rn×r ,
Ūr ∈ Rm×(m−r)
V̄r ∈ Rn×(n−r) .
Macierz A posiada zatem nast¦puj¡c¡ reprezentacj¦
A = Ur Σr VrT .
Jak ªatwo zauwa»y¢
rank (Ur ) = rank (Σr ) = rank (Vr ) = r
co oznacza, »e kolumny macierzy Ur , czyli odpowiednie lewe wektory szczególne rozwa»anej macierzy A, stanowi¡ poszukiwan¡ ortonormaln¡ baz¦ przestrzeni Im (A)
Im (A) = span {ui }ri=1 .
Rozwa»my z kolei przestrze« zerow¡ Ker (A) danej macierzy A ∈ Rm×n .
Przyjmujemy, »e rozpatrujemy nietrywialny przypadek r < n. Poniewa»
A.2. STRUKTURA WŠASNA I SZCZEGÓLNA
19
przestrze« Ker (A) jest ortogonalnym uzupeªnieniem przestrzeni kolumnowej
macierzy AT ∈ Rn×m , zatem na podstawie równo±ci:
AT
= V ΣT U T = Vr ΣTr UrT
Im (AT ) = span {vi }ri=1
oraz wªasno±ci macierzy V wnioskujemy, »e poszukiwan¡ ortonormaln¡ baz¡
przestrzeni Ker (A) jest zbiór kolumn macierzy V̄r (czyli odpowiednie prawe
wektory szczególne rozwa»anej macierzy A)
Ker (A) = span {vi }ni=r+1 .
Na tej podstawie stwierdzamy, »e nale»¡ce do przestrzeni Ker (A) rozwi¡zanie x ∈ Rn jednorodnego liniowego równania Ax = 0m , A ∈ Rm×n , ma
nast¦puj¡c¡ posta¢
n−r
X
x=
αi vr+i ,
αi ∈ R,
i ∈ {1, . . . , n − r}.
i=1
Mamy ponadto
Ker (AT ) = span {ui }m
i=r+1 .
Warto zatem poda¢ wymiary wszystkich rozwa»anych przestrzeni:
dim (Im (A)) = rank (Ur ) = r
dim (Im (AT )) = rank (Vr ) = r
dim (Ker (A)) = rank (V̄r ) = n − r
dim (Ker (AT )) = rank (Ūr ) = m − r.
Dla porz¡dku przypominamy jeszcze, »e:
Im (A) = Ker⊥ (AT ) = Im(Ur ) = Ker (ŪrT )
Im (AT ) = Ker⊥ (A) = Im(Vr ) = Ker (V̄rT )
Ker (A) = Im⊥ (AT ) = Im(V̄r ) = Ker (VrT )
Ker (AT ) = Im⊥ (A) = Im(Ūr ) = Ker (UrT ).
Przykªad D.1 (reprezentacja przestrzeni zwi¡zanych z macierz¡ A).
Rozwa»my macierz



A=


1 −1 2
2 −3 5
3 −6 9
4 −10 14
5 −15 20






20
DODATEK A.
oraz jej rozkªad wedªug

0.0705
 0.1816

U =
 0.3333
 0.5255
0.7582



Σ=


warto±ci szczególnych A = U ΣV T :
−0.4200 −0.6130 −0.4366 −0.5023
−0.5818
0.6140 −0.4711
0.1722
−0.4853 −0.3935
0.4218
0.5662
−0.1306
0.2823
0.5106 −0.6054
0.4823 −0.1127 −0.3858
0.1761







33.6134
0
0



0
1.4620
0
0.2180 −0.7869
0.5774



0
0
0.0000 
 , V = −0.5725 −0.5822 −0.5774 .

0
0
0
0.7904 −0.2047 −0.5774
0
0
0
Zbiór warto±ci szczególnych macierzy A ma zatem posta¢: σ(A) = {33.6134,
1.4620, 0.0000}. Na tej podstawie wnioskujemy, »e rank (A) = 2 oraz dim
(Ker (A)) = 1. Dokonuj¡c odpowiedniej partycji czynnikowych macierzy U
oraz V , otrzymujemy nast¦puj¡ce ortonormalne bazy podprzestrzeni zwi¡zanych z macierz¡ A:


0.0705 −0.4200
 0.1816 −0.5818 



Im (A) = Im (U2 ), gdzie U2 = 
 0.3333 −0.4853 
 0.5255 −0.1306 
0.7582
0.4823


−0.6130 −0.4366 −0.5023
 0.6140 −0.4711
0.1722 


⊥
0.4218
0.5662 
Im (A) = Im (Ū2 ), gdzie Ū2 = 
 −0.3935

 0.2823
0.5106 −0.6054 
−0.1127 −0.3858
0.1761


0.5774
Ker (A) = Im (V̄2 ), gdzie V̄2 =  −0.5774 
−0.5774


0.2180 −0.7869
Ker⊥ (A) = Im (V2 ), gdzie V2 =  −0.5725 −0.5822  . ¤
0.7904 −0.2047
Poszukuj¡c macierzy ortogonalnego rzutowania na przestrzenie skojarzone z macierz¡ A ∈ Rm×n , przyjmijmy nast¦puj¡ce oznaczenia:
PIm (A) macierz ortogonalnego rzutu Rm na Im (A),
A.2. STRUKTURA WŠASNA I SZCZEGÓLNA
21
PKer (A) macierz ortogonalnego rzutu Rn na Ker (A),
PIm⊥ (A) macierz ortogonalnego rzutu Rm na Im⊥ (A),
PKer⊥ (A) macierz ortogonalnego rzutu Rn na Ker⊥ (A).
Dodatkowo dla macierzy transponowanej AT ∈ Rn×m kªadziemy:
PIm (AT ) macierz ortogonalnego rzutu Rn na Im (AT ),
PKer (AT ) macierz ortogonalnego rzutu Rm na Ker (AT ).
Uwzgl¦dniaj¡c powy»sze ustalenia, otrzymujemy nast¦puj¡ce reprezentacje
macierzy wymienionych rzutów:
PIm (A) = Ur UrT ,
PIm (A) ∈ Rm×m
PKer (A) = V̄r V̄rT ,
PKer (A) ∈ Rn×n
PIm⊥ (A) = PKer (AT ) = Ūr ŪrT ,
PIm⊥ (A) , PKer (AT ) ∈ Rm×m
PKer⊥ (A) = PIm (AT ) = Vr VrT ,
PKer⊥ (A) , PIm (AT ) ∈ Rn×n .
Ponadto:
rank (PIm (A) ) = r
rank (PKer (A) ) = n − r
rank (PIm⊥ (A) ) = rank (PKer (AT ) ) = m − r
rank (PKer⊥ (A) ) = rank (PIm (AT ) ) = n − r.
Dowolnej macierzy A ∈ Rm×n mo»na w jednoznaczny sposób przyporz¡dkowa¢ macierz pseudoodwrotn¡ A+ ∈ Rn×m . Pseudoodwrotno±¢ rozumiana
jest tu w sensie Moore'a-Penrose'a [?], co oznacza, »e macierz A+ musi speªnia¢ nast¦puj¡ce relacje, które mo»na traktowa¢ jako denicj¦ omawianego
typu uogólnionej odwrotno±ci:
A+ A = (A+ A)T
AA+ = (AA+ )T
AA+ A = A
A+ AA+ = A+ .
Operacja pseudoodwracania macierzy charakteryzuje si¦ nast¦puj¡cymi wªasno±ciami:
22
DODATEK A.
A++ = (A+ )+ = A,
(AT )+ = (A+ )T ,
dla nieosobliwej macierzy A ∈ Rn×n mamy A+ = A−1 ,
je»eli dany jest rozkªad svd macierzy A ∈ Rm×n , wówczas rz¡d macierzy A
mo»na wyznaczy¢ w oparciu o indeks najmniejszej niezerowej warto±ci
szczególnej tej macierzy
rank (A) = arg
min
1≤i≤min{m,n}
σi |σi >0 .
Macierz pseudoodwrotn¡ A+ wyrazi¢ mo»na w oparciu o rozkªad macierzy
A ∈ Rm×n wedªug jej warto±ci szczególnych. Niech zatem b¦dzie dany taki
rozkªad A = U ΣV T , gdzie: U ∈ Rm×m , Σ ∈ Rm×n , za± V ∈ Rn×n . Macierz
A+ przyjmuje posta¢
A+ = V Σ+ U T
w której
·
+
Σ =
Σ−1
r
0r×(m−r)
¸
0(n−r)×r 0(n−r)×(m−r)
za±
,
Σ+ ∈ Rn×m

© −1 ªr
Σ−1
r = diag σi
i=1

σ1−1
0 ··· 0
 0 σ −1 · · · 0 
2

=
 ··· ··· ··· ··· .
0
· · · 0 σr−1
Po wykonaniu elementarnych przeksztaªce« uzyskujemy u»yteczne formuªy:
AA+ = Ur UrT
A+ A = Vr VrT
z których wynikaj¡ nast¦puj¡ce reprezenatcje macierzy rzutowania, wyra»one
przy u»yciu macierzy pseudoodwrotnej:
PIm (A) = AA+
PKer⊥ (A) = A+ A.
Zauwa»my wreszcie, »e korzystaj¡c z poj¦cia macierzy pseudoodwrotnej,
ªatwo jest okre±li¢ posta¢ macierzy rzutowania PIm⊥ (A) oraz PKer (A) :
PIm⊥ (A) = Im − AA+
PKer (A) = In − A+ A.
A.2. GEOMETRIA PODPRZESTRZENI LINIOWYCH
23
Rozkªad svd macierzy dodatnio póªokre±lonych
Utwórzmy z macierzy A ∈ Rm×n dwie dodatnio póªokre±lone macierze AT A ∈
Rn×n oraz AAT ∈ Rm×m . Na podstawie rozkªadu svd macierzy A, A =
U ΣV T , otrzymujemy nast¦puj¡ce reprezentacje tych macierzy:
AT A = V ΣT ΣV T
AAT
= U ΣΣT U T .
Symetryczne macierze dodatnio póªokre±lone AT A ≥ 0 oraz AAT ≥ 0 s¡
zatem podobne do diagonalnych macierzy, odpowiednio ΣT Σ ∈ Rn×n oraz
ΣΣT ∈ Rm×m , o nieujemnych elementach rzeczywistych:
·
¸
Σ2r
0r×(n−r)
T
Σ Σ =
0(n−r)×r 0(n−r)×(n−r)
·
¸
Σ2r
0r×(m−r)
ΣΣT =
.
0(m−r)×r 0(m−r)×(m−r)
Na tej podstawie wnioskujemy, »e:
spectr (AT A) =
T
spectr (AA ) =
©
©
σi2
ªr
ªi=1
r
σi2 i=1
∪ {0, . . . , 0}n−r
∪ {0, . . . , 0}m−r
a {vi }ri=1 oraz {ui }ri=1 stanowi¡ zbiory wektorów wªasnych odpowiednich
macierzy AT A oraz AAT .
Je±li macierz A ∈ Rn×n jest macierz¡ symetryczn¡, A = AT , to posiada
ona rzeczywiste warto±ci wªasne spectr (A) = {λi }ni=1 ⊂ R oraz macierz
AT A = A2 posiada widmo rzeczywiste spectr (AT A) = {λ2i }ni=1 ⊂ R. Zatem
warto±ci szczególne symetrycznej macierzy A s¡ wyznaczane moduªami jej
warto±ci wªasnych: σi = |λi |, i ∈ {1, . . . , n}.
A.3 Charakteryzacja podprzestrzeni liniowych
W zaprezentowanych poni»ej rozwa»aniach oprzemy si¦ gªównie na trójczynnikowej faktoryzacji macierzy wzgl¦dem ich warto±ci szczególnych svd. Analogiczne (do pewnego stopnia) wyniki uzyska¢ mo»na, stosuj¡c do danej
macierzy A dwuczynnikow¡ faktoryzacj¦ typu QR, tj. A = QR, gdzie Q
jest macierz¡ ortogonaln¡ (Q−1 = QT ), a R oznacza odpowiednio uogólnion¡ macierz¡ górn¡ trójk¡tn¡ [?]. Podej±cie takie w niektórych przypadkach sprzyja 'numerycznej oszcz¦dno±ci' algorytmów obliczeniowych, jednak
24
DODATEK A.
dla zachowania prostoty wywodów oraz dogodnej interpretacji geometrycznej
nie b¦dzie ono tu rozwijane.
Dla dowolnej podprzestrzeni S ⊂ Rm o wymiarze dim (S) = s obowi¡zuje
nast¦puj¡cy u»yteczny wniosek.
Wniosek D.3 (równowa»ne reprezentacje podprzestrzeni). O macierzy
R ∈ Rm×r , r ≥ s, mówimy, »e generuje podprzestrze« S kolumnowo, gdy
Im (R) = S . Podobnie, o macierzy N ∈ Rn×m , n ≥ m − s, powiada si¦, »e
generuje podprzestrze« S wierszowo, gdy Ker (N ) = S .
Macierz RS ∈ Rm×s o peªnym kolumnowym rz¦dzie, generuj¡c¡ podprzestrze« S kolumnowo, nazywana jest macierz¡ bazow¡ dla tej podprzestrzeni. Z kolei, macierz NS ∈ R(m−s)×m o peªnym wierszowym rz¦dzie,
generuj¡ca podprzestrze« S wierszowo, nazywana jest macierz¡ kobazow¡
dla tej podprzestrzeni.
Wszystkie macierze generuj¡ce dan¡ podprzestrze« istniej¡, nie s¡ jednak
wyznaczone jednoznacznie.
¤
Cz¦sto od macierzy bazowych oraz kobazowych wymaga si¦ ortonormalno±ci, odpowiednio, kolumnowej RST RS = Is oraz wierszowej NS NST = Im−s .
Niech S ∈ Rm×s b¦dzie macierz¡ o kolumnach utworzonych z wektorów
dowolnej bazy podprzestrzeni S . Bior¡c pod uwag¦ lewy ortonormalny czynnik U = [ Us Ūs ] ∈ Rm×m , gdzie Us ∈ Rm×s oraz Ūs ∈ Rm×(m−s) ,
rozkªadu svd bazowej macierzy S wedªug jej warto±ci szczególnych S =
U ΣV T , uzyskuje si¦ przykªadow¡ kolumnowo ortonormaln¡ macierz bazow¡
RS = Us oraz przykªadow¡ wierszowo ortonormaln¡ macierz kobazow¡ NS =
ŪsT podprzestrzeni S .
Przykªad D.2 (charakteryzacja podprzestrzeni liniowej (b¦d¡cej przestrzeni¡ zerow¡)). Rozwa»my podprzestrze« S zdeniowan¡ jako przestrze«
zerowa pewnej macierzy N , tzn. niech S = Ker (N ), gdzie
·
N=
1 2 3 2
2 2 3 1
¸
.
Nale»y wyznaczy¢ przykªadowe macierze RS (bazow¡) oraz NS (kobazow¡)
podprzestrzeni S .
Jak ªatwo sprawdzi¢, rank (N ) = 2; zachodzi zatem dim (S) = 2. Rozkªad
macierzy N wedªug jej warto±ci szczególnych potwierdza powy»sze spostrze»enie:
£
¤T
N = U ΣV T = U Σ V2 V̄2
=
A.3. GEOMETRIA PODPRZESTRZENI LINIOWYCH
·
=
0.7071
0.7071
0.7071 −0.7071
¸·
5.9161
0
0 0
0
1.0000 0 0
25
¸
×

T
0.3586 −0.7071
0.6094
0.0000
 0.4781
0.0000 −0.2813 −0.8321 

 .
 0.7171
0.0000 −0.4219
0.5547 
0.3586
0.7071
0.6094
0.0000
Bior¡c pod uwag¦, »e Ker (N ) = Im (V̄2 ) = Ker (V2T ), kªadziemy:

RS = V̄2
NS = V2T

0.6094
0.0000
 −0.2813 −0.8321 

= 
 −0.4219
0.5547 
0.6094
0.0000
·
¸
0.3586 0.4781 0.7171 0.3586
=
.
−0.7071 0.0000 0.0000 0.7071
¤
Inkluzja podprzestrzeni liniowych
Niech Q, S ⊂ Rn b¦d¡ zadanymi podprzestrzeniami. Poszukuj¡c numerycznie dogodnych procedur rozstrzygania o mo»liwej inkluzji Q ⊂ S tych podprzestrzeni, skorzystamy z reprezentuj¡cych je macierzy kolumnowo generuj¡cych Q ∈ Rn×k oraz S ∈ Rn×l , odpowiednio: Im (Q) = Q oraz Im (S) = S .
Zwykle, maj¡c na uwadze numeryczn¡ zªo»ono±¢ niezb¦dnych oblicze«, postuluje si¦ (chocia» nie jest to konieczne por. wniosek D.3 ), aby macierze
te posiadaªy peªny kolumnowy rz¡d: k = rank (Q) = dim (Q) = q oraz l =
rank (S) = dim (S) = s (tzn., aby byªy macierzami bazowymi dla odpowiednich podprzestrzeni). W takim przypadku, stwierdzenie, i» k > l (q > s),
wyklucza z oczywistych powodów mo»liwo±¢ zawierania si¦ Q ⊂ S . W dalszym ci¡gu zakªada si¦ jednak bardziej ogólny przypadek, kiedy macierze
Q oraz S maj¡ jedynie charakter 'zasi¦gowy' wzgl¦dem stosownych podprzestrzeni Q i S , tzn. mog¡ nie posiada¢ peªnego kolumnowego rz¦du co
oznacza, »e k ≥ q oraz l ≥ s.
Metoda badania rz¦du macierzy. Bior¡c pod uwag¦, i» (Q ⊂ S) ⇔
(Q ∩ S = Q), otrzymujemy stwierdzenie: (Q ⊂ S) ⇔ (dim(Q ∩ S) =
dim (Q)). Z kolei, uwzgl¦dniaj¡c, »e dla dowolnych Q oraz S zachodzi
dim(Q + S) + dim(Q ∩ S) = dim(Q) + dim(S), uzyskujemy równowa»no±¢
(Q ⊂ S) ⇔ (dim(Q + S) = dim(S))
26
DODATEK A.
z której wynika dogodny (konieczny i wystarczaj¡cy) warunek kryterialny
rozwa»anej inkluzji
¡
¡£
¤¢
¢
S Q
(Q ⊂ S) ⇔ rank
= rank (S) .
(A.2)
Metoda ortogonalnej projekcji. Druga z rozwa»anych procedur opiera si¦ na nast¦puj¡cej równowa»no±ci, obowi¡zuj¡cej ∀x ∈ Rn
(x ∈ Im (S)) ⇔ (PIm (S) x = x)
gdzie PIm (S) ∈ Rn×n oznacza macierz ortogonalnego rzutowania na podprzestrze« Im (S). Zatem, aby wykaza¢, i» ∀x ∈ Im (Q) zachodzi x ∈ Im (S)
co jest równowa»ne uzasadnieniu tezy o inkluzji Im (Q) ⊂ Im (S) wystarczy dowie±¢, »e zachodzi równo±¢
PIm (S) Q = Q.
(A.3)
Niezb¦dn¡ macierz rzutowania PIm (S) dogodnie jest wyznaczy¢ na podstawie
rozkªadu macierzy S wedªug jej warto±ci szczególnych
PIm (S) = Us UsT
gdzie Us ∈ Rn×s jest kolumnowo ortonormaln¡ podmacierz¡ lewego czynnika
U = [ Us Ūs ] ∈ Rn×n rozkªadu S = U ΣV T .
Identyczno±¢ danych podprzestrzeni Q, S ⊂ Rn sprawdzamy w podobny
sposób, posªuguj¡c si¦ nast¦puj¡cym kryterium
(Q = S) ⇔ ((Q ⊂ S) ∧ (S ⊂ Q)).
Ortonormalna baza obrazu podprzestrzeni liniowych w odwzorowaniu liniowym
Niech S ⊂ Rn , dim (S) = s, b¦dzie podprzestrzeni¡. Wyznaczmy ortonormaln¡ baz¦ obrazu AS tej podprzestrzeni w pewnym liniowym odwzorowaniu A : Rn → Rm o macierzy A ∈ Rm×n . Niech S ∈ Rn×k oznacza pewn¡
macierz generuj¡c¡ podprzestrze« S kolumnowo: Im (S) = S . Przyjmijmy,
»e wymiar obrazu (podprzestrzeni) Q = AS wynosi dim(Q) = rank (AS) =
q . Poszukiwan¡ ortonormaln¡ baz¦ wyznacza zatem zbiór q pocz¡tkowych
kolumn lewego ortonormalnego czynnika rozkªadu macierzy Q = AS ∈ Rm×k
wedªug jej warto±ci szczególnych (Q = U ΣV T ):
R Q = Uq
A.3. GEOMETRIA PODPRZESTRZENI LINIOWYCH
27
gdzie Uq ∈ Rm×q i Ūq ∈ Rm×(m−q) oraz U = [ Uq Ūq ] ∈ Rm×m .
Je±li S ∈ Rn×k o rz¦dzie rank (S) = s jest 'jedynie' macierz¡ generuj¡c¡ podprzestrze« S , k ≥ s, lub te» jest nieortonormaln¡ macierz¡ bazow¡
dla tej podprzestrzeni, S = RS , k = s, wówczas w celu poprawienia numerycznej odporno±ci wykonywanych oblicze«, zaleca si¦ stosowanie procedury dwukrokowej (bardziej zªo»onej). W pierwszym kroku, stosuj¡c rozkªad
svd macierzy S , wyznacza si¦ kolumnowo ortonormaln¡ macierz bazow¡
Us ∈ Rn×s podprzestrzeni S = Im (S) = Im (Us ). Za± w kroku drugim,
korzystaj¡c z faktu, i» Q = AS = Im (AS) = Im (AUs ), okre±la si¦ poszukiwan¡ ortonormaln¡ baz¦ w oparciu o rozkªad svd macierzy AUs .
Przykªad D.3 (wyznaczanie ortonormalnej bazy obrazu podprzestrzeni w odwzorowaniu liniowym). Wyznacz ortonormaln¡ baz¦ podprzestrzeni
Q = AS , gdzie S = Im(S), za±


1
1
2 0

A = −1 −1 −2 0 
2
2
0 0

1
0
 0
3
oraz S = 
 0
2
0 −1
0
0
0
0

0
1 
.
1 
0
Na podstawie rozkªadu macierzy S wedªug jej warto±ci szczególnych, S =
U ΣV T , gdzie:

U=
£
U3

0.0000 1.0000
0.0000
0.0000
 0.7950 0.0000 −0.1860
¤
0.5774 

Ū3
= 
 0.5586 0.0000
0.5955 −0.5774 
−0.2365 0.0000
0.7815
0.5774
Σ = diag {3.9762, 1.0000, 0.4356, 0.0000}


0.0000 1.0000
0.0000 0.0000
 0.9403 0.0000 −0.3404 0.0000 

V = 
 0.0000 0.0000
0.0000 1.0000 
0.3404 0.0000
0.9403 0.0000
okre±lamy wymiar podprzestrzeni S jako dim (S) = rank (S) = 3 oraz wyznaczamy kolumnowo ortonormaln¡ macierz bazow¡ RS , dla której S =
Im (RS )


0.0000 1.0000
0.0000
 0.7950 0.0000 −0.1860 
.
RS = U3 = 
 0.5586 0.0000
0.5955 
−0.2365 0.0000
0.7815
28
DODATEK A.
Rozkªad svd iloczynu


1.9122
1.0000
1.0051
AU3 =  −1.9122 −1.0000 −1.0051 
1.5901
2.0000 −0.3719
ma posta¢ AU3 = Ũ Σ̃Ṽ T , gdzie:


0.5774 −0.4082 0.7071
0.4082 0.7071 
Ũ =  −0.5774
0.5774
0.8165 0.0000
Σ̃ = diag {4.0000, 1.4142, 0.0000}


0.7815 −0.1860
0.5955
0.5774 −0.5774  .
Ṽ =  0.5774
0.2365 −0.7950 −0.5586
Na tej podstawie wnioskujemy, »e dim(Q) = dim(AS) = rank (AU3 ) = 2.
Co, z kolei, prowadzi do konkluzji, i» Q = AS = Im (Ũ2 ), gdzie Ũ2 ∈ R3×2
jest stosown¡ (lew¡) podmacierz¡ ortonormalnego lewego czynnika Ũ tego
rozkªadu


0.5774 −0.4082
0.4082  . ¤
Ũ2 =  −0.5774
0.5774
0.8165
Ortonormalna baza sumy podprzestrzeni liniowych
Niech Q ⊂ Rn , dim (Q) = q , oraz S ⊂ Rn , dim (S) = s, b¦d¡ podprzestrzeniami. Wyznaczmy ortonormaln¡ baz¦ ich sumy W = Q + S ⊂ Rn .
W tym celu wykorzysta¢ mo»na dowolne macierze generuj¡ce Q ∈ Rn×k ,
k ≥ q , oraz S ∈ Rn×l , l ≥ s, dla których Q = Im (Q) oraz S = Im (S). W
ogólno±ci, macierze te jako macierze kolumnowo generuj¡ce nie musz¡
by¢ regularne kolumnowo.
Jak ªatwo zauwa»y¢ W = Im (W ), gdzie W ∈ Rn×(k+l) jest stosown¡
macierz¡ kolumnowo generuj¡c¡ o postaci
£
¤
W = Q S .
(A.4)
Je±li w = rank (W ), wówczas dim (W) = w, a poszukiwan¡ ortonormaln¡
baz¦ sumy Q + S okre±la pocz¡tkowych w kolumn lewego ortonormalnego
czynnika U ∈ Rn×n rozkªadu svd tak zagregowanej macierzy W = U ΣV T
RW = Uw
przy czym Uw ∈ Rn×w oraz Ūw ∈ Rn×(n−w) stanowi¡ U = [ Uw Ūw ].
A.3. GEOMETRIA PODPRZESTRZENI LINIOWYCH
29
Przykªad D.4 (wyznaczanie ortonormalnej bazy sumy podprzestrzeni
liniowych). Okre±lmy przykªadow¡ ortonormaln¡ baz¦ przestrzeni W = Q +
S , gdzie Q = Im (R), S = Ker (N ), za±


1 −2 −2 2
R =  −1 −1 −1 3 
−2
1
1 1
·
oraz N =
1
2 −3
−2 −4
1
¸
.
Z ªatwo±ci¡ zauwa»amy, »e rank (R) = 2 oraz rank (N ) = 2. Na tej
podstawie tworzymy u»yteczne (regularne kolumnowo) macierze bazowe RQ ,
rank (RQ ) = 2, oraz RS , rank (RS ) = 1


1 −2
RQ =  −1 −1  ,
−2
1


2
RS =  −1  .
0
Z rozkªadu svd macierzy W = [ RQ RS ] ∈ R3×3 , W = U ΣV T , gdzie:

0.8372
0.4082

−0.1566 −0.8165
U =
−0.5240
0.4082
Σ = diag {3.4191, 1.7321,

0.5972 −0.7071

−0.5972 −0.7071
V =
0.5355
0.0000

−0.3639
0.5557 
−0.7475
1.5197}

0.3787
−0.3787 
−0.8445
wnioskujemy, »e wymiar przestrzeni W wynosi dim (W) = rank (W ) = 3,
za± wszystkie kolumny lewego czynnika tego rozkªadu stanowi¡ przykªadow¡
poszukiwan¡ ortonormaln¡ baz¦ przestrzeni W = Q + S
RW = U.
W takim przypadku oczywi±cie sama macierz generuj¡ca W jest tak»e macierz¡ bazow¡ przestrzeni W . Na podkre±lenie zasªuguje równie» fakt, »e przy
wyznaczaniu tej bazy nie jest niezb¦dny peªny rozkªad macierzy W wedªug
jej warto±ci szczególnych, poniewa» prawy ortonormalny czynnik V owego
rozkªadu nie jest tu niezb¦dny.
Zauwa»my ponadto, i» dokonuj¡c numerycznie bardziej kosztownego rozkªadu svd macierzy W̃ = [ R RS ] ∈ R3×5 , tak»e mo»na uzyska¢ pewn¡
ortonormaln¡ baz¦ przestrzeni Q + S . Post¦puj¡c w ten sposób, dochodzimy
30
DODATEK A.
do rozkªadu W̃ = Ũ Σ̃Ṽ T , w którym:


−0.8136 −0.3707 −0.4480
0.6430
0.5083 
Ũ =  −0.5729
0.0996
0.6702 −0.7355


4.7349
0
0
0 0
0
3.4772
0
0 0 .
Σ̃ = 
0
0
1.5780 0 0
Interesuj¡c¡ nas ortonormaln¡ baz¦ stanowi¡ zatem wszystkie kolumny lewego czynnika Ũ tego rozkªadu.
Ortonormalna baza przekroju podprzestrzeni liniowych
Dane s¡ podprzestrzenie Q ⊂ Rn oraz S ⊂ Rn o wymiarach, odpowiednio,
dim (Q) = q oraz dim (S) = s. Poszukuje si¦ ortonormalnej bazy podprzestrzeni W ⊂ Rn b¦d¡cej ich przekrojem: W = Q ∩ S
W tym celu stosuje si¦ odpowiednie macierze generuj¡ce Q ∈ Rn×k oraz
S ∈ Rn×l , dla których Q = Im (Q) oraz S = Im (S). Nast¦pnie, bior¡c pod
uwag¦ to»samo±¢
Q ∩ S = (Q⊥ + S ⊥ )⊥
stwierdzamy, i» postawione zadanie sprowadza si¦ do wyznaczenia ortonormalnej bazy ortogonalnego uzupeªnienia sumy dwóch podprzestrzeni Q⊥ =
Im⊥ (Q) oraz S ⊥ = Im⊥ (S). Ortonormalne bazy tych skªadników, wyra»one
odpowiednio macierzami ŪQq ∈ Rn×(n−q) oraz ŪSs ∈ Rn×(n−s) , tworzy
si¦ z ostatnich (n − q ) kolumn lewego czynnika UQ ∈ Rn×n rozkªadu svd
macierzy Q oraz analogicznie z ostatnich (n − s) kolumn lewego czynnika
US ∈ Rn×n rozkªadu svd macierzy S . Zatem:
Q⊥ = Im⊥ (Q) = Im (ŪQq )
S ⊥ = Im⊥ (S) = Im (ŪSs ).
Uwzgl¦dniaj¡c posta¢ macierzy generuj¡cej W̄ ∈ Rn×(2n−q−s) dla sumy
powy»szych podprzestrzeni (por. wzór(A.4))
W̄ =
£
ŪQq
ŪSs
¤
otrzymujemy
W ⊥ = Q⊥ + S ⊥ = Im (W̄ )
A.3. GEOMETRIA PODPRZESTRZENI LINIOWYCH
31
Kªad¡c w̄ = rank (W̄ ), poszukiwan¡ baz¦ przestrzeni W = Im⊥ (W̄ ) tworzymy
z ostatnich (n − w̄) kolumn lewego czynnika UW̄ ∈ Rn×n rozkªadu svd
T . Zachodzi zatem
macierzy W̄ = UW̄ ΣW̄ VW̄
W = Q ∩ S = Im (ŪW̄w̄ )
gdzie ŪW̄w̄ ∈ Rn×(n−w̄) oznacza odpowiedni¡ (praw¡) podmacierz macierzy
ortonormalnej UW̄ ∈ Rn×n .
Przykªad D.5 (wyznaczanie ortonormalnej bazy przekroju podprzestrzeni liniowych). Wyznaczmy ortonormaln¡ baz¦ przestrzeni W = Q ∩ S ,
gdzie Q = Im (Q), S = Im (S), za±:

1 −1
2 2
5
 0
1
0 2
3
Q=
 0
1
2 2
5
1 −2 −1 0 −1






8 −1 5
 6
0 3 

oraz S = 
 6 −2 5 
2
1 0
Dokonuj¡c rozkªadów svd macierzy Q oraz S , otrzymujemy Q = UQ ΣQ VQT
oraz S = US ΣS VST , przy czym:
σ (Q) = {8.9061, 2.8817, 1.5419, 0.0000}
σ (S) = {14.1128, 2.4144, 0.0000}
oraz odpowiednio:
UQ =
US =
£
£
UQ3
ŪQ3
US2
ŪS2
⇒ q = rank (Q) = 3
⇒ s = rank (S) = 2


0.6389 −0.5421 −0.2751 −0.4714
 0.3860
¤
0.2214
0.8640 −0.2357 

= 
 0.6499
0.2305 −0.1565
0.7071 
−0.1429 −0.7772
0.3917
0.4714


0.6721 −0.0752
0.3775 −0.6325
 0.4692 −0.4455 −0.7559
¤
0.1003 
.
= 
 0.5622
0.5921
0.0760
0.5723 
0.1099 −0.6673
0.5295
0.5121
Na tej podstawie przyjmujemy, »e RQ = UQ3 ∈ R4×3 oraz RS = US2 ∈
Zachodzi zatem:
R4×2 .
Q = Im (UQ3 ),
S = Im (US2 ),
Q⊥ = Im (ŪQ3 ),
S ⊥ = Im (ŪS2 ).
W rozkªadzie svd macierzy W̄ = [ ŪQ3 ŪS2 ] ∈ R4×(1+2) wyró»niamy
zbiór warto±ci szczególnych tej macierzy oraz lewy czynnik UW̄ ∈ R4×4 :
¡ ¢
σ W̄ = {1.4033, 1.0000, 0.1750, 0.0000} ⇒ w̄ = rank (W̄ ) = 3
32
DODATEK A.

UW̄ =
£
UW̄3
ŪW̄3

−0.4807
0.5566 −0.0449 0.6761
¤  −0.1900 −0.7493
0.3812 0.5071 

=
 0.6422 −0.1070 −0.5648 0.5071  .
0.5661
0.3425
0.7305 0.1690
Wida¢ przeto, »e W̄ jest macierz¡ bazow¡ dla przestrzeni ortogonalnej do
W , natomiast poszukiwana przestrze« W = Q ∩ S = Im (ŪW̄3 ), ŪW̄3 ∈ R4×1 ,
jest jednowymiarowa, dim (W) = rank (ŪW̄3 ) = 1.
Sprawd¹my na koniec, posªuguj¡c si¦ poprzednio poznanymi procedurami
badania inkluzji, czy Im (ŪW̄3 ) ⊂ Q oraz Im (ŪW̄3 ) ⊂ S .
(1) Stosuj¡c warunek (A.2), ªatwo werykujemy zachodzenie stosownych
równo±ci:
¡£
¤¢
¡£
¤¢
Q ŪW̄3
UQ3 ŪW̄3
rank
= rank
= rank (Q) = 3
¡£
¤¢
¡£
¤¢
S ŪW̄3
US2 ŪW̄3
rank
= rank
= rank (S) = 2.
Odpowiednie zbiory warto±ci szczególnych, pozwalaj¡ce na oszacowanie rz¦dów rozwa»anych macierzy, maj¡ posta¢:
¡£
¤¢
Q ŪW̄3
σ
= {8.9549, 2.8942, 1.5599, 0.0000}
σ
¡£
σ
σ
¡£
UQ3
¡£
ŪW̄3
S ŪW̄3
US2
ŪW̄3
¤¢
¤¢
¤¢
⇒ rank ([ Q ŪW̄3 ]) = 3
=
{1.4142, 1.0000, 1.0000}
⇒ rank ([ UQ3
=
ŪW̄3 ]) = 3
{14.1479, 2.4160, 0.0000, 0.0000}
⇒ rank ([ S ŪW̄3 ]) = 2
=
{1.4142, 1.0000}
⇒ rank ([ US2
ŪW̄3 ]) = 2.
Powy»sze dane upewniaj¡ nas, »e Im (ŪW̄3 ) ⊂ (Q ∩ S).
(2) Stosuj¡c procedur¦ (A.3), wyznaczamy nast¦puj¡ce normy odpowiednich wektorów resztowych:
°
° °
°
°PIm (Q) Ū − Ū ° = °QQ+ Ū − Ū ° = 4.3798 · 10−16
W̄3
W̄3
W̄3
W̄3
°
° °
°
°PIm (S) Ū − Ū ° = °SS + Ū
− Ū ° = 1.2413 · 10−16 .
W̄3
W̄3
W̄3 3
W̄3
Co równie» uzasadnia tez¦ o inkluzji Im (ŪW̄3 ) ⊂ (Q ∩ S).
Sprawd¹my jeszcze poprawno±¢ oszacowania wymiaru przestrzeni Q ∩ S .
W tym celu wykorzystamy zale»no±¢ dim (Q ∩ S) = dim (Q) + dim (S) −
dim (Q + S), w której dim (Q) = rank (Q) = 3, dim (S) = rank (S) = 2.
Mamy dim (Q + S) = rank ([ Q S ]), gdzie [ Q S ] ∈ R4×8 jest wybran¡
A.3. GEOMETRIA PODPRZESTRZENI LINIOWYCH
33
macierz¡ generuj¡c¡. Bior¡c pod uwag¦, i» σ ([ Q S ]) = {16.5611, 3.9761,
2.1563, 0.5215}, otrzymujemy dim (Q + S) = 4, co prowadzi do wniosku, »e
dim (Q ∩ S) = 1.
W konkluzji mo»na zatem stwierdzi¢, »e Q ∩ S = Im (ŪW̄3 ).
Przykªad D.6 (wyznaczanie ortonormalnej bazy przekroju podprzestrzeni liniowych). Wyznaczmy ortonormaln¡ baz¦ przestrzeni Q⊥ ∩ S ⊥ ,
gdzie Q = Ker (N ), S = Im (R), za±:
·
N=
1 0 1
0 1 2
¸


1
2
4
4
2 .
oraz R =  −1
0 −2 −2
W obliczeniach wykorzystamy to»samo±¢ Q⊥ ∩ S ⊥ = (Q + S)⊥ . Poszukiwan¡ baz¡ b¦dzie zatem dowolna ortonormalna baza ortogonalnego uzupeªnienia przestrzeni Q + S .
(1) Jak ªatwo pokaza¢: dim (Q) = 3 − rank (N ) = 1 oraz dim (S) =
rank (R) = 2. Na tej podstawie uzyskujemy przykªadowe 'oszcz¦dne' reprezentacje Q = Im (RQ ) oraz S = Im (RS ), gdzie:




−1
1
2
4 .
RQ =  −2  oraz RS =  −1
1
0 −2
Zachodzi Q + S = Im (W ), gdzie W = [ RQ RS ], a zatem dim (Q⊥ ∩
= 3−rank (W ). Analizuj¡c posta¢ macierzy W , widzimy, »e rank (W ) =
2, co czyni dim (Q⊥ ∩ S ⊥ ) = 1. Potwierdza to rozkªad svd macierzy W =
U ΣV T , w którym:
S ⊥)
Σ = diag {5.4934, 1.3500, 0.0000} ⇒ rank (W ) = 2


−0.3914
0.8694 −0.3015
£
¤
U = U2 Ū2 =  −0.8259 −0.4764 −0.3015  .
0.4058 −0.1310 −0.9045
Poszukiwan¡ ortonormaln¡ baz¦ przestrzeni Q⊥ ∩ S ⊥ stanowi zatem
jedyna kolumna podmacierzy Ū2 ∈ R3×1 . Zachodzi bowiem Im⊥ (W ) =
Im (Ū2 ).
(2) Zaªo»ywszy 'nieoszcz¦dny' sposób wyznaczania reprezentacji przestrzeni Q + S w postaci przestrzeni kolumnowej macierzy W̃ = [ RQ R ] ∈
R3×4 , dochodzimy do rozkªadu svd tej macierzy W̃ = Ũ Σ̃Ṽ T , w którym:
Σ̃ = diag {7.0402, 2.5370, 0.0000}
⇒ rank W̃ = 2
34
DODATEK A.
h
Ũ =
¯
Ũ2 Ũ
2
i


−0.6119 −0.7312 −0.3015
0.6820 −0.3015  .
=  −0.6663
0.4261
0.0164 −0.9045
¯ , co oznacza, »e w obu przypadkach
Jak ªatwo zauwa»y¢, zachodzi Ū2 = Ũ
2
uzyskano t¦ sam¡ baz¦ rozwa»anej przestrzeni Q⊥ ∩ S ⊥ .
Ortonormalna baza przeciwobrazu podprzestrzeni liniowej wzgl¦dem odwzorowania liniowego
Niech S ⊂ Rn o wymiarze dim (S) = s b¦dzie podprzestrzeni¡ zdeniowan¡ jako S = Ker (NS ), gdzie NS ∈ R(n−s)×n jest odpowiedni¡ macierz¡
kobazow¡ o peªnym wierszowym rz¦dzie rank (NS ) = n − s. Wyznaczmy
dowoln¡ ortonormaln¡ baz¦ podprzestrzeni Q = A−1 S ⊂ Rm , gdzie A :
Rm → Rn jest danym przeksztaªceniem liniowym o macierzy A ∈ Rn×m .
W tym celu rozwa»my zerow¡ podprzestrze« macierzy NS A ∈ R(n−s)×m
Ker (NS A) = { y ∈ Rm : Ay ∈ Ker (NS )} .
Jak ªatwo zauwa»y¢
Ker (NS A) = A−1 Ker (NS ) = A−1 S = Q.
Co oznacza, »e przestrze« Q (przeciwobraz S wzgl¦dem liniowego odwzorowania A) jest wªa±nie zerow¡ podprzestrzeni¡ macierzy NS A.
Je±li q̄ = rank (NS A), to poszukiwan¡ baz¦ przestrzeni Q tworzy (m − q̄)
ko«cowych kolumn ortonormalnej macierzy V ∈ Rm×m wyznaczaj¡cej prawy
czynnik stosownego rozkªadu svd : NS A = U ΣV T . Kªad¡c V = [ Vq̄ V̄q̄ ],
gdzie V̄q̄ ∈ Rm×(m−q̄) , dochodzimy zatem do wniosku, »e A−1 S = Im (V̄q̄ )
oraz dim(A−1 S) = m− q̄ . W celu zwi¦kszenia numerycznej odporno±ci wykonywanych oblicze«, zaleca si¦, aby macierz NS byªa wierszowo ortonormalna.
Godny rozwa»ania jest oczywi±cie tylko nietrywialny przypadek, w którym przekrój S ∩ Im (A) nie sprowadza si¦ do zerowego wektora w Rn . W
przeciwnym bowiem razie, poszukiwan¡ baz¦ stanowi po prostu dowolna
ortonormalna baza zerowej podprzestrzeni macierzy A.
Przykªad D.7 (wyznaczanie ortonormalnej bazy przeciwobrazu podprzestrzeni liniowej). Dla podprzestrzeni liniowej S ⊂ Rn opisanej swoj¡
macierz¡ kolumnowo generuj¡c¡ S ∈ Rn×k oraz danej macierzy A ∈ Rn×m
odwzorowania liniowego A : Rm → Rn , nale»y okre±li¢ przykªadow¡ ortonormaln¡ baz¦ podprzestrzeni Q = A−1 S = A−1 Im (S)
A.3. GEOMETRIA PODPRZESTRZENI LINIOWYCH
Rozpatrzmy dwa przypadki.
a) Pierwszy przypadek dotyczy nast¦puj¡cych macierzy:



−1
2
4
5
1 −1
 −1

 3
0
2
3
0
 oraz A = 
S=
 −1
 −3 −2
2
4
5 
0 −1 −1 −1
4
1
35

5
3 
.
5 
0
(1) Jak ªatwo sprawdzi¢ Im (S) ∩ Im (A) = {04 }. Zaiste, odwoªuj¡c si¦
do opisanej w tym dodatku metody wyznaczania przekroju podprzestrzeni
liniowych, otrzymujemy S = US ΣS VST oraz A = UA ΣA VAT , przy czym:
σ (S) = {10.3565, 1.3204, 0.0000, 0.0000}
σ (A) = {7.9587, 6.0546, 0.0000}
oraz odpowiednio:
US =
UA =
£
£
US2
ŪS2
UA2
ŪA2
⇒ rank (S) = 2
⇒ rank (A) = 2


−0.6546 −0.1615
0.7089
0.2071
 −0.3452
¤
0.8361 −0.0037 −0.4264 

= 
 −0.6546 −0.1615 −0.7052
0.2193 
0.1547
0.4988
0.0074
0.8528


−0.6193
0.2717
0.7078 −0.2040
 −0.3154
¤
0.5649 −0.6205 −0.4431 
.
= 
 −0.7129 −0.3980 −0.3355
0.4699 
0.0936
0.6698
0.0368
0.7357
Rozstrzygaj¡cy o wymiarze przestrzeni Im (S) ∩ Im (A) b¦dzie rz¡d macierzy
[ ŪS2 ŪA2 ] ∈ R4×4 . Poniewa»
¡£
¤¢
ŪS2 ŪA2
σ
= {1.4126, 1.3515, 0.4164, 0.0668}
zatem w̄ = rank ([ ŪS2 ŪA2 ]) = 4. St¡d dim (Im (S)∩Im (A)) = n−w̄ = 0,
co oznacza, i» jako poszukiwan¡ baz¦ podprzestrzeni Q = A−1 S mo»na
przyj¡¢ dowoln¡ ortonormaln¡ baz¦ przestrzeni zerowej Ker (A). Baz¦ t¦,
w postaci wektora V̄A2 ∈ R3 , znajdujemy w prawym czynniku rozkªadu svd
macierzy A


0.1191
0.9645
0.2357
£
¤
VA = VA2 V̄A2 =  0.2687 0.1972 −0.9428  .
−0.9558 0.1756 −0.2357
(2) Potwierdzenie tego wyniku uzyskujemy, post¦puj¡c zgodnie z ogól-
nym przepisem przedstawionym wy»ej. Poszukuj¡c stosownej macierzy kobazowej NS ∈ R(n−s)×n , s = dim (S), dla której zachodzi S = Ker (NS ),
36
DODATEK A.
na podstawie znanego ju» rozkªadu svd macierzy S przyjmujemy NS =
ŪST2 ∈ R2×4 . W nast¦pnej kolejno±ci wyznaczamy rozkªad svd macierzy
NS A, otrzymuj¡c NS A = Uq̄ Σq̄ Vq̄T , gdzie:
·
¸
·
¸
0.8519 −0.5238
3.4086
0
0
Uq̄ =
, Σq̄ =
0.5238
0.8519
0
0.7506 0


0.9688
−0.0760
0.2357
£
¤
Vq̄ = VQ̄2 V̄Q̄2 =  0.2090 −0.2597 −0.9428 
0.1329
0.9627 −02357
Mamy zatem: q̄ = rank (NS A) = 2 oraz dim (Q) = m − q̄ = 3 − 2 =
1. Poszukiwan¡ baz¦ podprzestrzeni Q = A−1 S , b¦d¡cej jednowymiarow¡
przestrzeni¡ zerow¡ rozwa»anej macierzy NS A, stanowi przeto wektor V̄Q̄2 ∈
R3 . Jak wida¢, V̄Q̄2 = V̄A2 .
b) Drugi przypadek dotyczy macierzy

1 −1
2
 0
1
0
S=
 0
1
2
1 −2 −1

2
5
2
3 

2
5 
0 −1


8 −1 5
 6
0 3 

oraz A = 
 6 −2 5 
2
1 0
zaczerpni¦tych z przykªadu D.5. Poszukuj¡c macierzy kobazowej dla podprzestrzeni S = Im (S), a zatem takiej macierzy NS , dla której S = Ker (NS ),
posªu»ymy si¦ danym tam rozkªadem S = US ΣS VST z lewym ortonormalnym
czynnikiem US = [ US3 ŪS3 ]. Na tej podstawie kªadziemy
£
¤
NS = ŪST3 = −0.4714 −0.2357 0.7071 0.4714 .
Nast¦pnie, dokonuj¡c rozkªadu svd macierzy NS A, uzyskujemy posta¢
NS A = Uq̄ Σq̄ Vq̄T , w której Σq̄ = [ 0.6667 0 0 ] oraz


0.0000 −1.0000 0.0000
£
¤
0.0000 0.7071  .
Vq̄ = VQ̄1 V̄Q̄1 =  0.7071
−0.7071
0.0000 0.7071
Poszukiwan¡ ortonormaln¡ baz¦ przestrzeni Q = Ker (NS A) = Im (V̄Q̄1 )
stanowi¡ zatem kolumny podmacierzy V̄Q̄1 ∈ R3×2 . Sprawd¹my jeszcze, czy
speªniony jest podstawowy warunek poprawno±ci uzyskanego wyniku to
znaczy, czy obie kolumny macierzy AV̄Q̄1 nale»¡ do trójwymiarowej podprzestrzeni S = Im (S). Upewnia nas o tym bardzo maªa warto±¢ normy
odpowiedniej macierzy resztowej:
°
° °
°
°PIm (S) AV̄ − AV̄ ° = °SS + AV̄ − AV̄ ° = 5.3975 · 10−15 .
Q̄1
Q̄1
Q̄1
Q̄1
A.3. GEOMETRIA PODPRZESTRZENI LINIOWYCH
37
Liniowe zadanie najmniejszych kwadratów
Rozwa»my nast¦puj¡ce liniowe zadanie najmniejszych kwadratów
Ax = b,
gdzie A ∈ Rm×n , b ∈ Rm (przy czym zwykle zakªada si¦ m ≥ n), w którym
poszukiwane rozwi¡zanie x ∈ Rn speªnia nast¦puj¡cy warunek
x=
arg min
Rn
y=arg min kAz−bk2 , y∈
R
z∈ n
kyk2 .
Z powy»szego wynika, »e jako rozwi¡zanie x przyjmuje si¦ to sposród rozwi¡za« y ∈ Rn problemu minimalizacji normy euklidesowej wektora resztowego
y = arg min kAz − bk2
z∈
Rn
które posiada najmniejsz¡ euklidesow¡ norm¦. Problem minimalizacji normy
kAz − bk2 mo»e bowiem, w ogólno±ci, nie posiada¢ jednoznacznego rozwi¡zania.
Przyst¦puj¡c do rozwi¡zania liniowego zadania najmniejszych kwadratów,
zauwa»my przede wszystkim, »e euklidesowa norma danego wektora jest
niezmiennicza wzgl¦dem dowolnego ortonormalnego przeksztaªcenia: kxk2 =
kT xk2 , ∀x ∈ Rn , ∀T ∈ Rn×n : T −1 = T T . Niech rank (A) = r < n. Stosuj¡c rozkªad svd A = U ΣV T , U ∈ Rm×m , V ∈ Rn×n oraz Σ ∈ Rm×n ,
uzyskujemy nast¦puj¡c¡ reprezenatcj¦ normy wektora resztowego
kAx − bk2 = kU Σ V T x − bk2 = kΣ V T x − U T bk2 = kΣ x̃ − b̃k2 ,
gdzie:
x̃ = V T x,
b̃ = U T b,
£
¤T
x̃ = x̃1 · · · x̃n
∈ Rn ,
£
¤T
∈ Rm .
b̃ = b̃1 · · · b̃m
Z kolei, uwzgl¦dniaj¡c posta¢ macierzy Σ , otrzymujemy
v
uX
m
X
u r
(σi x̃i − b̃i )2 +
b̃2i .
kΣ x̃ − b̃k2 = t
i=1
i=r+1
Powy»sze wyra»enie, traktowane jako funkcja niewiadomych {x̃i }ri=1 , przyjmuje warto±¢ minimaln¡ przy
x̃i =
b̃i
,
σi
i ∈ {1, . . . , r}.
38
DODATEK A.
Zauwa»my, »e warto±¢ ta nie zale»y od {x̃i }ni=r+1
v
uX
¯
u m 2
¯
kΣx̃ − b̃k2 ¯
=t
b̃i .
x̃i =b̃i /σi , i∈{1,...,r}
i=r+1
Aby zatem norma kxk2 = kV x̃k2 = kx̃k2 miaªa minimaln¡ warto±¢, wspóªrz¦dne {x̃i }ni=r+1 nale»y przyrówna¢ do zera
x̃i = 0,
i ∈ {r + 1, . . . , n}.
Powy»sze rozumowanie mo»na przedstawi¢ w nast¦puj¡cej sformalizowanej
postaci, korzystaj¡c z poj¦cia macierzy pseudoodwrotnej
x̃ = Σ + b̃ = Σ+ U T b
⇒
x = V x̃ = V Σ+ U T b = A+ b.
W przypadku, gdy macierz A ∈ Rm×n , n ≤ m, posiada peªny kolumnowy
rz¡d, rank (A) = n, zadanie minimalizacji normy euklidesowej wektora resztowego Ax − b posiada jednoznaczne rozwi¡zanie, wynikaj¡ce z nast¦puj¡cego ukªadu równa« normalnych
AT Ax = AT b.
W rozwa»anym przypadku
¡
¢−1 T
x = AT A
A b
co stanowi szczególn¡ posta¢ poprzednio okre±lonego ogólnego rozwi¡zania
liniowego zadania najmniejszych kwadratów (x = A+ b), przy czym teraz
¡
¢−1 T
A+ = AT A
A .
Gdy macierz A ∈ Rm×n , m ≥ n, jest macierz¡ o niepeªnym kolumnowym
rz¦dzie, rank (A) = r < n, zadanie minimalizacji normy euklidesowej wektora resztowego Ax − b nie posiada jednoznacznego rozwi¡zania.
Zadania
Zadanie 1. Poka», »e ∀A ∈ Rn×n zarówno Im (A), jak i Ker (A), s¡ przestrzeniami A-inwariantnymi.
Zadanie 2. Niech S ⊂ Rm b¦dzie podprzestrzeni¡ liniow¡ przestrzeni Rm .
Poka», »e: S ⊥ jest podprzestrzeni¡ liniow¡ przestrzeni Rm oraz dim (S ⊥ ) =
m − dim (S).
A.3. GEOMETRIA PODPRZESTRZENI LINIOWYCH
39
Zadanie 3. Poka», »e dowolne niezerowe ortogonalne wektory s¡ liniowo
niezale»ne.
Zadanie 4. Udowodnij, »e relacje kongruencji oraz podobie«stwa s¡ relacjami równowa»no±ci w Rn×n .
Zadanie 5. Poka», »e:
macierz dodatnio okre±lona jest nieosobliwa, przy czym odwrotno±¢ macierzy dodatnio okre±lonej jest macierz¡ dodatnio okre±lon¡,
odwrotno±ci nieosobliwych macierzy symetrycznych, nieosobliwych jed-
nostkowych macierzy trójk¡tnych oraz nieosobliwych macierzy trójk¡tnych s¡ odpowiednio nieosobliwymi macierzami symetrycznymi, jednostkowymi macierzami trójk¡tnymi oraz macierzami trójk¡tnymi,
macierz AT A, gdzie A ∈ Rm×n , jest macierz¡ dodatnio póªokre±lon¡;
macierz ta jest dodatnio okre±lona wtedy i tylko wtedy, gdy rank (A) =
n (A jest macierz¡ o peªnym kolumnowym rz¦dzie).
Zadanie 6. Niech A ∈ Rn×n . Czy mog¡ obowi¡zywa¢ nast¦puj¡ce relacje:
a) dim (Im (A)) = 0, b) dim (Ker (A)) = 0, c) Im (A) ⊂ Ker (A),
d) Ker (A) ⊂ Im (A), e) Ker (A) = Im (A), f ) Ker (A) = ∅,
g) Im (A) = Rn ,
h) Ker (A) = Rn ,
i) Ker (A)⊥Im (A) ?
Odpowied¹ uzasadnij (wystarcz¡ przykªady lub kontrprzykªady).
Zadanie 7. Czy A Ker (A) ⊂ Ker (A) ∀A ∈ Rn×n ? Kiedy Ker (A) ⊂
A Ker (A)?
Zadanie 8. Niech A ∈ Rm×n . Poka», »e
rank (AT A) = rank (AAT ) = rank (A)
oraz:
Im (AT A) = Im (AT ), Im (AAT ) = Im (A)
Ker (AT A) = Ker (A), Ker (AAT ) = Ker (AT ).
Zadanie 9. Niech A ∈ Rm×n oraz B ∈ Rn×p . Udowodnij poni»sz¡ równo±¢
dim (Ker (AB)) = dim (Ker (B)) + dim (Ker (A) ∩ Im (B)).
40
DODATEK A.
Zadanie 10. Niech A ∈ Rm×n oraz B ∈ Rn×p . Udowodnij poni»sze imp-
likacje:
rank (B) = n ⇒ (rank (AB) = rank (A)) ∧ (Im (AB) = Im (A))
rank (A) = n ⇒ (rank (AB) = rank (B)) ∧ (Ker (AB) = Ker (B)).
Zadanie 11. Poka», »e iloczyn macierzy ortogonalnych jest macierz¡ ortogonaln¡.
Zadanie 12. Poka», »e euklidesowa norma w Rn jest niezmiennicza wzgl¦-
dem ortogonalnych przeksztaªce«. Co mo»esz powiedzie¢ o innych normach?
Zadanie 13. Poka», »e macierz rzutu ortogonalnego przestrzeni Rn na
dan¡ podprzestrze« M ma posta¢ wyznaczon¡ w sposób jednoznaczny.
Zadanie 14. Czy ∀A ∈ Rn×n obowi¡zuje równo±¢ A+ A = AA+ ?
Zadanie 15. Czy dla dowolnych macierzy A oraz B o stosownych wymia-
rach zawsze zachodzi (AB)+ = B + A+ ? Co powiesz o macierzach nieosobliwych?
Zadanie 16. Niech A ∈ Rm×n . Poka», »e dla A o peªnym kolumnowym
rz¦dzie zachodzi A+ = (AT A)−1 AT , za± dla A o peªnym rz¦dzie wierszowym
mamy A+ = AT (AAT )−1 .
Zadanie 17. Wektory ai ∈ Rm , i ∈ {1, . . . , m}, tworz¡ pewn¡ ortonor-
m
maln¡ baz¦ w Rm . Poka»,
Pm »e T∀a ∈ R w bazie tej okre±lona jest jednoznaczna reprezentacja a = i=1 (ai a)ai .
Zadanie 18. Udowodnij, »e pseudoodwrotno±¢ A+ dowolnej macierzy A
charakteryzuj¡ nast¦puj¡ce wªasno±ci: (A+ )+ = A oraz (AT )+ = (A+ )T .
Poka», »e dla nieosobliwych macierzy zachodzi A+ = A−1 .
Zadanie 19. Oblicz A+ dla: A = 1, A = 0, A = [ 1 0 ], A = [ 1 1 ]T ,
A = [ 0 0 ]T oraz A = [
1
0
0
0
]. Wyznacz rozkªad svd tych macierzy.
Zadanie 20. Poka», »e AB = 0n×m ⇔ B + A+ = 0m×n .
A.3. GEOMETRIA PODPRZESTRZENI LINIOWYCH
41
Zadanie 21. Niech U, V ⊂ Rn . Poka», »e U ⊕ V = Rn ⇔ (U ∩ V =
0n ) ∧ (U + V = Rn ).
Zadanie 22. Niech A = U ΣV T oznacza rozkªad svd danej macierzy A.
Sprawd¹, »e macierz V Σ+ U T speªnia 'aksjomaty' pseudoodwrotno±ci A+ tej
macierzy w sensie Moore'a-Penrose'a.
Zadanie 23. Poka», »e ∀A ∈ Rm×n :
AT = AT AA+ = A+ AAT , A+ = AT (AAT )+ = (AT A)+ AT
(AT A)+ = A+ (AT )+ ,
(AAT )+ = (AT )+ A+
oraz
Im (A+ ) = Im (AT ) = Im (A+ A), Ker (A+ ) = Ker (AT ) = Ker (AA+ ).
Zadanie 24. Dane s¡ A ∈ Rm×n oraz b ∈ Rm . Niech b ∈ Im (A). Poka»,
»e równanie Ax = b posiada w Rn rozwi¡zanie opisane ogóln¡ formuª¡ x =
x0 + x1 , gdzie x0 ∈ Rn speªnia równo±¢ Ax0 = b, za± x1 ∈ Ker (A). Co
b¦dzie, gdy b 6∈ Im (A)?
Zadanie 25. Zbadaj mo»liwo±ci MATLABowych funkcji: norm, rank, eig,
inv, pinv, qr, svd, orth, null oraz cond. Co w MATLABie oznacza eps oraz
ops?
Zadanie 26. Rozwa»my liniowe zadanie najmniejszych kwadratów Ax = b,
A ∈ Rm×n . Niech m ≥ n. MATLAB udost¦pnia tu dwie mo»liwo±ci:
x=pinv(A)*b, co odpowiada wektorowi x = A+ b o minimalnej euklidesowej
normie,
x=A\b, co odpowiada wektorowi x o co najwy»ej r niezerowych wspóªrz¦dnych.
W przypadku zadania z macierz¡ A ∈ Rm×n , m < n, rozwi¡zanie odpowiedniego niedookre±lonego liniowego zadania najmniejszych kwadratów Ax = b,
zapisane w MATLABowym kodzie jako x=A\b, prowadzi do wektora x, który:
minimalizuje norm¦ euklidesow¡ wektora resztowego Ax − b,
charakteryzuje si¦ minimaln¡ warto±ci¡ euklidesowej normy,
42
DODATEK A.
posiada co najwy»ej r niezerowych wspóªrz¦dnych, gdzie rank (A) = r ≤
m.
Rozwi¡zanie x = A+ b, b¡d¡c wolnym od ostatniego z wymienionych wy»ej
ogranicze«, charakteryzuje si¦ z reguªy mniejsz¡ warto±ci¡ normy euklidesowej.
Niech x = [ −1 0 2 ]T oraz y = [ −2 −1 1 ]T . Skomentuj wyniki
nast¦puj¡cych MATLABowych esperymentów: x\y, y/x, (x'\y')', x'y/x'x,
pinv(x), pinv(x)*y oraz (pinv(x')*y')'.