Definicja 1 Niech U b ąedzie podprzestrzni ąa przestrzeni

De…nicja 1 Niech U bedzie
¾
podprzestrznia¾przestrzeni Euklidesowej V z iloczynem
skalarnym h ; i : Uzupe÷nieniem ortogonalnym U
nazywamy zbiór U ? = fv 2 V : (8u 2 U ) hv; ui = 0g :
Twierdzenie 2 U ? jest podprzestrzenia¾ przestrzeni V:
Twierdzenie 3 Niech U bedzie
¾
sko´nczenie wymiarowa¾podprzestrznia¾przestrzeni
Euklidesowej V z iloczynem skalarnym h ; i : Zak÷adajac,
¾ ·ze fe1 ; e2 ; : : : em g jest
m
P
hv;ei i
e ; dla
baza¾ ortogonalna¾ przestrzeni U i przyjmujac,
¾ ·ze projU (v) =
ke k2 i
i=1
i
dowolnego v 2 V; otrzymujemy, ·ze
v projU (v) 2 U ? ; Co wiecej,
¾
jeśli v = u + w; gdzie u 2 U i w 2 U ? ; to
u = projU (v) i w = v projU (v):
Dowód. Pokazujemy najpierw, z·e v projU (v) 2 U ? : Nastepnie
¾
zauwaz·amy,
z·e skoro v = (v projU (v)) + projU (v) = u + w; to projU (v) u = w
(v projU (v)) : Jednak po lewej stronie równości mamy element przestrzeni U;
a po prawej stronie element przestrzeni U ? : Obie te przestrzenie maja¾dok÷adnie
jeden element wspólny :
Jednym z podstawowych twierdzeń omawianej teorii jest twierdzenie o istnieniu bazy ortogonalnej.
Twierdzenie 4 Dla dowolnej przestrzeni Euklidesowej sko´nczenie wymiarowej
W istnieje ortogonalna baza tej przestrzni.
Dowód. Niech fw1 ; w2 ; : : : wn g oznacza baze¾ tej przestrzeni. Jeśli n = 1 to
twierdzenie jest oczywiste. Za÷óz·my, z·e n > 1: Przyjmujac
¾ w poprzednim
twierdzeniu V = span fw1 ; w2 g, oraz U = span fw1 g ; zauwaz·amy, z·e fw1 g
jest baza¾ ortogonalna¾ dla podprzestrzeni U przestrzeni V: Stad
¾ wniosek, z·e
fw1; w2 projU (w2 )g jest baza¾ ortogonalna¾ przestrzeni V: Zalóz·my z kolei, z·e
V = span fw1 ; w2 ; w3 g, oraz U = span fw1 ; w2 g : Dla U znaleźliśmy juz· baze¾
ortogonalna¾ fw1 0; w2 0g. Stosujac
¾ poprzednie twierdzenie po raz kolejny otrzymamy, z·e fw1 0; w2 0; w3 projU (w3 )g jest baza¾ ortogonalna¾ przestrzeni V: Dalej
postepujemy
¾
analogicznie.
Ze wzgledu
¾ na jednoznaczność przedstawienia wektora v w postaci sumy
wektorów podprzestrzeni U i U ? i zagwarantowane istnienie bazy ortogonalnej
w podprzestrzeni U moz·emy de…nicje¾ projU (v) nieco zmody…kować tak aby by÷a
ona niezalez·na od wektorów bazy.
De…nicja 5 Niech U bedzie
¾
sko´nczenie wymiarowa¾ podprzestrznia¾ przestrzeni
Euklidesowej V z iloczynem skalarnym h ; i : Projekcja¾wektora V na podprzestrze´n
U nazywamy taki wektor u 2 U; dla którego v u 2 U ? :
Ponadto moz·emy sformulować nastepuj
¾ ace
¾ twierdzenie:
Twierdzenie 6 Niech U bedzie
¾
sko´nczenie wymiarowa¾podprzestrzni
L ?a¾przestrzeni
Euklidesowej V z iloczynem skalarnym h ; i : Wówczas V = U
U :
1
W dalszym ciagu
¾ potrzebne nam bed
¾ a¾ nastepujace
¾ twierdzenia:
Twierdzenie 7 Za÷ó·zmy, ·ze macierze A i B sa¾ podzielone na bloki postaci
A = [Ai;j ]i m;j s ; B = [Bi;j ]i s;j n w ten sposób, ·ze
1. wszystkie bloki z tego samego wiersza maja¾ te¾ sama¾ liczbe¾ wierszy
2. wszystkie bloki z tej samej kolumny maja¾ te¾ sama¾ liczbe¾ kolumn
3. dla dowolnej trójki i; j; k takiej, ·ze i
mno·zenie Ai;k Bk;j :
Wówczas A B = [Ci;j ]i
m;j n
m; j
gdzie Ci;j =
s
P
n; k
s wykonalne jest
Ai;k Bk;j :
k=1
Twierdzenie 8 Dla dowolnej macierzy A 2 Rm
równowa·zne:
n
nastepuj
¾ ace
¾ warunki sa¾
(a) rank(A) = n
(b) dla dowolnego x 2 Rn je´sli Ax = 0m to x = 0n :
Twierdzenie 9 Je´sli kolumny macierzy A 2 Rm
le·zny to macierz AT A jest odwracalna.
n
tworza¾uk÷ad liniowo nieza-
Twierdzenie 10 Niech U bedzie
¾
sko´nczenie wymiarowa¾podprzestrznia¾przestrzeni
Euklidesowej V z iloczynem skalarnym h ; i : Dla dowolnego v 2 V; oraz u 2 U
mamy, ·ze kv projU (v)k kv uk :
Dowód. Zauwaz·my, z·e v u = [v projU (v)] + [projU (v) u] : Zgodnie z
poprzednim twierdzeniem v projU (v) 2 U ? ; natomiast projU (v) u 2 U:
Tak wiec
¾ oba sk÷
adniki prawej strony równości sa¾ ortogonalne. Stad
¾ wniosek,z·e
2
2
2
2
kv uk = kv projU (v)k + kprojU (v) uk
kv projU (v)k :
De…nicja
11 Za÷ó·zmy, ·ze dany jest uk÷ad m równa´n o n niewiadomych:
8
a
>
1;1 x1 + a1;2 x2 + : : : a1;n xn = b1
>
<
a2;1 x1 + a2;2 x2 + : : : a2;n xn = b2
:
:::
>
>
:
am;1 x1 + am;2 x2 + : : : am;n xn = bm
który w zapisie macierzowym ma forme¾ Ax = b:
Najlepsza¾aproksymacja¾rozwiazania
¾
powy·zszego uk÷adu nazywamy taki wektor u 2 Rn , dla którego
n
o
2
2
kb Auk = min kb Axk : x 2 Rn :
2
Twierdzenie 12 Niech A 2 Rm n bedzie
¾
macierza¾o kolumnach liniowo niezale·znych. Najlepsza¾ aproksymacja¾ rozwiazania
¾
uk÷adu Ax = b jest wektor u =
1 T
T
A A
A b: Wektor u mo·ze by´c znaleziony jako rozwiazanie
¾
ukladu AT A u =
T
A b metoda¾ eliminacjiGaussa-Jordana.
Dowód. Jak wiadomo zbiór fAx : x 2 Rn g jest podprzestrzenia¾liniowa¾przestrzeni
Rm znana¾jako Im(A): Zgodnie z poprzednim twierdzeniem b projIm(A) (b)
kb
Axk dla dowolnego x 2 Rn : Wykaz·emy, z·e projIm(A) (b) = A AT A
1
AT b:
1
T
W tym celu nalez·y zauwa
AT b 2 Im(A); jak równiez·, z·e
D
E z·yć, z·e A A A
1
b A AT A
AT b; Ax = 0 dla dowolnego x 2 Rn :
Twierdzenie 13 Za÷ó·zmy, ·ze danych jest n par (x1 ; y1 ) ; (x2 ; y2 ) ; : : : ; (xn ; yn )
liczb rzeczywistych i m + 1 funkcji rzeczywistych f0 (x) ; f1 (x) ; : : : ; fm (x) ; gdzie
m + 1 n:
2
2
3
2
3
3
x1
y1
f0 (x1 ) f1 (x1 ) : : : fm (x1 )
6 x2 7
6 y2 7
6 f0 (x2 ) f1 (x2 ) : : : fm (x2 ) 7
6
6
7
6
7
7
Niech X = 6 . 7 ; Y = 6 . 7 ; M = 6
7
..
..
..
4 .. 5
4 .. 5
4
5
.
.
.
xn
f0 (xn ) f1 (xn ) : : : fm (xn )
yn
i przyjmijmy, ·ze macierz M T M2jest odwracalna
tzn. ·ze rank (M ) = m +
3
u0
6 u1 7
1
6
7
1: Wprowad´zmy oznaczenia U = 6 . 7 = M T M
M T Y . Wówczas
4 .. 5
um
funkcja f (x) = u0 f0 (x) + u1 f1 (x) + : : : + um fm (x) jest najlepsza¾ aproksymacja¾danych par w´sród wszystkich funkcji postaci f (x) = r0 f0 (x) + r1 f1 (x) +
: : : + rm fm (x) gdzie ri 2 R dla i = 0; 1; : : : ; m w tym sensie, ·ze Y f (X)
kY f (X)k dla wszystkich mo·zliwych wyborów ri 2 R dla i = 0; 1; : : : ; m:
Co wiecej
¾ U mo·ze by´c znaleziony jako rozwiazanie
¾
ukladu M T M U = M T Y
metoda¾ eliminacjiGaussa-Jordana.2
3
f (x1 )
6 f (x2 ) 7
7
6
f (X) rozumiemy jako wektor 6
7 ; podobnie f (X) rozumiemy jako
..
4
5
.
2
6
6
wektor 6
4
f (x1 )
f (x2 )
..
.
f (xn )
3
f (xn )
7
7
7:
5
Twierdzenie 14 Za÷ó·zmy, ·ze danych jest n trójek (x1 ; y1 ; z1 ) ; (x2 ; y2 ; z2 ) ; : : : ; (xn ; yn ; zn )
liczb rzeczywistych i m+1 funkcji rzeczywistych f0 (x; y) ; f1 (x; y) ; : : : ; fm (x; y) ;
gdzie m + 1 n:
3
2
3
2
2
3
3
2
:::
:::
fm (x1 ; y1 )
fm (x2 ; y2 )
..
.
f0 (xn ; yn ) f1 (xn ; yn ) : : :
zn
yn
xn
T
i przyjmijmy, ·ze macierz M2 M jest
3 odwracalna tzn. ·ze rank (M ) = m + 1:
u0
6 u1 7
1
6
7
Wprowad´zmy oznaczenia U = 6 . 7 = M T M
M T Z . Wówczas funkcja
.
4 . 5
fm (xn ; yn )
6
6
Niech X = 6
4
x1
x2
..
.
6
7
6
7
7;Y = 6
4
5
y1
y2
..
.
6
7
6
7
7;Z = 6
4
5
z1
z2
..
.
6
7
6
7
7M =6
4
5
f0 (x1 ; y1 )
f0 (x2 ; y2 )
..
.
f1 (x1 ; y1 )
f1 (x2 ; y2 )
..
.
um
f (x; y) = u0 f0 (x; y) + u1 f1 (x; y) + : : : + um fm (x; y) jest najlepsza¾ aproksymacja¾ danych trójek w´sród wszystkich funkcji postaci f (x; y) = r0 f0 (x; y) +
r1 f1 (x; y) + : : : + rm fm (x; y) gdzie ri 2 R dla i = 0; 1; : : : ; m w tym sensie,
kZ f (X; Y )k dla wszystkich mo·zliwych wyborów ri 2 R
·ze Z f (X; Y )
dla i = 0; 1; : : : ; m: Co wiecej
¾ U mo·ze by´c znaleziony jako rozwiazanie
¾
ukladu
M T M U = M T Z metoda¾ eliminacjiGaussa-Jordana.
2
3
f (x1 ; y1 )
6 f (x2 ; y2 ) 7
6
7
f (X; Y ) rozumiemy jako wektor 6
7 ; podobnie f (X; Y ) rozu..
4
5
.
2
f (x1 ; y1 )
6 f (x2 ; y2 )
6
miemy jako wektor 6
..
4
.
f (xn ; yn )
f (xn ; yn )
3
7
7
7:
5
4
3
7
7
7
5