Metoda najmniejszych kwadratów, aproksymacja wie

Z50: Algebra liniowa
Zagadnienie: Zastosowania algebry liniowej
Zadanie: Metoda najmniejszych kwadratów, aproksymacja wielomianowa.
Metoda najmniejszych kwadratów, aproksymacja wielomianowa
Kluczową rolę w naukach doświadczalnych odgrywa wyznaczanie zależności
między różnymi wielkościami na podstawie wyników pomiarów. Można to
robić na dwa sposoby. Pierwszy z nich, to poszukiwanie w miarę prostych
zależności między wielkościami z pewną dokładnością. Na przykład w pewnym eksperymencie mierzymy jednocześnie dwie wielkości fizyczne x i y.
Wynik n pomiarów, to zbiór par
{(x1 , y1 ), (x2 , y2 ), . . . , (xn , yn )}.
Szukamy funkcji liniowej lub innego typu, która najlepiej przybliża, w jakimś ustalonym sensie, dane doświadczalne. Ten sposób postępowania omówimy na przykładzie metody najmniejszych kwadratów, a szukaną funkcją
będzie funkcja liniowa. Drugi sposób, to wyznaczenie dokładnej zależności
funkcyjnej między danymi poprzez podanie funkcji f takiej, że yk = f (xk )
dla k = 1, . . . , n. Mówimy wtedy o interpolacji funkcjami danego typu. Metodę tę omówimy na przykładzie interpolacji wielomianami.
Metoda najmniejszych kwadratów
Mamy wyniki n pomiarów dwóch wielkości
{(x1 , y1 ), (x2 , y2 ), . . . , (xn , yn )}.
Zmienną x traktujemy jako niezależną i przewidujemy, że wartość drugiej
zmiennej ŷ zależy liniowo od x, a więc ŷ = ax + b. Szukamy a i b takich, że
wyrażenie
S=
n
X
(ŷk − yk )2 =
k=1
n
X
(yk − axk − b)2
k=1
ma najmniejszą wartość. Ze względu na wzór na S taki sposób wyznaczania zależności nazywamy metodą najmniejszych kwadratów. Korzystając
1
z metody wyznaczania ekstremów funkcji wielu zmiennych wnioskujemy, że
a i b spełniają następujące równania
2an + 2b
n
X
xk − 2
k=1
2b
n
X
x2k + 2a
k=1
n
X
n
X
yk = 0,
k=1
xk − 2
k=1
n
X
yk xk = 0.
k=1
Niech
x1 + . . . + xn
y1 + . . . + yn
, my =
n
n
będą średnimi zmiennych x i y. Wtedy
mx =
n
P
a = my − bmx ,
b=
(yk − my )(xk − mx )
k=1
n
P
.
(xk − mx )2
k=1
Interpolacja wielomianowa
Mamy wyniki n pomiarów dwóch wielkości
{(x1 , y1 ), (x2 , y2 ), . . . , (xn , yn )}
i szukamy wielomianu W stopnia n − 1 takiego, że
W (x1 ) = y1 , W (x2 ) = y2 , . . . , W (xn ) = yn .
Wielomian W wyznaczamy w dwóch krokach. Najpierw dla dowolnego
j, 1 ¬ j ¬ n, znajdujemy wielomian Wj taki, że Wj (xk ) = 0 dla k 6=
j, a następnie przedstawiamy szukany wielomian W w postaci kombinacji
liniowej wielomianów Wj . Wielomian
Wj (x) = (x − x1 ) . . . (x − xj−1 )(x − xj+1 ) . . . (x − xn )
spełnia warunek Wj (xk ) = 0 dla k 6= j. Wtedy
W (x) =
n
X
yj
Wj (x)
W
j (xj )
j=1
jest szukanym wielomianem W .
2
Inny sposób wyprowadzenia wzoru aproksymacyjnego. Niech
W (x) =
n−1
X
ci xi
i=0
będzie wielomianem takim, że W (xi ) = yi . Wtedy spełniony jest układ
równań


c0 + c1 x1 + c2 x21 + . . . + cn−1 xn−1
= y1

1


n−1
2
c0 + c1 x2 + c2 x2 + . . . + cn−1 x2 = y2

.......................................



c0 + c1 xn + c2 x2n + . . . + cn−1 xn−1
= yn ,
n
w którym niewiadomymi są współczynniki wielomianu c0 , c1 , c2 , . . . , cn−1 .
Następnie rozwiązujemy ten układ równań. Wyznacznik główny jest postaci
1 x1 x21 . . . x1n−1
1 x2 x22 . . . x2n−1
.....................
1 xn x2n . . . xn−1
n
i nosi nazwę wyznacznika Vandermonde’a
3