Metoda najmn. kwadr. - funkcje nieliniowe Metoda najmniejszych

Metoda najmn. kwadr. - funkcje nieliniowe
■
Metoda najmniejszych kwadratów

Funkcje nieliniowe

Procedura z redukcją kroku iteracji

Przykłady zastosowań
➔
Dopasowanie funkcji wykładniczej
➔
Dopasowanie funkcji Gaussa

Własności metody

Test χ2
➔
Obszary ufności i błędy niesymetryczne

Pomiary zależne
➔
Metoda elementów
➔
Metoda mnożników Lagrange'a
KADD – Metoda najmniejszych kwadratów – funkcje nieliniowe
1
Przypadek nieliniowy
■
W ogólności gdy zależności nie są liniowe, piszemy
f j  x ,= j −h j  x=0, czyli f  x ,=0
■
Sprowadzamy go do przypadku liniowego poprzez
rozwinięcie w szereg Taylora i wzięcie tylko
wyrazów liniowych. Punkt x0=(x10, x20, ..., xr0) wokół
którego dokonujemy rozwinięcia musi być w
praktyce zbliżony do oczekiwanego minimum.
 
f j  x , = f j  x0, 
 
x 1 −x 10
= x− x0 =
x 2 −x 20
⋮
x r −x r0
∂fj
∂ x1
x0
 
a jl =
 
 x 1 − x 10 
∂fj
∂ xl
∂fj
∂ xr
 x r −x r0 
x0
c j = f j  x0 , y=y j −h j  x0 
x0
KADD – Metoda najmniejszych kwadratów – funkcje nieliniowe
2
Przypadek nieliniowy – iteracje
■
Dalej postępujemy analogicznie do p. liniowego:
f j  x0 , = f j  x0 , y−= f j  x0 , y− , f = A c−=0, = A c
■
i mamy warunek minimalizacyjny:
M = c A T G y  c A =min
■
Rozwiązujac go otrzymujemy wynik:

=−A
'  c'
Jest to jednak tylko kolejne przybliżenie. Bierzemy
x 1 =x 0  jako kolejny punkt, wokół którego
dokonujemy rozwinięcia i procedurę powtarzamy.
■ Procedura ta jest usprawiedliwiona tylko, gdy
zależność jest dobrze przybliżana przez pierwsze
pochodne w okolicy punktu xi±Δxi.
−1
T
−1
T
−1
G
=
A
G
A
=
A
'
A
'

■ Δxi wyznaczamy z macierzy: x
y
■
KADD – Metoda najmniejszych kwadratów – funkcje nieliniowe
3
Omówienie przypadku nieliniowego
Procedura wymaga możliwości podania pochodnej
po każdym z parametrów

Różniczkowanie można w ogólności wykonać
numerycznie, jednak wiąże się to z
komplikacjami programistycznymi i
wydłużeniem obliczeń.
■ Funkcja M nie jest nie jest prostą formą
kwadratową nieznanych parametrów, stąd
minimalizacja musi następować iteracyjnie.
■ Zbieżność procedury jest także zależna od wyboru
wielkości początkowej.
■ Procedurę kończymy, gdy wielkość M nie
zmniejsza się w kolejnych krokach.
4
■
KADD – Metoda najmniejszych kwadratów – funkcje nieliniowe
Procedura z redukcją kroku iteracji
■
Często po i-tym kroku nie jest spełnione:

M  xi =M  xi−1M
 xi−1 
■
Wtedy rozważamy wyrażenie:
 , gdzie 0≤s≤1
M  xi−1s 
■
Otrzymujemy zmodyfikowany wzór:
 T G  cs A =

 2
M = cs A 
c
's
A
'

y
■
który różniczkujemy ze względu na s:
 T A ' =2

M ' =2  c 's A ' 
s−1 T A ' T A ' 
■
I otrzymujemy, że M'(s=0)<0 dla dodatnio
określonej macierzy A'TA', czyli krzywizny funkcji
M. W okolicy minimum to powinno być zawsze
prawdziwe. M jest f. ciągłą, więc istnieje λ które:
M '  s0, 0≤s≤
KADD – Metoda najmniejszych kwadratów – funkcje nieliniowe
5
Implementacja redukcji kroku
■
Czyli w przypadku, gdy nie jest spełniona
nierówność:

M  xi =M  xi−1M
 xi−1 
wybieramy dowolną liczbę s taką, że 0<s<1 i
sprawdzamy, czy zachodzi:

M  xi−1s M
 xi−1 
■
Jeśli tak, to przyjmujemy, że
xi = xi−1s 
■
Jeżeli nie, to ponownie przeprowadzamy całą
procedurę, tzn. tym razem czynnik przez który
mnożymy wynosi s2, potem ewentualnie s3 itd.
KADD – Metoda najmniejszych kwadratów – funkcje nieliniowe
6
Dopasowanie eksponenty
■
Próbujemy dopasować do danych funkcję
wykładniczą z ujemnym wykładnikiem:

h j  x=x 1 ⋅exp −x 2 t j
■

czyli poszukiwane parametry to x1 i x2. Dalej:
f j = j −h j  x
■
Elementy macierzy A liczymy analitycznie:
 
 
a j1=
a j2=
∂f
∂ x1
x0
∂f
∂ x2

=−exp −x 02 t j




=−x 01 exp −x 02 t j ⋅−t j =x 01 t j exp −x 02 t j
x0

Zamiast wektora x używamy = x− x0 a c j =y j −h j  x0 
■ Dalej procedura jest analogiczna do przypadku
funkcji liniowej
■
KADD – Metoda najmniejszych kwadratów – funkcje nieliniowe
7
Eksponenta – rysunek
KADD – Metoda najmniejszych kwadratów – funkcje nieliniowe
8
Analiza dopasowania
■
■
Korzystając z macierzy
(A'TA')-1 rysujemy
elipsę kowariancji na
tle mapy χ2
Podobnie możemy
graficznie przedstawić
kolejny kroki procedury
dopasowania
KADD – Metoda najmniejszych kwadratów – funkcje nieliniowe
9
Dopasowanie Gaussa
■
W podobny sposób możemy dopasować krzywą
Gaussa. Formuła ma trzy parametry:
1
h j  x= x 1 ⋅
■
2  x

exp −
3
t j − x 2 2
2 x 32

Pochodne znów liczymy analitycznie:
 
 
 
a j1=
∂f
∂ x1
=−
1
2  x

exp −

t j − x 02 2
=−h j  x0 / x 01
2
03
2 x
3
2
t
−x

2t−x 02 
t−x 02 
02
∂f
1
j
a j2=
=−x 01 ⋅
exp −
=−h j  x0 ⋅
2
2
2
∂ x2 x
2
x
2
x
x
2  x 03
03
03
03
a j3=
x0
∂f
∂ x2

0
=
x0
x 01
2  x
2
03
x 01
2  x

exp −
2
03

exp −

t j −x 02 2
2 x

2
03

t j − x 02 2 t− x 02 2
2 x

−
=
h j  x0 
t−x 02 2
−h j  x0 ⋅
x 303
2
3
03
03
03
KADD – Metoda najmniejszych kwadratów – funkcje nieliniowe
x
x
10
Dopasowanie Gaussa – kroki
KADD – Metoda najmniejszych kwadratów – funkcje nieliniowe
11
Dopasowanie Gaussa – kowariancja
■
■
Rysujemy rzut elipsoidy
kowariancji na
płaszczyznę (x2, x3).
Elipsoida ma 3 wymiary.
Widizmy poszczególne
kroki dopasowania na
tle mapy χ2.
KADD – Metoda najmniejszych kwadratów – funkcje nieliniowe
12
Test χ2 a m. najmniejszych kwadratów
■
Wyniki uzyskane metodą największej
wiarygodności, z której wynika metoda
najmniejszych kwadratów, mają następujące
własności:

Rozwiązanie x jest asymptotycznie nieobciążone
E  xi =x i , i=1, 2 , , r

Jest ono estymatorem o minimalnej wariancji
{
}
 2  xi =E  xi − x i 2 =min
Wielkość M ma rozkład χ2 o n-r st. swobody
■ Jednak jeżeli rozkład błędów nie jest znany (a
więc nie jest Gaussem) to rozwiązanie uzyskane
metodą najmniejszych kwadratów mają mniej
silne własności

KADD – Metoda najmniejszych kwadratów – funkcje nieliniowe
13
Nieznany rozkład błędów
■
Gdy nie znamy rozkładu błędów εj, to x :

Jest nieobciążone

Ze wszystkich estymatorów x będących
liniowymi kombinacjami y, x ma najmniejszą
wariancję

Wartość oczekiwana wielkości M wynosi
{
}
E { M }=E  G y  =n−r
T
czyli odpowiada wielkości oczekiwanej rozkładu
χ2 o liczbie stopni swobody n-r.
■ Wielkość M jest często nazywana χ2 i służy do
oceny jakości dopasowania, choć w ogólności nie
musi pochodzić z rozkładu χ2. Liczba f=n-r jest
liczbą stopni swobody dopasowania.
14
KADD – Metoda najmniejszych kwadratów – funkcje nieliniowe
Analiza wielkości M
■
Gdy błędy mają rozkład normalny, wielkość M
utożsamiamy z χ2 i stosujemy testy wiarygodności
2
M =T G y 1−
n−r 
Zbyt duże M może oznaczać, że:

Założenie, że dane są opisane przez f(x,η) jest
błędne (postać funkcyjna lub niektóre parametry)

Ograniczenie rozwinięcia w szereg Taylora f(x,η)
do pierwszego wyrazu nie wystarcza
 Źle dobrano punkt początkowy dopasowania x
0
 Macierz kowariancji wielkości mierzalnych C jest
y
nieprawdziwa
■ Gdy liczymy M dla wielu różnych zestawów danych,
możemy sprawdzić jego zgodność z rozkładem χ2 15
■
KADD – Metoda najmniejszych kwadratów – funkcje nieliniowe
Obszar ufności
■
Przypomnienie – elipsoida ufności, to krzywa
spełniająca równanie:
−1
g  x= x− x  C x  x− x =const
T
■
Liczymy różnicę między wartością funkcji M w
punkcie x i w minimum dopasowania x :
−1
M  x−M  x = x− x  A G y A x− x = x− x  C x  x− x 
T
T
T
czyli elipsoida ufności odpowiada hiperpowierzchni
na której M ma stałą wartość. W szczególności
elipsoida kowariancji odpowiada krzywej:
M  x−M  x =1 ⇒ M  x=M  x 1
■
Elipsoida ufności odpowiadająca
prawdopodobieństwu W jest hiperpowierzchnią:
M  x=M  x g , gdzie g=W2  f  , gdzie f =n−r
KADD – Metoda najmniejszych kwadratów – funkcje nieliniowe
16
Obszar ufności – równania nieliniowe
Rozważania o obszarze ufności są ściśle
prawdziwe dla równań liniowych i przybliżeniu dla
równań nieliniowych. To przybliżenie jest dobre
gdy funkcja jest prawie liniowa, lub gdy zmiany
parametrów (czyli ich błędy) są małe.
■ Gdy błędy są duże elipsoida kowariancji ma tę
samą interpretację jako granica obszaru ufności,
jednak błędy przestają być symetryczne.
■ Zwróćmy jeszcze uwagę na różnicę w definicjach:
■
2
M =T G y = y−h x0  A T G y  y−h x0  A 1−
n−r 
2
M  x−M  x = x− x T AT G y A x− x = x− x T C −1

x−
x

n−r 

x
1−
■
Obie wartości porównujemy z tymi samymi
kwantylami, jednak są to zupełnie różne zmienne!
KADD – Metoda najmniejszych kwadratów – funkcje nieliniowe
17
Wyznaczenie błędów niesymetrycznych
Gdy elipsoida kowariancji ma skomplikowany
kształt, mamy błędy niesymetryczne:
x i = xi  x i
x i− = xi − x i−
czyli wartości dla których pionowe i poziome linie są
styczne do tej elipsoidy. Formalnie zapisujemy to:
{
}
min { M  x ; xi=x  }−M  x g=0
min M  x ; xi= x i±  =M  x g , lub
i±
3,8cm
2,15cm
2,49cm
■
3,42cm
KADD – Metoda najmniejszych kwadratów – funkcje nieliniowe
18
Pomiary zależne
■
Pomiary nie muszą być całkowicie niezależne. Np.
mierząc 3 kąty w trójkącie musimy uzyskać sumę
równą 180°. Szukamy estymatorów wielkości ηj:
y j = j  j , j=1, 2 , , n
■
{ }
E  j =0
{ }
2
2
E  j = j
Oprócz tego mamy też równania więzów:
f k =0, k=1, 2 , , q
■
Najprostszy przypadek to równania liniowe:
b10 b11 1 b12 2 b1 n n=0
⋮
b q0 b q1 1 b q2 2 b qn n =0
■
lub w notacji macierzowej
B b0 =0
KADD – Metoda najmniejszych kwadratów – funkcje nieliniowe
19
Metoda elementów
■
Rozwiązujemy q równań więzów aby wyeliminować
z równań q z n wielkości η. Pozostałe n-q wielkości αi
(i=1,2,...,n-q) nazywamy elementami. Mogą to być
pierwotne pomiary n lub ich kombinacje liniowe:
 j = f j0  f j1 1  f j2  2  f j , n−q  n−q , j=1, 2 , , n lub =F  f 0
■
■
Rozwiązanie znajdujemy podobnie jak wcześniej:

=
 F Gy F
T

−1
F T G y  y− f 0 
Macierz kowariancji wynosi wtedy:
−1

T
G−1
=
F
Gy F

■

zaś poprawione wyniki pomiarów i ich macierz
kowariancji wynoszą:
−1

T
=F

 f 0 =F F G y F



F T G y  y− f 0  f 0
T
G−1
=
F
G
F



KADD – Metoda najmniejszych kwadratów – funkcje nieliniowe
20
Metoda mnożników Lagrange'a
■
Metoda elementów wymaga wyboru zmiennych α.
Metoda mnożników Lagrange'a podchodzi inaczej
do problemu. Przepiszmy równanie więzów:
B y−B b0 =0
■
Wprowadzamy wektor c i otrzymujemy równanie:
c=B yb0  c−B =0
■
Wprowadzamy wektor mnożników Lagrange'a:

T = 1 2 q
■

i z jego pomocą rozszerzamy funkcję M do L:
L=M 2 T  c−B =T G y 2 T  c−B 
■
Jest to funkcja Lagrange'a. Teraz rozwiązujemy
problem minimalizacji M przy jednoczesnym
spełnieniu równań więzów.
KADD – Metoda najmniejszych kwadratów – funkcje nieliniowe
21
Mnożniki Lagrange'a – rozwiązanie
■
■
Pochodna zupełna funkcji L musi znikać:
dL=2 T G y d 2 T B d =0 ⇔ T G y −T B=0
Przekształcając otrzymujemy rozwiązanie na μ:
T
−1
T
−1
T −1
T G y =T B ⇒ =G−1
B

⇒
c−B
G
B
=0
⇒
=
B
G
B
 c

y
y
y
■
I możemy wyliczyć estymatory błędów pomiarowych
T
−1
T −1
 =G−1
B

B
G
B
 c
y
y
■
oraz najlepszy estymator dla wektora η:
−1
T
−1
T −1
=
 y− = y−G y B  B G y B  c
■
I ostatecznie piszemy macierze kowariancji:
−1
T −1
G−1
=
B
G
B
 ≡G B

y
−1
−1
T
−1
G−1
=G
−G
B
G
B
G

y
y
B
y
KADD – Metoda najmniejszych kwadratów – funkcje nieliniowe
22