Metoda najmniejszych kwadratów Pomiary bezpośrednie o równej

Metoda najmniejszych kwadratów
Pomiary bezpośrednie

o równej dokładności

o różnej dokładności

średnia ważona
■ Pomiary pośrednie
■ Zapis macierzowy
■ Dopasowanie prostej
■ Dopasowanie wielomianu dowolnego stopnia
■ Dopasowanie funkcji nieliniowych
■
KADD – Metoda najmniejszych kwadratów
1
Metoda najmniejszych kwadratów
Metodę tę można przedstawić w skrócie:
■ Wynik kolejnego pomiary y można uważać za
j
sumę wielkości x (nieznanej) oraz błedu
pomiarowego εj:
■
Y j = x j
■
Dobieramy wielkości εj tak, aby suma kwadratów
błędów εj była najmniejsza:
∑j
■
2j =∑ j  x−Y j 2 =min
Jest to najczęściej stosowana metoda
statystyczna. Można wykazać, że wynika ona ze
znacznie bardziej skomplikowanej metody
największej wiarygodności.
KADD – Metoda najmniejszych kwadratów
2
Pomiary bezpośrednie
Wykonujemy n pomiarów nieznanej wielkości x,
obarczonych błędem εj o rozkładzie normalnym:
Y j = x j E {  j }=0 E {2j }= 2
■ Prawdopodobieństwo uzyskania wyniku Yj w
jednym pomiarze wynosi
■
f
■
j

1
dy=
exp −
 2
2
2

dy
Tworzymy logarytmiczną funkcję wiarygodności:
n
1
l=− 2 ∑ j
2
■
Y j − x2
2
Y
−
x
const
j
=1
Zatem warunek maksymalnej wiarygodności to:
n
M =∑ j
n
Y j − x =∑ j
=1
2
2

=min
=1 j
KADD – Metoda najmniejszych kwadratów
3
Estymator wielkości i błędu
■
Najlepszym estymatorem dla x jest wtedy:
1 n
x = y = ∑ j
n
■
=1
Yj
A jego wariancja i błąd to:
2
2
  y = / n
 x = y /  n
W bardziej ogólnym przypadku mamy pomiary
bezpośrednie o różnej dokładności:
Y j = x j E {  j }=0 E {2j }= 2j =1/ g j
■ Metoda największej wiarygodności daje wtedy:
■
n
M=∑ j =1
■
Y j −x2
 2j
n
n
=∑ j =1 g j Y j −x =∑ j =1 g j  j =min
2
2
Składniki sumy są ważone przez odwrotność ich
wariancji
KADD – Metoda najmniejszych kwadratów
4
Pomiary o różnej dokładności
■
Najlepszy estymator dla n x wynosi wtedy
x =
■
n
∑ j =1 g j
Czyli jest średnią ważoną pomiarów. Wariancja
tego estymatora jest dana przez:

2
  x =
■
∑ j=1 g j Y j
n
∑ j=1
1

2
j

−1
=
∑ g 
−1
n
j =1
j
Obliczmy najlepszy estymator błędu pomiarowego:
j =Y j − x
■
Wielkości j / j pochodzą z rozkładu normalnego,
więc suma kwadratów ma rozkład χ2 o n-1
stopniach swobody
2
n
M=∑ j =1

j
j
n
=∑ j =1
Y j − x 2
n
=∑ j =1 g j Y j − x 2
2

KADD – Metodaj najmniejszych kwadratów
5
Średnia ważona - przykład
nr pomiaru
1
2
3
4
5
6
7
8
9
10
Ilość pomiarów
Yj
99
102,3
89,8
105,4
101,2
107,4
95,6
99,4
101,2
97,2
10
sigma_j
1,7
2,2
1,9
2,6
3,5
2,5
3,3
2,7
2,7
1,3
sigma_j^2
2,89
4,84
3,61
6,76
12,25
6,25
10,89
7,29
7,29
1,69
sum(g_j)
sum(x_j g_j)
tilde x
tilde epsilon
g_j
g_j x_j
0,35
34,26
0,21
21,14
0,28
24,88
0,15
15,59
0,08
8,26
0,16
17,18
0,09
8,78
0,14
13,64
0,14
13,88
0,59
57,51
2,18
215,12
98,81
0,46
■
Y_j – tilde x
0,19
3,49
-9,01
6,59
2,39
8,59
-3,21
0,59
2,39
-1,61
e^2 e^2*g_j
0,04
0,01
12,19
2,52
81,15 22,48
43,45
6,43
5,72
0,47
73,81 11,81
10,29
0,95
0,35
0,05
5,72
0,78
2,59
1,53
M
47,02
Przeprowadzając test
χ2 na M widzimy, że
hipotezę należy
odrzucić:
t 0,9 9=14,7
t 0,95 9=16,9
t 0,99 9=21,7
KADD – Metoda najmniejszych kwadratów
6
Przykład – odrzucenie pomiarów
nr pomiaru
1
2
3
4
5
6
7
8
9
10
Yj
99
102,3
sigma_j
1,7
2,2
sigma_j^2
2,89
4,84
g_j
0,35
0,21
g_j x_j
34,26
21,14
Y_j – tilde x
0,19
3,49
105,4
101,2
2,6
3,5
6,76
12,25
0,15
0,08
15,59
8,26
6,59
2,39
43,45
5,72
6,43
0,47
95,6
99,4
101,2
97,2
3,3
2,7
2,7
1,3
0,09
0,14
0,14
0,59
1,74
173,06
99,45
0,57
8,78
13,64
13,88
57,51
-3,21
0,59
2,39
-1,61
10,29
0,35
5,72
2,59
0,95
0,05
0,78
1,53
Ilość pomiarów
10
10,89
7,29
7,29
1,69
sum(g_j)
sum(x_j g_j)
tilde x
tilde epsilon
x
x
e^2 e^2*g_j
0,04
0,01
12,19
2,52
M
■
12,73
Odrzucając pomiary
najbardziej odbiegające
od średniej mamy wynik
spełniający test χ2:
t 0,9 7=12,02
t 0,95 7=14,07
t 0,99 7=18,47
KADD – Metoda najmniejszych kwadratów
7
Pomiary pośrednie
■
Mamy wiele nieznanych wielkości xi (i=1,2,...,r).
Mierzymy nie x ale wielkości od nich liniowo zależne
 j = p j0  p j1 x 1  p j2 x 2  p jr x r
■
co można przepisać jako:
f j = j a j0 a j1 x 1 a j2 x 2 a jr x r =0
■
Definiujemy wektory aj i x:
  
x1
x
x= 2
⋮
xr
a j1
a
a j = j2
⋮
a jr
■
i przepisujemy równanie:
f j = j a j0 a j x=0,
j=1,2 , , n
KADD – Metoda najmniejszych kwadratów
8
Zapis macierzowy
■
Ostatecznie definiujemy:
  
1

= 2
⋮
n
■
a10
a
a 0 = 20
⋮
a n0
a12  a1 r
a 22  a 2 r
a11
a
A= 21
⋮
a n1
a n2  a nr

i układ równań piszemy w postaci macierzowej:
f =a 0  A x=0
■
Ponownie zakładamy, że pomiary są obarczone
błędami εj o rozkładzie normalnym:
y j = x j E {  j }=0 E {2j }= 2j =1/ g j
■
Zmienne y są
niezależne, więc
C =
macierze kowariancji
i wag są diagonalne

 12
 22
 
−1

C =

2
n
KADD – Metoda najmniejszych kwadratów
g1
g2
gn
9

Funkcja wiarygodności
■
Wprowadzamy wektory pomiarów i błędów:
y= , ⇒ y−a 0  A x=0
■
Rozwiązujemy ten układ równań ze względu na x:
f  y j =
■
1
j
2 

exp −
 y j − j 2
2
2 j
 
dla n pomiarów mamy funkcję wiarygodności:
n
L=∏ j
=1
f  y j =2 −1/ 2 n
∏
1
l=ln L=− n ln 2 ln
2
■

2

1
=
exp − 2
 j 2 
2 j

n
j
∏

−1

j exp −
=1
n
j

−1

j −
=1
1
∑
2 j
1
∑
2 j
2j
M =∑ j
=1

2
j
 y j aTj od xa j0 2
n
=∑ j
=1

2
j
=1
2j
n
=1
która osiąga wartość minimalną gdy:
n
2j
n
 2j

 2j
=min
KADD – Metoda najmniejszych kwadratów
10
Przypadek liniowy
■
Zależność tę piszemy skrótowo:
M =T G y =min , lub M =c A x T G y c A x =min , gdzie c= ya 0
■
Macierz Gy jest symetryczna i dodatnio określona,
stąd można dokonać rozkładu
Cholesky'ego:
T
G y =H H
■
a w przypadku pomiarów nieskorelowanych:

H =H T =
■
1/ 1
1/ 2
1/ n
i ostatecznie możemy napisać:

M = A' xc ' 2 =min , gdzie c ' =H c , A ' =H A
■
Rozwiązanie zapisujemy w postaci:
x =−A'
c'
KADD – Metoda najmniejszych kwadratów
11
Poszukiwanie rozwiązania
■
Zwykle posługujemy się równoważną formą:
x =− A' T A ' −1 A ' T c ' , lub x =− AT G y A−1 AT G y c
■
Związek między y i x jest liniowy, stąd ma
zastosowanie prawo propagacji błędów:
T
−1
−1
T
−1
T
T
C x =G−1
=[
A
G
A
]G
[
A
G
A
A
G
]
x
y
y
y
y
■
Mamy symetryczne macierze Gy, Gy-1 i (ATGyA) więc
możemy uprościć:
T
−1
T
−1
G−1
=
A
G
A
=
A
'
A
'

x
y
czyli mamy prostą macierz kowariancji x.
Pierwiastki kwadratowe z elementów diagonalnych
interpretujemy jako błędy pomiarowe.
■ Estymator  i “poprawione” pomiary to:
■
 = A x c=−A AT G y A−1 AT G y cc
T
−1
−1
−1
T
=
AT G
c−a
oraz
G
=
AG
A
 y−  = A A G y A KADD
y
0,
x

– Metoda
najmniejszych
kwadratów
12
Dopasowanie prostej
■
Dopasowujemy prostą do zbioru pomiarów yj dla
różnych wartości zmiennej kontrolowanej t. Czyli:
 j = y j − j = x 1  x 2 t j
■
T
− x 1 − x 2 t =0
■
x = x 1 x 2 
Dane wejściowe:
j
0
1
2
3
■
t_j
0
1
2
3
y_j
1,4
1,5
3,7
4,1
S_j
0,5
0,2
1
0,5
Wynik:
x 1 =0.636±0.30
x 2 =1.066±0.22
KADD – Metoda najmniejszych kwadratów
13
Dopasowanie wielomianu
■
Rozważmy bardziej ogólny problem:
 j =h x , t j 
czyli dopasowaniu krzywej na płaszczyźnie (t,ε).
■ W praktyce pomiary yj są zwykle nieskorelowane.
Wtedy macierz G jest diagonalna i można
zastosować rozkład Cholesky'ego. Wtedy:
■
A ' jk = A jk / j
■
c ' j =c / j
Uogólniając mamy wielomian stopnia n:
 j =h j =x 1  x 2 t j  x 3 t 2j x r t r−1
j
a 0 j =0
A jl =−t l−1
j
 
0
0
a0 =
⋮
0
1 t1
1 t2
A=−
⋮
1 tn
 t
 t
r −1
1
r −1
2
 t
r −1
n
KADD – Metoda najmniejszych kwadratów

14
Dopasowanie wielomianu – przykład
■
Dopasowujemy
wielomian dowolnego
stopnia do pomiarów:
j 1 2 3 4 5 6 7 8 9 10
t_j -0,9 -0,7 -0,5 -0,3 -0,1 0,1 0,3 0,5 0,7 0,9
y_j 81 50 35 27 26 60 106 189 318 520
■
Otrzymujemy wynik:
r
1
2
3
4
5
6
~x_1
57,85
82,66
47,27
37,95
39,62
39,88
~x_2
~x_3
~x_4
99,1
185,96
126,55
119,1
121,38
273,61
312,02 137,59
276,49 151,91
273,19 136,57
KADD – Metoda najmniejszych kwadratów
~x_5
~x_6
f
9
8
7
6
52,6
5
56,9 16,73 4
M
833,55
585,45
36,41
2,85
1,69
1,66
15
Interpretacja dopasowania
W wyniku dopasowania danych wielomianami
różnego stopnia dostaliśmy wiele różnych wyników

Które z dopasowań jest dobre?

Jaki jest najmniejszy stopień wielomianu, który
daje dobre dopasowanie?
■ Odpowiedź
833,55
2
2
0,99 9=21,66 ∫

0,99999
9
0
2
daje test χ .
2
0,99
8=20,09 585,45 2
80,999999
∫
■ Najlepsze dopasowanie
0
2
0,99
7=18,47 36,41 2
daje wielomian stopnia 4 2
7=0,99993
∫
0
0,99 6=16,81
■ Najmniejszy stopień,
2,85
2
2

=0,173
0,99 5=15,08 ∫0
6
którego nie możemy
1,69
2
2
0,99 4=13,27 ∫0 5
=0,110
odrzucić to 3
■
1,66
∫
KADD – Metoda najmniejszych kwadratów0
2
4
=0,202
16
Przypadek nieliniowy
■
W ogólności gdy zależności nie są liniowe, piszemy
f j  x ,= j −h j  x=0, czyli f  x ,=0
■
Sprowadzamy go do przypadku liniowego poprzez
rozwinięcie w szereg Taylora i wzięcie tylko
wyrazów liniowych. Punkt x0=(x10, x20, ..., xr0) wokół
którego dokonujemy rozwinięcia musi być w
praktyce zbliżony do oczekiwanego minimum.
 
f j  x , = f j  x0, 
 
x 1 −x 10
= x− x0 =
x 2 −x 20
⋮
x r −x r0
∂fj
∂ x1
x0
 
a jl =
 
 x 1 − x 10 
∂fj
∂ xl
∂fj
∂ xr
 x r −x r0 
x0
c j = f j  x0 , y=y j −h j  x0 
x0
KADD – Metoda najmniejszych kwadratów
17
Przypadek nieliniowy – iteracje
■
Dalej postępujemy analogicznie do p. liniowego:
f j  x0 , = f j  x0 , y−= f j  x0 , y− , f = A c−=0, = A c
■
i mamy warunek minimalizacyjny:
M = c A T G y  c A =min
■
Rozwiązujac go otrzymujemy wynik:

=−A
'  c'
Jest to jednak tylko kolejne przybliżenie. Bierzemy
x 1 =x 0  jako kolejny punkt, wokół którego
dokonujemy rozwinięcia i procedurę powtarzamy.
■ Procedura ta jest usprawiedliwiona tylko, gdy
zależność jest dobrze przybliżana przez pierwsze
pochodne w okolicy punktu xi±Δxi.
−1
T
−1
T
−1
G
=
A
G
A
=
A
'
A
'

■ Δxi wyznaczamy z macierzy: x
y
■
KADD – Metoda najmniejszych kwadratów
18