Wykres funkcji Y=f(x) Wartości skorelowane ?

Problemy i pytania z poprzedniego
wykładu:
1. Jaka jest niepewność wyznaczenia
współczynników aˆ0 , aˆ1 ?
2. Czy i jak można ocenić, jak dobrze prosta
ta pasuje do danych pomiarowych?
1
Odp. na pytanie 2.:
W jaki sposób ocenić, dopasowanie prostej, otrzymanej
w metodzie regresji liniowej, do wyników pomiarów?
Opowiedź: obliczyć niepewności współczynników funkcji.
Jaka jest słuszność hipotezy o liniowej zależności dwóch
mierzonych wielkości (wartości funkcji od wartości argumentu)?
Opowiedź: obliczyć wartość współczynnika korelacji liniowej ry,t
N
∑ ( yi − y )(ti − t )
ry ,t =
i =0
1
 N ( y − y ) 2 ⋅ N (t − t ) 2  2
∑ i
∑ i

 i =0
i =0

1 N
1 N
y=
t=
∑ yi
∑ ti
N + 1 i =0
N + 1 i =0
2
Wykres funkcji Y=f(x)
Wartości Y
5
y = -0,002x + 3,821
4
3
2
1
0
0
5
10
15
20
25
Wartości skorelowane ?
Wartości Y
1,0
0,8
0,6
0,4
0,2
0,0
0
10
20
30
40
50
60
-0,2
-0,4
4
Jeżeli ry,t jest bliskie 1, to punkty są rozłożone wzdłuż
pewnej prostej.
Co zrobić, jeśli współczynnik korelacji liniowej osiąga
wartości pośrednie?
Korzystamy wtedy z oceny prawdopodobieństwa
uzyskania (na podstawie N pomiarów) skorelowanych
zmiennych y i t współczynnika r> ry,t (patrz tabela 1).
5
ry,t
Tabela 1.
0,1 0,2 0,3 0,4 0,5 0,6 0,7 0,8 0,9 1,0
0
N
PN %
3
0
6
13
19
26
33
41
51
59
71
100
99
100
6
0
15
30
44
57
69
79
12
94
10
0
22
42
60
75
86
93
2
99,5
20
0
33
60
80
92
98
50
0
51
84
97
99,6
100
99,5 0,1
100
100
Jeżeli PN jest dostatecznie duże, to jest bardzo
prawdopodobne, że zmienne y-t są skorelowane.
6
Wykład 12.
Metoda najmniejszych kwadratów
The Least-Squares Method (LSM)
• Siegmund Brandt: Analiza danych. PWN,
Warszawa 1998r
• Roman Nowak: Statystyka dla fizyków.
PWN, Warszawa 2002r
• Janusz Piotrowski: Procedury pomiarowe
i estymacja sygnałów, Politechnika Śląska,
Gliwice 1994
7
Metoda regresji a MNK
1. Inne formułowanie celu i znanej informacji:
2. Cel - aproksymacja wyników pomiarów
podanych w postaci numerycznej do postaci
analitycznej.
3. Model matematyczny estymatora dobiera się
arbitralnie z dokładnością do klasy funkcji,
a procedurę estymacji prowadzi się tak długo,
aż wyniki będą zadowalające.
8
4. Miarą jakości estymacji jest zwykle błąd
średniokwadratowy, zwany też błędem
resztowym.
5. Formalnie nie czyni się żadnych założeń
o wariancji składnika losowego (w MR jest ona
jednakowa dla wszystkich wyników), a także
o jego rozkładzie prawdopodobieństwa (w MR
zakładaliśmy rozkład normalny).
9
Recepta (prawie definicja) wprowadzona w roku
1805-1806 przez Adriena M. Legendre’a (17521833) i Carla F. Gaussa (1777-1855)
• Wynik yi kolejnego pomiaru można uważać za
sumę wielkości x (nieznanej) oraz błędu ξi
yi = x + ξ i
• Dobieramy następnie tak wielkości ξi , aby suma
kwadratów błędów ξi była najmniejsza
∑ ξ i2 = ∑ ( x − yi ) 2 = min
i
i
10
Uwaga 1.:
Powyższy przepis można uzyskać stosując metodę
największej wiarogodności, gdyż
ln L = ∑ ln pi (ξ i ) = max ⇔ ∑ ξ i2 → min
i
Uwaga 2.:
Metoda NK daje często najlepsze rezultaty w
porównaniu z innymi metodami i dlatego jest
najczęściej stosowaną w praktyce metodą
statystyczną .
11
Inne sformułowanie
• MNK opiera się na stwierdzeniu, że jeżeli suma
kwadratów różnic między rzędnymi punktów
wyznaczonych z pomiarów i rzędnymi
odpowiadających im punktów leżących na
hipotetycznej krzywej osiąga minimum, to taka
krzywa jest najlepiej dopasowana do wyników
pomiarów
2
∑ ( yˆ i − yi ) = min
i
Stąd konieczność iteracji i wyboru tzw. funkcji ortogonalnych,
którymi aproksymuje się punkty pomiarowe.
12
Aproksymacja metodą NK
• Mamy dany zbiór punktów pomiarowych, o których wiemy, że
są wartościami znanej funkcji f(x) w przedziale [a,b]. Chcemy tą
funkcję aproksymować (przybliżyć) inną funkcją φ(x). Jeżeli
wartość całki b
M = ∫ [ f ( x) − ϕ ( x)]2 dx = min
a
ma wartość najmniejszą, to jest to aproksymacja metodą
najmniejszych kwadratów
•Niech funkcja aproksymująca będzie dana w postaci kombinacji
liniowej pewnych określonych funkcji
(*)
φ(x)= a0 φ0(x)+a1 φ1(x)+ …+ aq φq(x).
•Żądając, by pochodne cząstkowe całki M względem współczynników
a0,a1 … aq określających funkcję φ(x) były równe 0 otrzymamy układ
równań liniowych pozwalający znaleźć najlepsze ich wartości (we
wspomnianym sensie)
13
b
∂M q b
= ∑ ai ∫ ϕi ( x)ϕ k ( x) dx − ∫ f ( x)ϕ k ( x) dx = 0
∂ak i =0 a
a
(**)
k = 0, 1, 2, ... q
Gdy funkcje φi(x) są ortogonalne w przedziale [a,b], to ten układ
równań upraszcza się do postaci
b
b
ak ∫ ϕi ( x)ϕ i ( x )dx = ∫ f ( x)ϕ k ( x )dx
a
a
Patrz znane wzory na współczynniki rozwinięcia funkcji okresowej
f(x) w szereg trygonometryczny Fouriera
1
2
ϕ ( x) = a0 + a1 cos ωx + a2 cos 2ωx + ... + aq cos qωx +
+ b1 sin ωx + b2 sin 2ωx + ... + bq sin qωx
ak =
2T
2T
∫ f ( x) cos kωx dx, bk = ∫ f ( x) sin kωx dx
T0
T0
14
Przykład 1.
• Niech funkcja f(x)=x2. W przedziale [0,1] chcemy ją aproksymować
funkcją liniową postaci φ(x)=a0+a1x .
• Funkcja (*) przyjmuje więc postać φ(x)= a0 φ0(x)+a1 φ1(x), gdzie
φ0(x)=1, a φ1(x)=x, (funkcje te nie są ortogonalne!).
• Z zależności (**) otrzymujemy układ dwóch równań
b
∂M 1 b
= ∑ ai ∫ ϕi ( x )ϕ 0 ( x ) dx − ∫ f ( x )ϕ 0 ( x) dx = 0
∂a0 i =0 a
a
b
∂M 1 b
= ∑ ai ∫ ϕ i ( x )ϕ1 ( x ) dx − ∫ f ( x)ϕ1 ( x ) dx = 0
∂a1 i =0 a
a
b
b
a
a
b
a0 ∫ dx + a1 ∫ x dx − ∫ x 2 dx = 0
a
b
b
a
a
b
2
a0 ∫ x dx + a1 ∫ x dx − ∫ x 2 x dx = 0
a
1
1
a0 x 0 + a1
1
a0
15
1
x2
x3
−
=0
2 0 3 0
1
1
x2
x3
x4
+ a1
−
=0
2 0
3 0 4 0
1 1

a0 + a1 2 − 3 = 0

a 1 + a 1 − 1 = 0
 0 2 1 3 4
1

a0 = − ≈ −0,167
6

a1 = 1
ϕ ( x) = −0,167 + x
16
wartość błędu średniokwadratowego/ilość pomiarów
0,012
0,010
0,008
0,006
0,004
0,002
0,000
0
10
20
30
40
50
60
∑ ( yˆ i − yi ) 2
Przy rosnącej ilości pomiarów wzrasta też
wartość błędu średniokwadratowego
(dlaczego). Jednak bardziej miarodajnym
wskaźnikiem jest
i
i
21
Przykład 2.
• W celu wyznaczenia zależności rezystancji
pewnego elementu od temperatury wykonano 11
pomiarów (obserwacji) rezystancji przyrządem o
błędzie granicznym 4Ω dla następujących
wartości temperatur 0, 10, 20, 30 … 100oC.
• Wyznaczyć współczynniki zależności funkcyjnej
R=a0+a1υ oraz ich niepewności.
• Pominąć niepewności wyników pomiaru
temperatury.
22
yi oC 0
10
20
30
40
50
60
70
80
90
100
Ri Ω 48 70
88
109 125 150 170 185 205 224 242
250
200
150
100
50
0
0
20
40
60
80
100
23
Rozwiązanie (MR):
Po podstawieniu do odpowiednich wzorów (jakich?)
otrzymujemy:
R = aˆ 0 + aˆ1υ , aˆ 0 = 49,909 Ω, aˆ1 = 1,940
∆2
u 2 ( R) = gr = 5,173 u ( R) = 2,3 Ω
3
Ω
u (aˆ0 ) = 1,283 Ω u (aˆ1 ) = 0,022 o
C
u (aˆ 0 )
u rel ( aˆ0 ) =
⋅ 100% = 2,57%
aˆ 0
u rel ( aˆ1 ) =
u ( aˆ1 )
⋅100% = 1,13%
aˆ1
Ω
oC
24
250
równanie linii trendu y = 1,94x + 49,909
200
150
100
50
0
0
20
40
60
80
100
25
Ważne!
• W metodzie NK nie znamy dokładności wyniku, gdyż
niewiadomy jest stan odniesienia.
A jak było w metodzie regresji?
• Jak uwzględnić niejednakowe niepewności wyników
pomiarów yi ?
Odpowiedzią na to pytanie jest metoda najmniejszych ważonych
kwadratów (MNWK)
28