Testowanie jakości dopasowania. Część 2.

Testowanie jakości dopasowania. Część 2.
1
Testowanie jakości dopasowania. Część 2.
Współczynnik korelacji wielokrotnej
Pojęcie współczynnika korelacji, który opisuje zależność między dwoma
zmiennymi można rozszerzyć tak, żeby uwzględnić wielokrotne korelacje
między zachodzące jednocześnie między wieloma zmiennych.
Poprzednio otrzymaliśmy wzór, który wyraża współczynnik korelacji
przez wariancje i kowariancję oraz współczynnik kierunkowy zależności
liniowej obliczone dla zestawu danych pomiarowych
r =
2
s xy2
s x2 s 2y
=a
s xy
s y2
.
Przez analogię zdefiniujemy współczynnik korelacji wielokrotnej (wielowymiarowej) R
 s jy  m  s j 
R ≡ ∑  a j 2  = ∑  a j r jy 
s y  j =0  s y 
j =0 
Współczynnik korelacji (liniowej) r jy jest przydatny do testowania czy
2
m
konkretna zmienna powinna być uwzględniona w modelu dopasowywanym do danych. Współczynnik korelacji wielokrotnej R charakteryzuje
dopasowanie całego modelu (pełnej funkcji) do danych i można go używać do porównywania różnych dopasowywanych modeli (postaci funkcji).
Test F
Zmienna F (Fishera - Snedecora) jest obliczana dla prób (zestawów danych) dwóch zmiennych losowych i jest równa
s12 σ 12
F= 2 2.
s2 σ 2
gdzie: s1 jest estymatorem wariancji pierwszej zmiennej σ 1 , a s 2 esty2
2
2
matorem drugiej wariancji σ 2 .
Zmienna F ma następujący rozkład gęstości prawdopodobieństwa:
2
Γ[(ν 1 + ν 2 ) 2]  ν 1 
 
p F ( x; ν 1 ,ν 2 ) =
Γ(ν 1 2 ) Γ(ν 2 2 )  ν 2 
ν1 2
x (ν 1 − 2 ) 2
(1 + xν 1 ν 2 )(ν1 +ν 2 ) 2
Testowanie jakości dopasowania. Część 2.
2
gdzie x > 0 a ν 1 i ν 2 są liczbami stopni swobody odpowiadającymi s1
2
2
i s2 .
Jak wynika z definicji zmiennej F również stosunek zredukowanych
2
zmiennych χ ν ma ten sam rozkład:
χ12 ν 1
F= 2
χ2 ν 2
Wykorzystując zmienną F do testowania wartości stosunku χ ν korzy2
stamy z tablic, w których podaje się wartości graniczne Fα
∞
∫p
α=
F
( x; ν 1 ,ν 2 ) dx ,
Fα
których przekroczenie może zdarzyć się z określonym prawdopodobieństwem α (zwykle 0,05 i 0,01).
Jeżeli uzyskana wartość stosunku F ≥ Fα jest nie mniejsza od granicznej, czyli jest w tym przypadku bardzo mało prawdopodobna (na przykład <0,05 lub <0,01) to mamy prawo przypuszczać, że różnica między
2
wartościami χ ν nie jest przypadkowa, że jest statystycznie istotna, i ich
macierzyste rozkłady prawdopodobieństwa (wariancje) są różne.
Jeżeli wartość F < Fα , to nie można wykluczyć, że obserwowana różnica jest przypadkowa.
Ze względu na konstrukcję tablic wartości granicznych rozkładu zmiennej F przy jej obliczaniu do licznika wstawiamy większą wartość.
Rozważmy sumę kwadratów odchyleń S y2 związaną z zakresem danych
(rozrzutem względem ich średniej), pomijając dla uproszczenia czynniki
wagowe
n
S = ∑ ( yi − y ) .
2
y
2
i =1
2
S y2 jest statystyką o rozkładzie χ z n − 1 stopniami swobody. Załóżmy
dalej, że
m
y ( xi ) = ∑ a j f j ( x i )
j =0
Testowanie jakości dopasowania. Część 2.
3
oraz oznaczmy
1 n
f j = ∑ f j ( xi )
n i =1
Sumę S y2 możemy przekształcić, drogą odpowiednich podstawień i
przekształceń (wykorzystując przy tym fakt, że parametry dopasowania
spełniają odpowiednie równania), do następującej postaci:
n
S y2 = ∑ ( yi − y )
2
i =1
m
m

 n 

= ∑ ( yi − y ) ∑ a j ( f j ( xi ) − f j ( xi ) ) + ∑  yi − ∑ a j f j ( xi ) 
i =1 
j =0
j =0

 i =1 
n
lub krócej
m
m

 n 

( yi − y ) = ∑ ( yi − y ) ∑ a j ( f j − f j ) + ∑  yi − ∑ a j f j 
∑
i =1
i =1 
j =0
j =0
 i =1 

i po zmianie kolejności sumowania
n
m
 n
 n
2
( yi − y ) = ∑ a j ∑ [( yi − y ) ( f j − f j )] + ∑ [yi − y ( xi )]2
∑
 i =1
i =1
j =0 
i =1
n
2
n
2
W statystyce udowadnia się twierdzenie dotyczące właściwości
2
2
2
zmiennych χ , które mówi, że suma dwóch zmiennych χ1 i χ 2 o ν 1 i
ν 2 stopniach swobody jest też zmienną χ 2 o ν = ν 1 + ν 2 stopniach
swobody.
Jeżeli przyjrzymy się rozkładowi na składniki sumy S y2 , która jest
zmienną χ o n − 1 stopniach swobody, to zauważymy, że
2
∑ [y − y ( x ) ]
2
i
i
jest też zmienną χ , ale o n − m − 1 stopniach swobody.
2
Zatem pierwszy składnik też musi być zmienną χ o m stopniach
2
swobody.
Wróćmy teraz do definicji współczynnika korelacji wielokrotnej R :
∑ (a s )
m
 s 
R 2 ≡ ∑  a j jy2  =
sy 
j =0 
m
j
j =0
s y2
jy
2
Testowanie jakości dopasowania. Część 2.
4
Przez analogię możemy przedstawić pierwszy składnik S y2 jako

∑
a j
j =0 
m
Zatem
n

2 2
2
[( yi − y ) ( f j − f j )] = R S y = R ∑ ( yi − y )2
∑

i =1
i =1
n
= R 2 ∑ [yi − y ( xi )] + (1 − R 2 )∑ [yi − y ( xi )]
gdzie oba składniki po prawej stronie są w dalszym ciągu zmiennymi
2
o rozkładach χ z n − m − 1 i m stopniami swobody.
∑ [y − y ( x ) ]
2
i
2
2
i
Sumę S y2 (która jest miarą rozrzutu wartości zmiennej zależnej) nazywa
się często początkową sumą kwadratów, a
∑ [y − y ( x ) ]
2
i
i
resztkową
sumą kwadratów (pozostającą po dopasowaniu funkcji y (x) ). W tym
kontekście R 2 ∑ [yi − y ( xi )]2 jest częścią początkowego rozrzutu
usuniętą przez dopasowania. Dopasowanie (w sensie użytego modelu)
jest tym lepsze im większą część początkowego rozrzutu usuwa. Do
sprawdzenia czy pozostały rozrzut jest istotnie mniejszy od usuniętego,
tzn. czy dopasowanie ma w ogóle sens możemy wykorzystać statystykę
F definiując nową wielkość
R2 m
FR =
(1 − R 2 ) (n − m − 1)
Testowanie wartości FR jest w istocie testem, że wszystkie
współczynniki a j są różne od zera, czyli są znaczące w
dopasowywanym modelu. Jeżeli wartość FR nie przekracza granicznej
wartości statystyki F , to oznacza to, że parametrów modelu jest za
dużo (przynajmniej jeden ze współczynników powinien wynosić zero).
Testowanie zasadności dodatkowego parametru modelu
Jeżeli dopasujemy do n danych punktów funkcję o m parametrach, to
2
pozostała suma kwadratów (reszt dopasowania) χ (m) ma rozkład o
n − m stopniach swobody. Po zwiększeniu liczby parametrów modelu
(np. dodając kolejny składnik wielomianu) otrzymujemy sumę kwadratów
2
reszt dopasowania χ (m + 1) o n − m − 1 stopniach swobody. Różnica
χ 2 (m) – χ 2 (m + 1) ma zatem rozkład χ 2 o 1 stopniu swobody. Do
sprawdzenia czy zmniejszenie sumy kwadratów w wyniku dodania no-
Testowanie jakości dopasowania. Część 2.
5
wego parametru jest statystycznie istotne możemy wykorzystać test F .
Wielkość
χ 2 (m) − χ 2 (m + 1)
∆χ 2
Fχ = 2
=
χ (m + 1) (n − m − 1) χ ν2
ma rozkład F z ν 1 = 1 i ν 2 = n − m − 1 .
Stosunek Fχ mierzy jak bardzo wprowadzenie nowego parametru
poprawiło wartość zredukowanej χν i będzie mały, jeżeli zmiana nie jest
2
istotna. Podobnie jak w przypadku wielkości FR , testujemy czy nowy
parametr jest równy zero. Jeżeli wartość Fχ przekracza graniczną,
wprowadzenie nowego parametru możemy uznać za uzasadnione.
Testowanie jakości dopasowania. Część 2.
1
Przykład
i
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
xi
0,00
0,20
0,40
0,60
0,80
1,00
1,20
1,40
1,60
1,80
2,00
2,20
2,40
2,60
2,80
3,00
3,20
3,40
3,60
3,80
4,00
4,20
4,40
4,60
4,80
yi
1,143
1,241
1,442
1,504
1,725
1,614
1,389
1,217
1,077
0,754
0,450
0,067
-0,351
-0,278
-0,439
-0,757
-0,840
-0,401
-0,606
-0,585
0,430
0,192
0,530
1,403
2,382
u(yi)
0,2
0,2
0,2
0,2
0,2
0,2
0,2
0,2
0,2
0,2
0,2
0,2
0,2
0,2
0,2
0,2
0,2
0,2
0,2
0,2
0,2
0,2
0,2
0,2
0,2
wi
25
25
25
25
25
25
25
25
25
25
25
25
25
25
25
25
25
25
25
25
25
25
25
25
25
wi(yi-ysr)2
8,14
11,18
18,93
21,73
33,25
27,12
16,68
10,39
6,37
0,83
0,38
6,37
21,30
18,05
25,58
44,15
49,83
23,68
34,71
33,45
0,51
3,60
0,04
17,24
81,86
Przykład do „Testowanie jakości dopasowania. Część 2.”
1
Przykład do „Testowanie jakości dopasowania. Część 2.”
Model
Y ( X ) = A0 + A1 X + A2 X 2 + A3 X 3 + A4 X 4 + !
A0 = 1,000
A1 = 1,000
A2 = -0,500
A3 = -0,167
A4 = 0,042
A5 = 8,33⋅10-3
A6 = -1,39⋅10-3
A7 = -1,98⋅10-4
∆Y = N (0, 0,2)
Wygenerowane dane
i
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
xi
0,00
0,20
0,40
0,60
0,80
1,00
1,20
1,40
1,60
1,80
2,00
2,20
2,40
2,60
2,80
3,00
3,20
3,40
3,60
3,80
4,00
4,20
4,40
4,60
4,80
yi
1,143
1,241
1,442
1,504
1,725
1,614
1,389
1,217
1,077
0,754
0,450
0,067
-0,351
-0,278
-0,439
-0,757
-0,840
-0,401
-0,606
-0,585
0,430
0,192
0,530
1,403
2,382
ysr = 0,572
u(yi)
0,2
0,2
0,2
0,2
0,2
0,2
0,2
0,2
0,2
0,2
0,2
0,2
0,2
0,2
0,2
0,2
0,2
0,2
0,2
0,2
0,2
0,2
0,2
0,2
0,2
wi
25
25
25
25
25
25
25
25
25
25
25
25
25
25
25
25
25
25
25
25
25
25
25
25
25
wi(yi-ysr)2
8,14
11,18
18,93
21,73
33,25
27,12
16,68
10,39
6,37
0,83
0,38
6,37
21,30
18,05
25,58
44,15
49,83
23,68
34,71
33,45
0,51
3,60
0,04
17,24
81,86
Σ = 515,36
1
Przykład do „Testowanie jakości dopasowania. Część 2.”
2
3,0
2,5
2,0
1,5
1,0
0,5
0,0
0
1
2
3
4
5
-0,5
-1,0
-1,5
2
Szablon wykładu
m=1
y(xi)
0,572
0,572
0,572
0,572
0,572
0,572
0,572
0,572
0,572
0,572
0,572
0,572
0,572
0,572
0,572
0,572
0,572
0,572
0,572
0,572
0,572
0,572
0,572
0,572
0,572
wi(yi-y(xi))2
8,140
11,180
18,929
21,729
33,250
27,121
16,676
10,388
6,365
0,830
0,375
6,370
21,302
18,048
25,583
44,155
49,827
23,677
34,708
33,453
0,506
3,605
0,044
17,242
81,858
Σ = 515,3618
3
3,0
2,5
2,0
1,5
1,0
0,5
0,0
0
1
1
2
2
3
3
4
4
5
5
-0,5
-1,0
-1,5
χ2 = 515,36
3
Szablon wykładu
m=2
y(xi)
wi(yi-y(xi))2
1,167
0,014
1,117
0,382
1,068
3,509
1,018
5,913
0,969
14,320
0,919
12,065
0,869
6,745
0,820
3,937
0,770
2,347
0,721
0,028
0,671
1,228
0,622
7,682
0,572
21,302
0,523
16,004
0,473
20,816
0,423
34,829
0,374
36,818
0,324
13,155
0,275
19,402
0,225
16,398
0,176
1,615
0,126
0,110
0,077
5,139
0,027
47,303
-0,022
144,497
Σ = 435,5589
4
3,0
2,5
2,0
1,5
1,0
0,5
0,0
0
1
1
2
2
3
3
4
4
5
5
-0,5
-1,0
-1,5
χ2
= 18,937
χ = 435,56 ∆χ = 79,80
n−m
2
2
Fχ = 4,21 P( F ≥ Fχ ) = 0,0516
4
Szablon wykładu
m=3
y(xi)
2,293
1,962
1,655
1,373
1,115
0,882
0,674
0,489
0,330
0,194
0,084
-0,003
-0,064
-0,102
-0,115
-0,103
-0,067
-0,006
0,079
0,189
0,323
0,481
0,664
0,872
1,104
wi(yi-y(xi))2
33,072
12,995
1,133
0,431
9,301
13,374
12,790
13,226
13,952
7,839
3,347
0,122
2,053
0,773
2,640
10,692
14,934
3,899
11,734
14,945
0,288
2,084
0,450
7,047
40,831
5
3,0
2,5
2,0
1,5
1,0
0,5
0,0
0
1
2
2
3
3
4
4
5
5
-1,0
-1,5
χ2
χ = 233,95 ∆χ = 201,61
= 10,634
n−m
2
Σ = 233,9511
1
-0,5
2
Fχ = 18,96
P( F ≥ Fχ ) = 0,0003
5
Szablon wykładu
m=4
y(xi)
1,073
1,352
1,523
1,597
1,588
1,507
1,366
1,177
0,952
0,703
0,443
0,183
-0,064
-0,287
-0,474
-0,612
-0,689
-0,693
-0,613
-0,436
-0,150
0,257
0,797
1,482
2,324
Σ=
wi(yi-y(xi))2
0,122
0,308
0,161
0,216
0,471
0,286
0,013
0,040
0,390
0,065
0,001
0,335
2,053
0,002
0,030
0,527
0,568
2,136
0,001
0,552
8,408
0,104
1,779
0,156
0,084
18,81033
6
3,0
2,5
2,0
1,5
1,0
0,5
0,0
0
1
1
2
2
3
3
4
4
5
5
-0,5
-1,0
-1,5
χ2 = 18,810 ∆χ2 = 215,14
χ2
= 0,896
n−m
Fχ = 240,18
P( F ≥ Fχ ) = 5,72 ⋅ 10 −13
6
Szablon wykładu
m=5
y(xi)
1,004
1,340
1,546
1,638
1,633
1,546
1,393
1,189
0,948
0,685
0,414
0,146
-0,103
-0,324
-0,503
-0,630
-0,692
-0,681
-0,586
-0,397
-0,105
0,298
0,820
1,470
2,255
Σ=
wi(yi-y(xi))2
0,484
0,247
0,270
0,448
0,214
0,115
0,000
0,020
0,413
0,119
0,032
0,156
1,531
0,054
0,101
0,405
0,542
1,962
0,010
0,881
7,160
0,278
2,108
0,114
0,404
18,06697
7
3,0
2,5
2,0
1,5
1,0
0,5
0,0
0
1
1
2
2
3
3
4
4
5
5
-0,5
-1,0
-1,5
χ2
χ = 18,067 ∆χ = 0,74
= 0,903
n−m
2
2
Fχ = 0,82
P( F ≥ Fχ ) = 0,375
7