Metoda najmniejszych kwadratów

Klasyczna metoda najmniejszych
kwadratów (KMK)
Metoda KMK
Wiele zagadnień ekonomicznych rozwiązuje się przy użyciu tzw. klasycznej metody najmniejszych
kwadratów (KMNK). Twórcą tej metody jest K.F. Gauss.
Wyprowadzenie wzorów dla klasycznej metody najmniejszych kwadratów
Załóżmy, że mamy pewne zmierzone wartości (xi, yi) dla i=1,2, … n dwóch różnych wielkości
ekonomicznych, o których wiemy, że są związane zależnością liniową y = a*x + b.
Zakładamy, że najlepszym oszacowaniem współczynników a i b funkcji liniowej są takie wartości
dla których suma kwadratów odległości pomiędzy zmierzonymi wartościami i znalezioną prostą
(określoną przez te współczynniki) będzie jak najmniejsza. Minimalizujemy zatem funkcję dwóch
zmiennych:
n
f (a, b) = ∑ ( y i − a * xi + b) 2 → min
(1)
i =1
Podane zagadnienie sprowadza się do znalezienia minimum funkcji dwóch zmiennych określonej
wzorem (1). Aby znaleźć minimum funkcji f należy obliczyć miejsca zerowe pochodnych
oraz
∂f
= 0 a następnie rozwiązać układ równań:
∂b
 ∂f
 ∂a = 0
 ∂f
 =0
 ∂b
gdzie:
n
∂f
= ∑ 2 * ( y i − a * x i + b) * x i = 0
∂a i =1
(*)
n
∂f
= ∑ 2 * ( y i − a * xi + b) = 0
∂b i =1
(**)
Z równania (**) otrzymujemy b =
a n
1 n
xi − ∑ y i
∑
n i =1
n i =1
∂f
=0
∂a
Wstawiając wyznaczoną wartość b do pierwszego równania (*) otrzymujemy
∑x
i
1
a

2
* y i − a * ∑ x i +  ∑ xi − ∑ y i  * ∑ xi = 0
n
n

a stąd
 (∑ xi )2

∑ xi * ∑ y i = 0
2
− ∑ xi  + ∑ xi y i −
a *
 n

n


i po przekształceniu
∑x ∑y
i
n
(∑ xi )2
a=
n
i
− ∑ xi y i
− ∑ xi
(***)
2
Teraz, mając wyznaczoną wartość a, z łatwością wyznaczamy wartość b, korzystając z
wyznaczonego wcześniej wzoru b =
a
1
xi − ∑ y i co po podstawieniu za a (***) daje wzór:
∑
n
n
∑x ∑y
i
b=
n
(∑ xi )2
n
i
− ∑ xi y i
− ∑ xi
Opracowanie dokumentu
FALCOM®
ul. Chocianowicka 158A
93-460 Łódź
tel. (042) 682-00-20, tel./fax (042) 682-00-20
REGON: 470863381
http://www.falcom.pl
[email protected]
2
1
1
xi − ∑ y i
∑
n
n