+ b

2013-12-01
Marek Sobolewski - PROGNOZY I
SYMULACJE
1
Modele liniowe a modele nieliniowe
Na poprzednim wykładzie wskazane zostały zalety modeli liniowych, do
których zostały zaliczone: względna łatwość procedur rachunkowych, prosta i
intuicyjnie zrozumiała interpretacja parametrów oraz argument merytoryczny zarówno w sferze zjawisk przyrodniczych jak i społeczno-ekonomicznych
występuje wiele zmiennych mających charakter liniowych lub „prawie” liniowy.
Z drugiej strony istnieje dużo procesów, które nie mogą być opisane za
pomocą zależności liniowych. Wymieńmy następujące trzy przykłady:
• przychód ze sprzedaży na pewno nie wzrasta liniowo wraz z ceną produktu wynika to chociażby z faktu, że dla wartości skrajnych (ceny zerowej i
nieskończenie dużej) utarg będzie równy zero;
• rozwój wielu zjawisk (między innymi demograficznych) może być opisany nie
za pomocą funkcji liniowej, lecz raczej wykładniczej, gdyż charakteryzowane są
one przez stałe względne (a nie bezwzględne) tempo wzrostu;
• powyższa uwaga jest także prawdziwa w odniesieniu do zjawisk finansowych inflacji lub oprocentowania lokat bankowych.
2013-12-01
Marek Sobolewski - PROGNOZY I
SYMULACJE
2
Typy modeli nieliniowych [1]
Nieliniowość modeli może mieć dwojaki charakter:
MODELE POZORNIE NIELINIOWE
Do modeli pozornie nieliniowych (wewnętrznie liniowych) zaliczymy te, które
łatwo można przedstawić w postaci kombinacji liniowej funkcji zmiennych niezależnych.
Będą to na przykład następujące modele:
kwadratowe (i ogólnie rzecz biorąc wielomiany): Y = b0 + b1X + b2X2
logarytmiczny: logarytmiczny: Y = b0 + b1logX
Ogólnie można tu zaliczyć wszystkie modele, które dadzą się przedstawić w postaci:
Y = b0 + b1 f1(X) + ... + bk fk(X).
Stosowanie modeli pozornie nieliniowych nie nastręcza żadnych trudności. Posługując się
odpowiednim programem statystycznym (np. Statistica) wystarczy wprowadzić do arkusza danych
nowe zmienne, będące odpowiednimi przekształceniami zmiennej niezależnych, po czym zastosować
znaną już procedurę REGRESJI WIELOKROTNEJ.
2013-12-01
Marek Sobolewski - PROGNOZY I
SYMULACJE
3
Typy modeli nieliniowych [2]
MODELE WEWNĘTRZNIE NIELINIOWE
Modele wewnętrznie nieliniowe nie dadzą się przekształcić w tak łatwy sposób do
postaci liniowej. Co prawda dla wielu z nich jest to możliwe, lecz tylko przy zastosowaniu
przekształceń nieliniowych, co może prowadzić do pewnej deformacji otrzymywanych w
ten sposób rezultatów (kwestia ta zostanie wyjaśniona za chwilę bliżej na podstawie
modelu wykładniczego).
Oto trzy ważniejsze przykłady modeli wewnętrznie nieliniowych:
wykładniczy:
Y  b0 b1 1  ...  bk
potęgowy:
Y  b0 X 1 1  ...  X k
X
b
Xk
bk
e(b0 b1X1  ... bk X k )
logistyczny (dla dychotomicznej zmiennej zależnej): P 
1  e(b0 b1X1  ... bk X k )
Więcej przykładów modeli nieliniowych można znaleźć np. w książce:
Dobosz M., Wspomagana komputerowo analiza wyników badań, Akademicka Oficyna Wydawnicza
EXIT, Warszawa 2001, strona 234 lub w podręcznikach do ekonometrii.
2013-12-01
Marek Sobolewski - PROGNOZY I
SYMULACJE
4
Trzy sposoby szacowania parametrów modelu nieliniowego
Rozważmy teraz następujące prosty przykład, który pozwoli zobrazować trzy
podstawowe sposoby szacowania parametrów modeli nieliniowych dostępne w programie
Statistica, porównać otrzymane wyniki oraz zaakcentować ich wady i zalety.
Celem analizy będzie opisanie trendu charakteryzującego liczbę studentów uczelni
prywatnych w latach 1991-2002. Oto fragment odpowiedniego zbioru danych i liniowy
wykres zmienności rozpatrywanej cechy.
2013-12-01
Marek Sobolewski - PROGNOZY I
SYMULACJE
5
1. Wykorzystanie wykresów liniowych (wykresów rozrzutu)
Z wykresu zmienności liczby studentów uczelni prywatnych wynika, iż
najwłaściwszą funkcją opisującą to zjawisko w rozważanym okresie będzie funkcja
wykładnicza. Podczas tworzenia wykresów liniowych (rozrzutu) istnieje możliwość
dopasowania do danych kilku podstawowych typów modeli nieliniowych - ponieważ
wśród nich znajduje się funkcja wykładnicza, więc skorzystamy z tej możliwości:
Y = 1295,2286*exp(0,6726*x)
500 000
Liczba studentów
uczelni niepaństwowych
450 000
400 000
350 000
300 000
250 000
200 000
150 000
100 000
2013-12-01
2000/2001
1999/2000
1998/1999
1997/1998
1996/1997
1995/1996
1994/1995
1993/1994
1992/1993
0
1991/1992
50 000
Marek Sobolewski - PROGNOZY I
SYMULACJE
6
2. Przekształcenie modelu i wykorzystanie analizy regresji
Model wykładniczy można sprowadzić do postaci liniowej za pomocą
przekształcenia logarytmicznego, w wyniku czego otrzymamy:
ln Y  ln b0  ln b1 X 1  ...  ln bk X k
 

c0
c1
ck
Aby wyznaczyć parametry otrzymanego w ten sposób modelu liniowego, musimy
wprowadzić w naszym arkuszu dwie nowe zmienne: ln Y oraz zmienną czasową (X).
Stosując następnie analizę regresji otrzymamy następujące wyniki:
ln y  7,1664  0,6726 X
Y  e 7 ,1164 0, 6726 X
Y  1295,23  1,96 X
2013-12-01
Marek Sobolewski - PROGNOZY I
SYMULACJE
7
3. Wykorzystanie estymacji nieliniowej [1]
Procedura wbudowana w wykresy liniowe i metoda regresji wielokrotnej w
połączeniu z przekształceniem logarytmicznym dała identyczne wyniki.
W programie Statistica znajduje się jednak jeszcze inne narzędzie, które służy do
bezpośredniego szacowania parametrów dowolnego modelu bez konieczności
dokonywania przekształceń algebraicznych. Co więcej, istnieje także możliwość
określenia funkcji mierzącej jakość dopasowania, a więc wyjście „poza” kryterium
minimalizacji kwadratów reszt (metodę najmniejszych kwadratów).
Analiza ta nosi nazwę: ESTYMACJA NIELINIOWA i umożliwia:
[1]
[2]
[3]
[4]
[5]
[6]
2013-12-01
[1] Oszacowanie za pomocą MNK dowolnego modelu;
[2] Oszacowanie dowolnego modelu według
wybranego kryterium optymalizacji;
[3] Wyznaczenie modelu logistycznego - dla zmiennej
zależnej mającej charakter dychotomiczny;
[4] Wyznaczenie modelu regresji probitowej - również
dla zmiennej zależnej dychotomicznej;
[5] Oszacowanie modelu wykładniczego;
[6] Wykonanie tzw. regresji segmentowej
Marek Sobolewski - PROGNOZY I
SYMULACJE
8
3. Wykorzystanie estymacji nieliniowej [2]
Model wykładniczy dostępny w menu analizy ESTYMACJA NIELINIOWA ma
nieco inną postać i dlatego nie skorzystamy z tej opcji. Oszacujemy nasz model na
podstawie REGRESJI NAJMNIEJSZYCH KWADRATÓW. Poniżej zamieszczono okno
wejściowe wybranej analizy wraz z odpowiednią funkcją oraz wyniki modelowania.
ln( b0b1
X1
 ...  bk
Xk
)  ln b0  ln b1 X 1  ...  ln bk X k
Y = 18380,7·1,39X
Wbrew pozorom model wykładniczy ma bardzo dużo wspólnego z modelem liniowym
(widać na podstawie poniższej tożsamości). Interpretacja parametrów jest też podobna,
tyle tylko, że zmiana wartości X o 1 nie powoduje wzrostu Y o 1,39 lecz 1,39 razy (39%).
2013-12-01
Marek Sobolewski - PROGNOZY I
SYMULACJE
9
3. Wykorzystanie estymacji nieliniowej [3]
Modele liniowy dopasowany do danych zlogarytmowanych i następnie
przekształcony powtórnie do postaci wykładniczej zdecydowanie odbiega od wyniku
uzyskanego za pomocą metod numerycznych (bez przekształceń). Nie jest to w tej chwili
najważniejsze, lecz warto wspomnieć (bez wdawania się w szczegóły), że model oparty na
przekształceniu logarytmicznym w rzeczywistości minimalizuje nie sumę kwadratów reszt
bezwzględnych, lecz bazuje na resztach względnych.
2013-12-01
Marek Sobolewski - PROGNOZY I
SYMULACJE
10
Weryfikacja modelu i uwagi techniczne
Weryfikacja modelu nieliniowego powinna w zasadzie przebiegać w podobny sposób
jak to miało miejsce dla modelu liniowego. Oczywiście w przypadku kiedy model
sprowadzamy do postaci liniowej i wykorzystujemy analizę REGRESJA WIELOKROTNA
jest to dosłownie ten sam schemat postępowania. W przypadku wykorzystanie narzędzia
ESTYMACJA NIELINIOWA też mamy do dyspozycji podstawowe narzędzia diagnostyczne
do oceny istotności parametrów, jakości dopasowania modelu i rozkładu reszt. Bardziej
wnikliwą analizę reszt można przeprowadzić zapisując je w osobnym pliku i wykorzystując
całą gamę narzędzi programu Statistica.
Procedury numeryczne szacowania parametrów modeli nieliniowych za pomocą
analizy ESTYMACJA NIELINIOWA nie zawsze prowadzą do znalezienia rozwiązania jeżeli wystąpi taka sytuacja należy rozważyć:
1. Uproszczenie postaci szacowanej funkcji;
2. Zmianę metody rachunkowej (istnieje pewien wybór procedur obliczeniowych);
3. „Wspomożenie” algorytmu obliczeniowego poprzez ustawienie wyjściowych wartości
szacowanych parametrów.
2013-12-01
Marek Sobolewski - PROGNOZY I
SYMULACJE
11
Określanie funkcji straty
Jedna z procedur dostępnych w oknie analizy ESTYMACJA NIELINIOWA pozwala nie tylko
dowolnie określać postać modelu, lecz także specyfikować kryterium optymalizacyjne, czyli innymi
słowy definiować sposób w jaki będą wyznaczane reszty modelu. Stosując metodę najmniejszych
kwadratów minimalizuje się sumę kwadratów reszt, co w języku programu Statistica jest równoważne
określeniu funkcji straty jako:
(OBS - PRED)^2
W wielu sytuacjach korzystne jest jednak określenie kryterium optymalizacyjnego w innych
sposób. Na przykład podczas prognozowania kursów walut lub akcji interesować nas będzie
minimalizacja względnego (procentowy) błędu dopasowania modelu. Bowiem z punktu widzenia
metody najmniejszych kwadratów prognoza 10 zł odstaje od rzeczywistego kursu wynoszącego 5 zł, tak
samo jak prognoza 1005 zł od kwoty 1000 zł. Tymczasem zaś w pierwszym przypadku błąd wynosi
100% a w drugim zaledwie 0,5%.
Aby minimalizować reszty względne (błąd procentowy) należy określić funkcję straty w
następujący sposób:
abs ((OBS - PRED)/OBS)
Wyjaśnienia:
OBS - wartość obserwowana (Y);
PRED - wartość dopasowana (Yˆ)
abs - formuła określająca wartość bezwzględną (absolute value)
2013-12-01
Marek Sobolewski - PROGNOZY I
SYMULACJE
12