Metody Prognozowania - Wykład 4. Miary dokładnosci predykcji

Transkrypt

Wprowadzenie
Standardowe miary statystyczne
TEST
Metody Prognozowania
Wykład 4. Miary dokładności predykcji
Ewa Bielińska
16 października 2007
Ewa Bielinska
Wprowadzenie
TEST
Plan
1
Wprowadzenie
2
Względne miary dokładności predykcji
Inne miary dokładności predykcji
3
TEST
Ewa Bielinska
Wprowadzenie
TEST
Dokładność prognozystanowi nadrzędne kryterium, według którego
ocenia się uzyskane wyniki i wybiera się właściwy algorytm
prognozowania.
Dla konstruktora algorytmów prognozowania dokładność
predykcji określa, na ile dany model predykcyjny odtwarza
dane, które już są znane konstruktorowi.
Dla użytkownika prognozy istotne jest, na ile wiarygodna jest
prognoza i czy spełni się ona w przyszłości.
Ewa Bielinska
Wprowadzenie
TEST
prognozowania.
Ewa Bielinska
Wprowadzenie
TEST
prognozowania.
Ewa Bielinska
Wprowadzenie
TEST
Pytania:
1
Czy tzw. naiwne prognozyoparte o intuicyjne, bardzo proste
algorytmy są istotnie gorsze od bardziej złożonych
matematycznie algorytmów?
2
Jak daleko prognoza wyliczona na podstawie danego
algorytmu odbiega od prognozy idealnej?
3
Jeśli w danej sytuacji istnieje możliwość zwiększenia
dokładności predykcji, to w jaki sposób wykorzystać wiedzę
o tym do wyboru najwłaściwszej techniki prognozowania?
Ewa Bielinska
Wprowadzenie
TEST
Pytania:
1
2
3
Ewa Bielinska
Wprowadzenie
TEST
Pytania:
1
2
3
Ewa Bielinska
Wprowadzenie
TEST
Miary ex post i ex ante
1
Miary dokładności predykcji, które obliczane są niejako po
fakcie, to znaczy najpierw wyliczana jest prognoza, a później
jej ocena, należą do miar klasy ex post.
2
Miary pozwalające oszacować dokładność prognozy bez
uruchamiania algorytmu predykcji należą do klasy miar ex
ante.
Oczywiście znacznie łatwiej jest ocenić dokładność predykcji ex
post niż ex ante.
Ewa Bielinska
Wprowadzenie
TEST
Miary ex post i ex ante
1
Miary dokładności predykcji, które obliczane są niejako po
fakcie, to znaczy najpierw wyliczana jest prognoza, a później
jej ocena, należą do miar klasy ex post.
2
Miary pozwalające oszacować dokładność prognozy bez
uruchamiania algorytmu predykcji należą do klasy miar ex
ante.
Oczywiście znacznie łatwiej jest ocenić dokładność predykcji ex
post niż ex ante.
Ewa Bielinska
Wprowadzenie
TEST
Błąd predykcji zmiennej xi :
ei = xi − b
xi|i−k .
(1)
Błąd średni (Mean Error),
N
1 X
ME =
ei .
N
(2)
i=1
Średni moduł błędu (MAE – Mean Absolute Error ),
MAE =
N
1 X
|ei |.
N
i=1
Ewa Bielinska
(3)
Wprowadzenie
TEST
ei = xi − b
xi|i−k .
(1)
N
1 X
ME =
ei .
N
(2)
i=1
MAE =
N
1 X
|ei |.
N
i=1
Ewa Bielinska
(3)
Wprowadzenie
TEST
ei = xi − b
xi|i−k .
(1)
N
1 X
ME =
ei .
N
(2)
i=1
MAE =
N
1 X
|ei |.
N
i=1
Ewa Bielinska
(3)
Wprowadzenie
TEST
Suma kwadratów błędów (SSE – sum of Squared Errors),
SSE =
N
X
ei2 .
(4)
i=1
Błąd średniokwadratowy (MSE – Mean Squared Error ),
MSE =
N
1 X 2
ei .
N
i=1
Ewa Bielinska
(5)
Wprowadzenie
TEST
Suma kwadratów błędów (SSE – sum of Squared Errors),
SSE =
N
X
ei2 .
(4)
i=1
Błąd średniokwadratowy (MSE – Mean Squared Error ),
MSE =
N
1 X 2
ei .
N
i=1
Ewa Bielinska
(5)
Wprowadzenie
TEST
Wariancja (z próby), która definiowana jest jako suma
kwadratów błędów podzielona przez liczbę stopni swobody,
N
SE 2 =
1 X 2
ei .
N −1
(6)
i=1
Odchylenie standardowe błędów (SDE – Standard Deviation
of Errors),
v
u
N
u 1 X
SDE = t
ei2 .
(7)
N −1
i=1
Ewa Bielinska
Wprowadzenie
TEST
Wariancja (z próby), która definiowana jest jako suma
kwadratów błędów podzielona przez liczbę stopni swobody,
N
SE 2 =
1 X 2
ei .
N −1
(6)
i=1
Odchylenie standardowe błędów (SDE – Standard Deviation
of Errors),
v
u
N
u 1 X
SDE = t
ei2 .
(7)
N −1
i=1
Ewa Bielinska
Wprowadzenie
TEST
Błąd procentowy (Percentage Error), który może mieć znak
dodatni lub ujemny,
ei
PEi = 100.
(8)
xi
Średni błąd procentowy (Mean Percentage Error), który nie
zawsze jest miarodajny, dlatego że błędy procentowe różnych
znaków mogą się w procesie sumowania wzajemnie znosić,
N
1 X
MPE =
PEi .
N
i=1
Średni bezwzględny błąd procentowy (Mean Absolute
Percentage Error), który lepiej niż MPE nadaje się do
określenia przydatności algorytmu testowanej na różnych
zbiorach danych,
Ewa Bielinska
N
X
Prognozowania
1Metody
(9)
Wprowadzenie
TEST
dodatni lub ujemny,
ei
PEi = 100.
(8)
xi
N
1 X
MPE =
PEi .
N
i=1
zbiorach danych,
Ewa Bielinska
N
X
Prognozowania
1Metody
(9)
Wprowadzenie
TEST
dodatni lub ujemny,
ei
PEi = 100.
(8)
xi
N
1 X
MPE =
PEi .
N
i=1
zbiorach danych,
Ewa Bielinska
N
X
Prognozowania
1Metody
(9)
Wprowadzenie
TEST
Dokładność względem naiwnej prognozy
Najczęściej naiwnym predyktorem jest ekstrapolator zerowego
rzędu, wg. którego prognozowana wartość jest równa aktualnej
wartości badanego ciągu
b
xi+1|i = xi .
Dla takiej naiwnej prognozy MAPE wynosi:
MAPE |NP1
N 1 X xi − xi−1 =
.
N −1
xi
(11)
i=2
Różnica między MAPE |NP1 i MAPE wyliczonymi dla badanej
metody predykcji stanowi miarę pozwalającą ocenić i porównać
skuteczność badanych metod,
DM = MAPE |NP1 − MAPE .
Ewa Bielinska
Wprowadzenie
TEST
Miara Theila
Współczynnik Theila zdefiniowany jest następująco:
sP
N−1
2
i=1 (FPEi+1 − APEi+1 ) /(N − 1)
,
U=
PN−1
2
i=1 (APEi+1 ) /(N − 1)
(12)
gdzie:
b
xi+1|i − xi
(Forecasted Percentage Error) –
xi
przewidywana względna zmiana zmiennej prognozowanej xi ;
xi+1 − xi
APEi+1 =
(Actual Percentage Error) – aktualna
xi
względna zmiana zmiennej prognozowanej xi .
FPEi+1 =
Ewa Bielinska
Wprowadzenie
TEST
Miara Theila
Współczynnik Theila zdefiniowany jest następująco:
sP
N−1
2
i=1 (FPEi+1 − APEi+1 ) /(N − 1)
,
U=
PN−1
2
i=1 (APEi+1 ) /(N − 1)
(12)
gdzie:
b
xi+1|i − xi
(Forecasted Percentage Error) –
xi
przewidywana względna zmiana zmiennej prognozowanej xi ;
xi+1 − xi
APEi+1 =
(Actual Percentage Error) – aktualna
xi
względna zmiana zmiennej prognozowanej xi .
FPEi+1 =
Ewa Bielinska
Wprowadzenie
TEST
Podstawiając FPEi+1 i APEi+1 do (12) uzyskamy:
v
u PN−1 bxi+1|i −xi+1 2
u i=1 (
)
x
U = t PN−1 xi+1 i−xi
.
)2
i=1 ( xi
(13)
Współczynnik U jest równy zero tylko wtedy, gdy prognoza jest
idealna, czyli:
FPEi+1 = APEi+1 .
Współczynnik U jest równy jeden wtedy, gdy:
FPEi+1 = 0,
co oznacza, że b
xi+1|i = xi , czyli że zastosowana metoda predykcji
nie przewiduje żadnych zmian wielkości prognozowanej, tak samo
jak ma to miejsce w prognozie naiwnej.
Jeśli znak FPEi+1 będzie przeciwny niż znak APEi+1 , wówczas
U > 1.
Ewa Bielinska
Wprowadzenie
TEST
U = 1; naiwna prognoza jest równie dobra jak badana metoda
predykcji.
U < 1; badana metoda predykcji jest tym lepsza od metody
naiwnej, im mniejsza jest wartość U.
U > 1; nie ma sensu stosować badanej (złożonej) metody
predykcji, gdyż naiwna prognoza daje lepsze rezultaty.
Ewa Bielinska
Wprowadzenie
TEST
predykcji.
Ewa Bielinska
Wprowadzenie
TEST
predykcji.
Ewa Bielinska
Wprowadzenie
TEST
Miara Durbina-Watsona
PN
DW =
i=2 (ei − ei−1 )
PN
2
i=1 (ei )
2
Jeżeli błędy predykcji są przypadkowe, to miara DW
przyjmuje wartości bliskie 2.
Jeżeli błędy predykcji są dodatnio skorelowane, czyli
można dopasować względnie gładką funkcję modelującą
residuum, to miara DW jest mniejsza od 2.
Jeżeli błędy predykcji są ujemnie skorelowane, np.
w przebiegu błędu obserwuje się piłokształtne oscylacje
ze zmianą znaku z plus na minus czy minus na plus, to
miara DW jest większa od 2.
Ewa Bielinska
(14)
Wprowadzenie
TEST
PN
DW =
i=2 (ei − ei−1 )
PN
2
i=1 (ei )
2
Ewa Bielinska
(14)
Wprowadzenie
TEST
PN
DW =
i=2 (ei − ei−1 )
PN
2
i=1 (ei )
2
Ewa Bielinska
(14)
Wprowadzenie
TEST
1
Spodziewana wartość odchyleń rzeczywistych realizacji zmiennej
prognozowanej od prognoz to:
a) ocena ex ante błędu,
b) błąd ex post,
c) zarówno błąd ex post, jak i jego ocena ex ante.
Ewa Bielinska
Wprowadzenie
TEST
1
b) błąd ex post,
Ewa Bielinska
Wprowadzenie
TEST
1
b) błąd ex post,
Ewa Bielinska
Wprowadzenie
TEST
2
Wartość odchyleń rzeczywistych realizacji zmiennej prognozowanej
od obliczonych prognoz to:
b) błąd ex post,
Ewa Bielinska
Wprowadzenie
TEST
2
b) błąd ex post,
Ewa Bielinska
Wprowadzenie
TEST
2
b) błąd ex post,
Ewa Bielinska
Wprowadzenie
TEST
3
Średnie obciążenie predykcji ex post w przypadku predykcji
nieobciążonej jest:
a) mniejsze od zera,
b) równe zero,
c) większe od zera.
Ewa Bielinska
Wprowadzenie
TEST
3
b) równe zero,
Ewa Bielinska
Wprowadzenie
TEST
3
b) równe zero,
Ewa Bielinska
Wprowadzenie
TEST
4
Jeżeli średnie obciążenie predykcji ex post jest mniejsze od zera, to
prognozy są przeciętnie:
a) niedoszacowane,
b) równe wartościom rzeczywistym,
c) przeszacowane.
Ewa Bielinska
Wprowadzenie
TEST
4
a) niedoszacowane,
c) przeszacowane.
Ewa Bielinska
Wprowadzenie
TEST
4
a) niedoszacowane,
c) przeszacowane.
Ewa Bielinska
Wprowadzenie
TEST
5
Średni błąd predykcji ex post określa:
a) ile procent przeciętnej prognozy wynosi średnie
obciążenie ex post predykcji,
b) o ile średnio odchylają się realizacje zmiennej
prognozowanej od obliczonych prognoz,
c) ile procent przeciętnej rzeczywistej realizacji zmiennej
prognozowanej stanowi średni błąd ex post predykcji.
Ewa Bielinska
Wprowadzenie
TEST
5
Ewa Bielinska
Wprowadzenie
TEST
5
Ewa Bielinska
Wprowadzenie
TEST
6
Błędy ex post predykcji powinny być:
a) stacjonarne,
b) niestacjonarne,
c) nie ma znaczenia jakie.
Ewa Bielinska
Wprowadzenie
TEST
6
a) stacjonarne,
b) niestacjonarne,
Ewa Bielinska
Wprowadzenie
TEST
6
a) stacjonarne,
b) niestacjonarne,
Ewa Bielinska
Wprowadzenie
TEST
7
Gdy wariancja składnika losowego jest duża to:
a) otrzymujemy bardzo dobre oszacowania parametrów
modelu,
b) otrzymujemy model bardzo dobrze dopasowany do
danych empirycznych,
c) zbudowane prognozy są na pewno dopuszczalne.
Ewa Bielinska
Wprowadzenie
TEST
7
modelu,
Ewa Bielinska
Wprowadzenie
TEST
7
modelu,
Ewa Bielinska
Wprowadzenie
TEST
8
Względnymi miernikami dokładności ex post predykcji są:
a) średnie obciążenie i średni błąd predykcji ex post,
b) względne obciążenie i względny błąd predykcji ex
post,
c) współczynnik Theila.
Ewa Bielinska
Wprowadzenie
TEST
8
post,
Ewa Bielinska
Wprowadzenie
TEST
8
post,
Ewa Bielinska
Wprowadzenie
TEST
9
Kolejne wyrazy autokorelacji błędu predykcji są równe:
rk = 1, −.5, .2, −.1, ....
Jaką wartość przyjmie miara Durbina i dlaczego?
Ewa Bielinska

Metody Prognozowania - Wykład 4. Miary dokładnosci predykcji

Transkrypt

Podobne dokumenty

Państwowy wzorzec jednostki miary napięcia elektrycznego stałego

Cecha niezależna

1. Olej sojowy l 10 2. Olej słonecznikowy l 80 3. Olej

"SZÓSTECZKA" - numer 1 - październik 2009 - (format pdf)

Wykaz dróg

Prognozowanie ruchu

wykorzystanie sztucznych sieci neuronowych w prognozowaniu

Instrukcja do ćwiczenia 4 - Politechnika Białostocka