Pobierz artykuł PDF

KRYTERIA WYBORU ARCHITEKTURY SIECI NEURONOWYCH - FINANSOWE
CZY BŁDU PROGNOZY
HENRYK MARJAK
Zachodniopomorski Uniwersytet Technologiczny w Szczecinie
Streszczenie
Klasyczne podejcie do zastosowania sieci neuronowych w prognozowaniu finansowych szeregów czasowych to trenowanie modeli sieci, a do uzyskania oczekiwanej miary błdu predykcji. W pracy porównano miary błdów predykcji oraz odpowiadajce im kryteria finansowe. Za pomoc wybranych metod analizy statystycznej okrelono relacj oraz jej sił pomidzy kryteriami wyboru, a wynikiem finansowym. Obliczenia przeprowadzono dla indeksu WIG20.
Słowa kluczowe: sieci neuronowe, predykcja, kryteria wyboru
1. Wprowadzenie
Sieci neuronowe s strukturami utworzonymi z elementów imitujcymi niektóre cechy rzeczywistych neuronów. Sieci neuronowe stosuje si do rozwizywania praktycznych problemów,
midzy innymi korzysta si z nich w prognozowaniu bankructw, analizie wniosków o wydanie kart
kredytowych, prognozowaniu zachowania rynku akcji, selekcji akcji, przewidywaniu kursów
walutowych, wycenie nieruchomoci, wycenie opcji, analizie rynków kapitałowych [1]. Zwizki i
zasady, pojawiajce si pomidzy neuronami w sieci neuronowej, dobrze sprawdzaj si
w przestrzeniach wielowymiarowych. Proces uczenia polega na wielokrotnym przedstawianiu
wzorców – danych uczcych. Liczba cykli uczenia zalena jest od postpu uczenia. Uczenie
przerywane jest, gdy warto błdu osignie załoon warto lub gdy dalszy trening nie powoduje
zmniejszania si miary minimalizowanego błdu.
Wikszo systemów prognozujcych finansowe szeregi czasowe, w oparciu o sieci neuronowe, jako kryterium optymalizacyjne stosuje błd kwadratowy (squared error). Jednake celem
wielu tych zastosowa jest w wikszym stopniu, podjcie odpowiednich decyzji finansowych, ni
minimalizacja błdu prognozy. Rozwaania dotyczce wyboru optymalnego portfela akcji przeprowadzone były przez Bengio [2].
Celem pracy jest okrelenie metody wyboru optymalnej struktury sieci neuronowej zastosowanej do podejmowania decyzji finansowych na podstawie szeregów czasowych. Cel ten zrealizowany zostanie przez okrelenie relacji pomidzy badanymi miarami błdu lub czynnikiem finansowym, a wynikiem finansowym. Zbadane zostanie, które z wybranych kryteriów oceny sieci
neuronowej umoliwia osignicie najlepszego wyniku finansowego. Wszystkie obliczenia,
przeprowadzono po procesie optymalizacji sieci neuronowych.
108
Henryk Marjak
Kryteria wyboru architektury sieci neuronowych - finansowe czy błdu prognozy
2. Materiał i metody
Materiał empiryczny stanowiły dane, obejmujce okres kwiecie 2004 - kwiecie 2008, podzielone na trzy kategorie [3, 4]:
1. Warto indeksu WIG20 – kursy zamknicia (t=-1..-3).
2. Kurs walut okrelane przez NBP – dolar amerykaski, euro, jen.
3. Wybrane indeksy giełdowe – DJIA, S&P500, DAX, NIKKEI, FTSE.
Dane podzielono na zbiór uczcy i testowy, nastpn faz stanowiły badania na zbiorach walidacyjnych, które nie brały udziału w ocenie jakoci sieci neuronowej. Zbiór uczcy wykorzystano
do optymalizacji wag połcze midzyneuronowych, na podstawie zbioru testowego dokonano
weryfikacji i wyboru struktur o najlepszych walorach prognostycznych. Wartoci za ten okres
wykorzystane zostały w celu wyłonienia najlepiej generalizujcych architektur. Nastpnie prace
prowadzono na danych walidacyjnych. Zbiór danych podzielono na 8 czci. Kad z tych czci
ponownie podzielono na zbiory uczcy i testujcy (80% dane uczce, 20% dane testujce). Dane
skalowano w wartoci z zakresu od 0,1 do 0,9. Wzór normalizacji dla zakresu [a,b] okrelony jest
nastpujco [3]:
pˆ i =
( pi − min) ⋅ (b − a )
+a
max − min
gdzie:
p̂i - warto w i-tym okresie po znormalizowaniu,
pi
- nieznormalizowana warto w okresie i-tym,
max, min - wartoci maksymalna i minimalna w normalizowanym zakresie danych,
a, b – zakres normalizacji.
Ocen jakoci sieci oraz jakoci prognoz, uzyskiwanych za pomoc tych sieci, przeprowadzono z wykorzystaniem nastpujcych kryteriów oceny predykcji [5, 6]:
1. Kwadrat wskaników korelacyjnych Pearsona,
n −1
¦ (t
RSQ = 1 −
−σ i )2
i
i =0
n −1
¦ (t
i
− t )2
i =0
2.
Kryterium predykcyjne Anemiya,
n −1
§
·
¨ ¦ (t i − σ i ) 2 ¸
n+ p¨
¸
PC = 1 −
1 − i =n0−1
¸
n− p¨
(t i − t ) 2 ¸
¨
¦
i =0
©
¹
3.
Uogólniony sprawdzian krzyowy,
POLSKIE STOWARZYSZENIE ZARZDZANIA WIEDZ
Seria: Studia i Materiały, nr 22, 2009
109
n −1
n ⋅ ¦ (t i − σ i ) 2
GCV =
4.
i =0
(n − p )2
Kryterium informacyjne Akaike’a
n −1
¦ (t
AIC = n ⋅ ln
i
− σ i )2
i =0
n
+2p
Gdzie:
t i – wartoci rzeczywiste,
σi
– wartoci otrzymane,
t – rednia wartoci rzeczywistych,
p - liczba wag,
n – liczba próbek.
Miar oceny jakoci sieci neuronowej w podejmowaniu decyzji finansowych, była suma
zysk/strata wszystkich transakcji dla danego zbioru danych (Fin_tr, Fin_tst). Sygnał zawarcia
transakcji generowany był na podstawie oceny rónicy midzy wartoci otwarcia indeksu WIG20
w danym dniu, a prognozowan wartoci zamknicia tego indeksu. Sygnał kupna generowany był
kiedy rónica ta była wiksza od wartoci granicznej (α). Sygnał sprzeday generowany był kiedy
rónica była mniejsza ni warto graniczna ze znakiem ujemnym (-α). Jeli rónica midzy
wartoci otwarcia indeksu w danym dniu, a prognozowan wartoci zamknicia zawarta była
pomidzy -α, a α, generowany był sygnał neutralny. W przeprowadzonych obliczeniach α przejto
na poziomie 10 punktów. W celu zmniejszenia strat w przypadku błdnych sygnałów, transakcje
były zamykane w przypadku, gdy strata była wiksza od przyjtej wartoci „stop loss” równej 10
punktów [2, 7].
W optymalizacji sieci neuronowej zastosowano algorytm propagacji wstecznej błdu, z jedn
warstw ukryt z neuronami od 3 do 13, w warstwie tej funkcje aktywacji to: funkcja logistyczna
albo funkcja tanh. Warstwa wejciowa składała si z 11 wzłów, a wyjciowa to jeden neuron, z
liniow funkcj aktywacji.
W pierwszym etapie, dla zbiorów uczcych, obliczono za pomoc sieci neuronowych prognozy i okrelono podane kryteria oceny prognoz (SSE, RSQ, PC, GCV, AIC, Fin_tr ) dla tych sieci
oraz sum zysk/strata uzyskan na podstawie prognoz uzyskanych ze zbiorów testujcych (Fin_tst).
Poniewa, zgodnie z definicjami tylko miary: SSE, RSQ i Fin_tr, s niezalene od liczby optymalizowanych elementów, dlatego w drugim etapie porównano kryteria oceny sieci dla grup podzielonych według złoonoci sieci: dla sieci do 72 wag oraz sieci powyej 72 optymalizowanych wag.
3. Wyniki empiryczne
W pierwszym etapie najwiksz sum zysk/strata (Fin_tst = 1253,3) uzyskano dla modelu, dla
którego kryteria oceny przedstawiały si nastpujco: SSE= 548168,66; RSQ=0,98945;
PC=0,98736; GCV=1654,89; AIC=2961,14; Fin_tr=3146,75. W przypadku prawie wszystkich
110
Henryk Marjak
Kryteria wyboru architektury sieci neuronowych - finansowe czy błdu prognozy
kryteriów (SSE, RSQ, PC, GCV i AIC) wartoci te były gorsze od wartoci rednich i median,
GCV i AIC, co nie wskazywało na dobre własnoci prognostyczne modelu, jedynie warto
kryterium finansowego Fin_tr znajdowało si znaczco powyej redniej (porównaj Tabela 1).
Tabela 1. Wybrane statystyki opisowe
Statystyki opisowe
N waĪnych ĝrednia Mediana Minimum Maksimum Odch.std
Zmienna
SSE
RSQ
PC
GCV
AIC
Fin_tr
Fin_tst
140 270000,9 248880,2 46455,69
140 0,993884 0,994662 0,981516
140 0,990248 0,989987 0,977859
140
1199,5
1315,5
283,54
140
2644,1
2638,0 2189,92
140
2012,3
2060,8 -128,93
140
73,7
39,7 -965,26
773153,7 161783,8
0,998695 0,003843
0,997218 0,005221
2334,1
571,8
3098,7
231,2
4371,3
885,9
1253,3
410,7
Najlepsz ocen RSQ=0,99869 uzyskał model, dla którego uzyskano zysk dla zbioru testowego
Fin_tst= - 965,26 jest to warto minimalna Fin_tst, równie inne parametry z wyjtkiem Fin_tr
wskazywały na to, e jest to dobry model: SSE= 70645,2183; PC=0,99703; GCV=474,64;
AIC=2381,58; Fin_tr=419,15. Dla najlepszej wartoci parametru PC=0,997218, uzyskano sum
zysk/strata równ Fin_tst=339,52, co jest wartoci znacznie powyej redniej. Pozostałe miary, z
wyjtkiem Fin_tr=234,97, równie wskazywały na dobr jako modelu: przyjmujc wartoci dla
RSQ blisk maksymalnej (RSQ=0,99859); GCV blisk minimalnej (GCV=422,59), a AIC wyranie poniej redniej (AIC=2362,18). Najlepsze, minimalne wartoci GCV=283,543 i
AIC=2189,916 wskazywały na model, na podstawie którego wynik finansowy nie był korzystny
Fin_tst=-211,1808, co jest wartoci mniejsz od redniej. Pozostałe wartoci RSQ=0,998412 i
PC=0,996626 były bliskie wartociom maksymalnym, natomiast kryterium finansowe
Fin_tr=1202,42 wskazywało na słab jako modelu. Najlepszy model na który wskazywałoby
kryterium finansowe (Fin_tr=4371,30) uzyskał dla danych testowych Fin_tst=224,46 czyli powyej
redniej, ale wszystkie pozostałe kryteria nie wyróniały tego modelu (SSE=631965,337,
RSQ=0,98397, PC=0,98053, GCV=2082,36, AIC=2838,82).
Czy mona zatem odpowiedzie na pytanie który lub które z badanych modeli naley okreli
jako optymalny lub właciwy dla dalszych analiz? Jednoznacznej odpowiedzi na to pytanie nie
daje równie analiza korelacji (Tabela 2).
Tabela 2. Współczynniki korelacji badanych kryteriów wzgldem Fin_tst
Oznaczone wsp. korelacji s istotne z p<0,05
SSE
RSQ
PC
GCV
AIC
Fin_tst
0,42
-0,40
-0,44
0,46
0,41
Fin_tr
0,27
Wszystkie kryteria błdu prognozy pokazuj podobny co do siły zwizek korelacyjny od 0,41
(AIC) do 0,46 (GCV). Wsp. korelacji dla kryterium finansowego (0,27) prezentuje najnisz
warto bezwzgldn, ale jak pamitamy wybór modelu w oparciu o Fin_tr dało Fin_tst powyej
redniej.
POLSKIE STOWARZYSZENIE ZARZDZANIA WIEDZ
Seria: Studia i Materiały, nr 22, 2009
111
Kolejn prób odnalezienia kryterium bd kryteriów wyboru efektywnych sieci bdzie analiza regresyjna. Poniewa analiza korelacyjna nie dała adnej wskazówki, która z badanych wartoci
mogłaby jednoznacznie by kryterium wyboru, dlatego do znalezienia odpowiedzi zastosowano
regresj wielorak krokow zstpujc, gdzie w kadym kroku eliminowana była zmienna o
najwikszej wartoci p, a do osignicia zmiennych istotnych. Ze wzgldu na due wartoci
współczynników korelacji pomidzy zmiennymi opisujcymi, zastosowano nie metod najmniejszych kwadratów, tylko regresj grzbietow. Wyniki przedstawiono w Tabeli 3.
Tabela 3. Regresja wieloraka dla badanych kryteriów
Podsumowanie regresji grzbietowej dla zmn. zal.: Fin_tst (wyniki transp bez z3.sta) l=,10000 R= ,43690469
R2= ,19088571 Skoryg. R^2= ,18502257 F(1,138)=32,557 p
BETA
Bł. std. - BETA
B
Bł. std. - B
t(138)
poziom p
-285,14
70,27126
-4,0577
0,00008
W. wolny
0,416572
0,073008
0,299
0,05244
5,70586
0,00000
GCV
W kolejnych krokach wyeliminowane zostały wszystkie zmienne niezalene (nieistotne statystycznie) z wyjtkiem uogólnionego sprawdzianu krzyowego (GCV). Niepokojca pozostaje
równie niewielka zdolno wyjaniajca – ok. 19%.
Badane sieci neuronowe to sieci gdzie optymalizowane s od 36 (11-3-1) do 156 (11-13-1)
wagi. Z jednej strony, zgodnie z definicjami dla czci badanych kryteriów złoono (ze wzgldu
na liczb wag) badanej struktury ma wpływ na obliczan warto błdu, moe te pojawi si
problem ze spełnieniem warunku, e liczba próbek powinna by duo wiksza od liczby optymalizowanych wag (n>>p). Z drugiej strony oczekiwa mona lepszych właciwoci dopasowania, a
tym samym lepszych kryteriów oceny badanych bardziej złoonych modeli, przy czym naley
pamita o ryzyku nadmiernego dopasowania, dla wektorów uczcych, a tym samym gorszych
własnoci do generalizacji w trakcie testowania.
Badane sieci podzielone zostały na dwie grupy według kryterium złoonoci jedna grupa to
sieci o maksymalnie 72 wagach (co odpowiada 6 neuronom w warstwie ukrytej), druga grupa to
sieci bardziej złoone o wicej ni 72 optymalizowanych wagach. Wstpna analiza (Ryc. 1)
wykazuje rónice badanych parametrów w zalenoci od złoonoci, jednake ostatni parametr
czyli Fin_tst pokazuje wartoci podobne niezalenie od złoonoci modeli. Badanie normalnoci
rozkładów (test Shapiro-Wilka) w grupach pozwala na odrzucenie hipotezy o normalnoci rozkładu badanych zmiennych. W zwizku z tym do zbadania istotnoci rónic w badanych grupach
zastosowano test U Manna-Whitneya, który pozwolił udowodni, e rónice w grupach s istotne
(z p<0,05).
Podobnie jak w przypadku poprzednim, obliczone zostan wsp.korelacji w grupach (Tab. 4).
Tabela 4. Współczynniki korelacji badanych kryteriów wzgldem Fin_tst dla grup
Oznaczone wsp. korelacji s istotne z p < 0,05
Fin_tst
grupa
N
SSE
RSQ
PC
GCV
AIC
Fin_tr
p<=72
48
0,50
-0,46
-0,44
0,49
0,42
0,29
p>72
92
0,42
-0,43
-0,44
0,43
0,40
0,25
Analiza korelacyjna w grupach wskazuje, na silniejsze zwizki korelacyjne w grupie o mniej-
112
Henryk Marjak
Kryteria wyboru architektury sieci neuronowych - finansowe czy błdu prognozy
szej złoonoci. Szczególnie wida to dla błdu SSE, dla którego w grupie p<=72 wsp.korelacji
SSE wzgldem Fin_tst osignł warto 0,50 (przy 0,42 dla wszystkich modeli i dla grupy p>72).
Dla prawie wszystkich, oprócz PC, wsp. korelacji osignły wiksze wartoci w grupie o mniejszej
złoonoci. Mona zakłada, ze zwizane to było po pierwsze z lepszymi właciwociami generalizujcymi badanych sieci, a w mniejszej czci z wpływem liczby optymalizowanych wag w
obliczeniach niektórych błdów (np. dla PC nie zmienił si wsp. korelacji w kadej z grup).
SSE
GCV
9E5
2600
2400
2200
2000
1800
1600
1400
1200
1000
800
600
400
200
8E5
7E5
6E5
5E5
4E5
3E5
2E5
1E5
0
p<=72
p<=72
p>72
Fin_tr
Fin_tst
5000
4000
3000
2000
1000
0
-1000
p<=72
p>72
p grupujące
p>72
p grupujące
p grupujące
1400
1200
1000
800
600
400
200
0
-200
-400
-600
-800
-1000
-1200
p<=72
p>72
Mediana
25%-75%
Min-Maks
p grupujące
Rys. 1. Wybrane skategoryzowane wykresy ramka wsy z podziałem na grupy
Mona zatem sprawdzi, za pomoc analizy regresji, czy równie w grupach powtórzy si sytuacja, kiedy regresja wieloraka zredukowana zostanie do modelu regresyjnego jednej zmiennej, a
zarazem, czy kryterium najbardziej skorelowane w grupach, bdzie równie najlepiej opisywało
Fin_tst oraz czy bdzie tym samym kryterium (dla p<=72 – SSE, dla p>72 – PC).
Podobnie jak w poprzednim przypadku zastosowano regresj wielorak krokow zstpujc,
gdzie w kadym kroku eliminowana była zmienna o najwikszej wartoci p, a do osignicia
zmiennych istotnych. Due wartoci współczynników korelacji pomidzy zmiennymi opisujcymi,
spowodowały, e zastosowano regresj grzbietow, a nie metod najmniejszych kwadratów.
Wyniki analizy przedstawiono w Tabeli 5.
POLSKIE STOWARZYSZENIE ZARZDZANIA WIEDZ
Seria: Studia i Materiały, nr 22, 2009
113
Tabela 5. Regresja wieloraka dla badanych kryteriów w grupach
Podsumowanie regresji grzbietowej dla zmn. zal.: Fin_tst p grupujce<=72
l=,10000 R= ,47949610 R2= ,22991651 Skoryg. R^2= ,21317557 F(1,46)=13,734 p
BETA
Bł. std. - BETA
B
Bł. std. - B
t(46)
poziom p
120,5016
0,021456
W. wolny
286,929
2,38112
0,457182
0,123365
0,001
0,0003
3,70591
0,000564
SSE
Podsumowanie regresji grzbietowej dla zmn. zal.: Fin_tst p grupujce>72
l=,10000 R= ,41220330 R2= ,16991156 Skoryg. R^2= ,16068835 F(1,90)=18,422 p
BETA
Bł. std. - BETA
B
Bł. std. - B
t(90)
poziom p
88,03558
0,001652
W. wolny
285,632
3,24451
0,393020
0,091568
0,305
0,07094
4,29211
0,000045
GCV
Wyniki regresji zstpujcej wielorakiej ponownie dały równanie regresji jednej zmiennej, przy
czym w przypadku modeli prostych (p<=72) zmienn opisujc jest SSE czyli błd do którego
wszystkie sieci były optymalizowane, natomiast grupa modeli złoonych ponownie wskazany
został uogólniony sprawdzian krzyowy (GCV) jako element, z pomoc którego mona właciwie
wybra model sieci neuronowej do dalszych bada. Tym co w tej sytuacji najbardziej niepokoi to
nadal niskie własnoci wyjaniajce. W grupie modeli prostszych model pozwala wyjani ok.
22% zmiennoci (wicej ni dla wszystkich modeli), w grupie dla p>72 właciwoci wyjaniajce
dla obliczonego modelu zmniejszyły si do ok. 16%.
4. Wnioski
Współczynniki determinacji regresji wielorakiej zmiennej Fin_tst przez prezentowane kryteria
wyboru modelu wskazuje na małe zdolnoci wyjaniajce (19-22%) tych funkcji. Właciwoci
wyjaniajce zwikszyły si w grupie modeli o mniejszej liczbie optymalizowanych wag.
Chocia wstpna analiza badanych modeli pod wzgldem finansowym wskazywała, e wybór
na podstawie kryterium finansowego (Fin_tr) daje model o dobrych właciwociach, to analiza
korelacyjna tak dla całego zbioru jak i w grupach, wskazywała Fin_tr jako najgorszy sposób
wyboru modelu do dalszych prac. Podobnie, analiza regresji w adnym przypadku nie wskazała na
kryterium finansowe jako kryterium odnajdujce najlepsze modele.
Kryteria predykcyjne wskazywały na modele z kilkunastoma neuronami ukrytymi (11-13).
W przypadku kryterium decyzji finansowych dla badanych zbiorów ilo neuronów ukrytych nie
układała si w zdecydowan tendencj.
114
Henryk Marjak
Kryteria wyboru architektury sieci neuronowych - finansowe czy błdu prognozy
Bibliografia:
1.
2.
3.
4.
5.
6.
7.
Deboeck G. J. (ed): Trading on the edge: neural, genetic, and fuzzy systems for chaotic
and financial markets, John Wiley&Sons, 1994.
Bengio Y.: Training a neural network with a financial criterion rather than a prediction
criterion, in Proc. Fourth Int. Conf. Neural Networks Capital Markets, A. S. Weigend, Y.
Abu-Mostafa, and A.-P. N. Refenes, Eds., 1997, pp. 36-48.
Azoff E. M.: Neural network time series forecasting of financial markets, John
Wisley&Sons, 1994.
Kimoto, T., Asakawa, K., Yoda,. M. and Takeoka, M.: Stock market prediction system
with modular neural networks. In Proceedings of the International Joint Conference on
Neural Networks. San Diego, 1990, pp. I-.6.
Judge G. G., Griffiths W. E., Hill R. C., and Lee T.: The theory and practice of
econometrics. John Wiley & sons, 1980.
Rumelhart D. E., McClelland J. L., 1986, Parallel Distributed Processing, volume 1, MIT
Press, Cambridge.
Toulson, D. L. and Toulson, S. P. Use of Neural Network Ensembles for Portfolio
Selection and Risk Management. NeuroCOLT Technical Report Series, NC-TR-96-046,
1996.
SELECTION CRITERIA OF ARCHITECTURE FOR NEURAL NETWORKS
– FINANCIAL OR PREDICTION ERROR CRITERION
Summary
The traditional approach to the implementation of neural networks in forecasting financial time series consists in the training of networks models until the expected measure of the prediction error is achieved. In the present study the measures
of prediction errors and their corresponding financial criteria were compared. By
means of regression analysis the power of relation between the criteria of selection
and the financial result was determined. The calculations were made for the WIG20
index.
Keywords: neural networks, prediction, selection criteria
Henryk Marjak
Zakład Analizy Systemowej
Zachodniopomorski Uniwersytet Technologiczny
71-270 Szczecin, ul. Janickiego 31
e-mail: [email protected]
.