Analiza mocy testów pomiaru VaR wykorzystuj ˛acych funkcje strat

Analiza mocy testów pomiaru VaR wykorzystujacych
˛
funkcje strat
BADANIA SYMULACYJNE
Krzysztof Piontek
Katedra Inwestycji Finansowych i Zarzadzania
˛
Ryzykiem
email: [email protected]
CEL PRACY: empiryczna analiza mocy poszczególnych testów
w zależności od wielkości symulowanego odst˛epstwa od modelu poprawnego oraz od długości próby, a także odpowiedź na pytanie,
który z prezentowanych testów jakości pomiaru VaR powinien być
stosowany w celu minimalizacji bł˛edu II rodzaju.
1. Wprowadzenie
Wartość zagrożona (Value at Risk, VaR):
P (Wt+1
≤ Wt − V aRt(q)) = q,
−1 (q) = q
P rt+1 ≤ Fr,t
(1)
gdzie F (·) oznacza założona˛ ax ante dystrybuant˛e rozkładu (warunkowego lub bezwarunkowego) prognoz stóp zwrotu, a Φ−1(·) to funkcja
odwrotna do dystrybuanty standaryzowanego rozkładu normalnego.
Definicja miary VaR zapisana wzorem (1) w żaden sposób nie precyzuje jednak jak należy owa˛ wartość zagrożona˛ wyznaczyć.
W praktyce wykorzystuje si˛e wi˛ec rożne metody, które moga˛ prowadzić
do odmiennych oszacowań VaR.
Na etapie pomiaru brak jest jednak w praktyce wiedzy a priori, która
metoda (lub model) okaże si˛e najlepsza˛ lub chociaż akceptowalna.˛
Konieczna staje si˛e procedura testowania wstecznego oszacowań ryzyka otrzymanych różnymi metodami (backtesting procedure). Pozwala
ona (na podstawie danych historycznych) odpowiedzieć na pytanie, czy
dane podejście można stosować, lub które z wi˛ekszej liczby konkurencyjnych rozwiazań
˛
powinno zostać wybrane jako najlepsze z punktu
widzenia założonego kryterium.
Wydaje si˛e, że w chwili obecnej wyzwaniem nie jest już poprawa własności metod szacowania ryzyka (przynajmniej rynkowego),
lecz umiej˛etność rozróżniania rozwiaza
˛ ń skutecznych i nieskutecznych. W praktyce brak jest bowiem rozwiazań
˛
ogólnie przyj˛etych za
najlepsze i wystarczajaco
˛ dobre.
2. Metody oceny pomiaru wartości zagrożonej
Modele VaR można analizować zarówno poprzez jakość modeli ekonometrycznych leżacych
˛
u podstaw modelu VaR, jak i wprost poprzez
porównanie wyników VaR z faktycznie zaobserwowanymi stratami.
Obszarem zainteresowania niniejszych rozważań pozostaje jedynie
to drugie podejście.
A) METODY WYKORZYSTUJACE
˛
ANALIZE˛ SZEREGU
PRZEKROCZEŃ (Kupiec(1995), Christoffersen (1998))
Szereg przekroczeń (failure process, hit function):

 1; r
t+1 < −V aRt(q) przekroczenie V aR
It(q) =
 0; rt+1 ≥ −V aRt(q) brak przekroczenia
gdzie:
Powyższy warunek sprawdza si˛e zazwyczaj poprzez oszacowanie parametrów równania (7) lub wykorzystujac
˛ test LR.
zt − µ = ρ(zt−1 − µ) + εt, var(εt) = σ 2
(7)
Model przyjmuje si˛e za prawidłowy, jeśli brak jest podstaw do odrzucenia hipotezy zerowej:
H0 : (µ, σ, ρ) = (0, 1, 0).
(8)
b = 2 [LLF (µ̂, σ̂, ρ̂) − LLF (0, 1, ρ̂)] ∼ χ2
LRuc
2
(9)
C) TESTY WYKORZYSTUJACE
˛
FUNKCJE STRAT (Lopez
(1998), Sarma, Thomas, Shah (2001))
Na podstawie informacji o historycznych stopach zwrotu i korespondujacych
˛
z nimi oszacowaniach VaR wyznaczana jest odpowiednia wartość tzw. funkcji strat (dla każdej stopy zwrotu):

 f (V aR , r ) ; r
t t+1
t+1 ≤ −V aRt
(10)
Lt (V aRt(q), rt+1) =
 g (V aRt, rt+1) ; rt+1 > −V aRt
Najcz˛eściej rozpatruje si˛e funkcje strat odpowiadajace
˛ punktowi widzenia nadzoru, który preferuje modele z wysokimi wartościami VaR.
f (V aRt, rt+1) ≥ g (V aRt, rt+1) ,
g (V aRt, rt+1) = 0
(11)
Ostateczna wartość funkcji strat dla całego okresu, w którym testowany
jest model, wyznaczana jest ze wzoru:
T
X
1
Ψ=
Lt (V aRt, rt+1)
T
(12)
t=1
f (V aRt, rt+1) = 1 + (|rt+1| − V aRt)2
!
∼ χ21
(3)
PT
T1
, T1 = t=1 It(q), T0 = T − T1.
q̂ =
T0 + T1
(4)
(13)
||rt+1| − V aRt|2
(14)
f (V aRt, rt+1) =
V aRt
Na podstawie analizy informacji wynikajacej
˛ z wartości funkcji strat
możliwe sa˛ dwa podejścia:
1) wybór techniki pomiaru VaR, dla której wartość funkcji strat przyjmuje minimum (w przypadku skrajnym model, dla którego nie obserwuje si˛e przekroczeń uznawany jest za najlepszy),
2) przyj˛ecie lub odrzucenie modelu VaR poprzez porównanie wartości funkcji strat dla danych historycznych z wartościa˛ krytyczna˛ testu
uzyskiwana˛ poprzez symulacj˛e Monte Carlo szeregów stóp zwrotu z
założonego modelu (tego samego, który leży u podstaw modelu VaR).
Lopez proponuje 3 etapowa˛ procedur˛e wyznaczania wartości krytycznej łacznej
˛
funkcji strat dla, której przekroczenie powodowałoby odrzucenie modelu:
1) dopasowanie modelu,
2) symulacja Monte Carlo szeregów zysków i strat, wyznaczenie wartości VaR dla tych szeregów, wyznaczenie rozkładu wartości łacznej
˛
funkcji strat dla założonego modelu,
3) porównanie uzyskanej wartości funkcji strat dla rzeczywistego szeregu z odpowiednimi kwantylami rozkładu teoretycznego.
Rozpatrujac
˛ jedynie szereg przekroczeń [It(q)]t=T
t=1 , możliwa do anali-
Inne możliwe propozycje w zakresie funkcji strat:
zy informacja ulega znacznej redukcji. Dodatkowo warto zauważyć, iż
"miara" VaR zdefiniowana wzorem (5) spełnia warunki liczby i niezależności przekroczeń dla wystarczajaco
˛ wysokiej wartości X.
Jest to poważny zarzut wobec klasycznych testów modeli VaR.

 X; z prawdopodobieństwem 1 − q
V aRt(q) =
(5)
 −X; z prawdopodobienstwem q
100
250
500
750
1000
0,030
0,1955
0,3751
0,6656
0,8068
0,9142
Tabela 1a: moc testu Kupca, q=0,05, α = 0, 05, CV - χ21
0,035
0,040
0,045
0,050
0,055
0,060
0,1339
0,0940
0,0719
0,0653
0,0725
0,0927
0,2263
0,1279
0,0744
0,0585
0,0757
0,1242
0,4180
0,2164
0,0975
0,0539
0,0736
0,1534
0,5321
0,2629
0,1016
0,0537
0,1021
0,2420
0,6743
0,3512
0,1269
0,0514
0,1015
0,2711
f (V aRt, rt+1) = c + ||rt+1| − V aRt|d ,
(15)
||rt+1| − V aRt|d
f (V aRt, rt+1) =
,
V aRt
(16)
f (VaRt, rt+1) = ||rt+1| − ESt|d.
(17)
0,065
0,1249
0,2015
0,2876
0,4476
0,5182
Źródło: obliczenia własne.
Tabela 2a: moc testu Kupca, q=0,05, α = 0, 05, CV - symulowane
0,030
0,035
0,040
0,045
0,050
0,055
0,060
0,065
100
0,1948
0,1320
0,0894
0,0626
0,0486
0,0456
0,0528
0,0699
250
0,3751
0,2259
0,1263
0,0695
0,0462
0,0512
0,0829
0,1414
500
0,5681
0,3238
0,1519
0,0635
0,0395
0,0685
0,1519
0,2872
750
0,8068
0,5321
0,2627
0,1000
0,0458
0,0789
0,1982
0,3902
1000
0,8838
0,6114
0,2920
0,0967
0,0419
0,0995
0,2708
0,5182
Źródło: obliczenia własne.
Tabela 3a: moc testu cz˛estości przekroczeń Berkowitza, q=0,05, α = 0, 05, CV - χ22
0,030
0,035
0,040
0,045
0,050
0,055
0,060
0,065
100
0,2242
0,1490
0,0896
0,0604
0,0474
0,0590
0,1372
0,2638
250
0,5866
0,3418
0,1732
0,0730
0,0460
0,0908
0,2412
0,5244
500
0,9190
0,6562
0,3170
0,1094
0,0478
0,1310
0,4162
0,7812
750
0,9864
0,8582
0,4748
0,1514
0,0480
0,1842
0,5780
0,9148
1000
0,9990
0,9464
0,6188
0,1792
0,0494
0,2150
0,7006
0,9666
Źródło: obliczenia własne.
Tabela 4a: moc testu Lopeza - wzór (13), q=0,05, α = 0, 05, CV - symulowane
0,030
0,035
0,400
0,450
0,500
0,055
0,060
0,065
100
0,0735
0,0683
0,0649
0,0585
0,0508
0,0447
0,0413
0,0388
250
0,1475
0,1031
0,0763
0,0589
0,0505
0,0458
0,0461
0,0473
500
0,2045
0,1319
0,0873
0,0630
0,0512
0,0474
0,0516
0,0599
750
0,2574
0,1593
0,0980
0,0646
0,0504
0,0494
0,0581
0,0726
1000
0,3120
0,1900
0,1111
0,0673
0,0506
0,0511
0,0638
0,0839
Źródło: obliczenia własne.
Tabela 5a: moc testu Lopeza - wzór (14), q=0,05, α = 0, 05, CV - symulowane
0,030
0,035
0,400
0,450
0,500
0,055
0,060
0,065
100
0,1509
0,0997
0,0693
0,0527
0,0510
0,0604
0,0828
0,1173
250
0,3443
0,1996
0,1100
0,0612
0,0506
0,0698
0,1227
0,2024
500
0,6287
0,3747
0,1822
0,0797
0,0506
0,0856
0,1875
0,3418
750
0,8101
0,5304
0,2574
0,0967
0,0505
0,1030
0,2542
0,4736
1000
0,9134
0,6649
0,3363
0,1152
0,0505
0,1189
0,3161
0,5800
Źródło: obliczenia własne.
0,070
0,1680
0,3018
0,4554
0,6600
0,7493
Przykładowa˛ prób˛e rozwiazania
˛
oczywistego konfliktu pomi˛edzy bezpieczeństwem oraz maksymalizacja˛ wyniku finansowego stanowi nast˛epujace
˛ rozwiazanie
˛
(Sarma, Thomas, Shah):

 c + ||r | − V aR |d ; r
t
t+1
t+1 ≤ −V aRt
Lt (V aRt, rt+1) =
(18)

ϕV aRt;
rt+1 > −V aRt
3. Wyniki badań symulacyjnych
- przyj˛eto założenie, że rozkład stóp zwrotu jest rozkładem t-Studenta,
- liczba stopni swobody dla szeregów symulowanych wynosi 6,
- wykorzystano standaryzowana˛ wersje rozkładu t-Studenta,
- przyj˛eto, że model VaR zakłada także rozkład t-Studenta, lecz liczba
stopni swobody może być nieprawidłowa,
- symulowano szeregi o długości 100, 250, 500, 750, 1000 obserwacji,
- dla każdej długości szeregu symulowano 100.000 prób, wyznaczano odpowiednia˛ statystyk˛e testowa˛ oraz cz˛estość odrzucenia hipotezy
zerowej o poprawności modelu dla modelu nieprawidłowego, co przybliża moc testu.
Uzyskane wyniki prezentuja˛ poniższe tabele.
4. Podsumowanie
Ocena efektywności metod oceny modeli VaR powinna sprowadzać
si˛e do analizy bł˛edów I i II rodzaju.
Szczególnie niebezpieczny jest bład
˛ II rodzaju – przyj˛ecie hipotezy
H0 o poprawności modelu w przypadku, gdy model jest bł˛edny.
Żadne z rozwiazań
˛
nie jest wolne od wad oraz każde posiada też pewne
zalety. Testy klasyczne cechuje niska moc, lecz sa˛ bardzo proste oraz
intuicyjne, gdyż koresponduja˛ wprost z definicja˛ miary VaR i wyst˛epujacymi
˛
przekroczeniami. Testy wykorzystujace
˛ funkcj˛e strat ujmuja˛
aspekt bezpieczeństwa instytucji oraz/lub ekonomiki zwiazanej
˛
z wielkościa˛ kapitału wymaganego. Ich wada˛ pozostaje subiektywny wybór
postaci funkcji strat oraz fakt, że pojedyncze duże przekroczenie może
prowadzić do odrzucenia w ogólności prawidłowego modelu. Najciekawszymi i uzyskujacymi
˛
coraz wi˛eksza˛ popularność, wydaja˛ si˛e być
testy wykorzystujace
˛ transformacje Rosenblatta. Pozwalaja˛ one skuteczniej identyfikować modele nieprawidłowe. Niedogodnościa˛ w ich
stosowaniu pozostaje jednak konieczność określenia postaci rozkładu
stóp zwrotu (warunkowego lub bezwarunkowego) w wykorzystywanym modelu VaR.
WNIOSEK: najlepsze wyniki uzyskano w badaniu symulacyjnym
dla testu Berkowitza. Wraz ze wzrostem odst˛epstwa od modelu poprawnego i długościa˛ analizowanego szeregu rośnie przewaga tego
rozwiazania.
˛
5. Kierunki dalszych badań
Najpopularniejsze funkcje strat zadane sa˛ wzorami:
Testowaniu może podlegać zarówno cz˛estość przekroczeń, jak i ich niezależność. Rozważania dotycza˛ jedynie testowania cz˛estości przekroczeń.
LRP OF = LRuc = −2 ln
Jeśli model jest prawidłowy, to ut ∼ iid U (0, 1) lub zt ∼ iid N (0, 1).
(2)
UWAGA: V aRt podany jest w wartościach dodatnich.
(1 − q)T0 q T1
(1 − q̂)T0 q̂ T1
Testy w ramach tej grupy nie ograniczaja˛ si˛e do analizy własności
modelu w ramach jednego założonego poziomu tolerancji.
Idea sprowadza si˛e do analizy odst˛epstwa rozkładu empirycznego stóp
zwrotu od rozkładu teoretycznego oszacowań uzyskanych na podstawie modelu uznanego za poprawny. Dla obserwowanych ex post stóp
zwrotu rt wyznacza si˛e szereg ut lub zt:
Z rt
ut = F (rt) =
f (y)dy,
zt = Φ−1(ut),
(6)
−∞
gdzie: Wt/rt - wartość portfela/stopa zwrotu w chwili t,
−1 - odpowiedni kwanty rozkładu stóp zwrotu,
Fr,t
q - zadany poziom tolerancji VaR.
TEST KUPCA (1995):
B) TESTY ZGODNOŚCI KWANTYLI MIARY VaR I ROZKŁADU STRAT (Crnkovic-Drachman (1996), Berkowitz (2001))
100
250
500
750
1000
0,006
0,0032
0,2230
0,1993
0,1730
0,2844
1. uwzgl˛ednienie wpływu obserwacji nietypowych o wielkościach obserwowanych w praktyce,
2. uwzgl˛ednienie odst˛epstw od niezależności przekroczeń w ramach
każdej z prezentowanych metodologii testowania oszacowań wartości
zagrożonej,
3. oszacowanie mocy odpowiednich testów niezależności przekroczeń
oraz testów mieszanych,
4. rozdzielenie aspektu ilości przekroczeń oraz wielkości przekroczeń,
5. wprowadzenie analiz z punktu widzenia instytucji finansowej w ramach obecnych uregulowań prawnych,
6. wyznaczenie liczby obserwacji niezb˛ednej do uzyskania założonej
mocy testu,
7. dyskusja na temat minimalnej akceptowalnej mocy testów w przypadku oceny modeli wewn˛etrznych stosowanych przez instytucje finansowe.
Literatura
[1] S. Campbell. A Review of Backtesting and Backtesting Procedures.
Federal Reserve Board, Washington, 2005.
[2] M. Hass. New Methods in Backtesting. CAESAR, 2001,
www.gloriamundi.org.
[3] J. A. Lopez. Methods for Evaluating Value-at-Risk Estimates. Federal Reserve Bank of New York Research Paper no. 9802, 1998.
[4] K. Piontek. A Survey and a Comparison of Backtesting Procedures
(in Polish). In P. Chrzan, Matematyczne i ekonometryczne metody
oceny ryzyka finansowego. pages 113–124. Prace Naukowe AE w
Katowicach, Katowice, 2007.
[5] A. da Silva, C. da Silveira Barbedo, G. Araujo, M das Neves. Internal Models Validation in Brazil: Analysisis of VaR Backtesting
Methodologies. Financial Stability Report, May 2005, Volume 4 –
Number 1, 131–154, Banco Central Do Brasil.
Tabela 1b: moc testu Kupca, q=0,01, α = 0, 05, CV - χ21
0,007
0,008
0,009
0,010
0,011
0,012
0,0055
0,0087
0,0130
0,0184
0,0250
0,0328
0,1748
0,1386
0,1124
0,0948
0,0847
0,0815
0,1382
0,0986
0,0769
0,0709
0,0788
0,0996
0,1053
0,0647
0,0445
0,0408
0,0523
0,0787
0,1729
0,1023
0,0650
0,0551
0,0696
0,1073
0,013
0,0420
0,0845
0,1321
0,1198
0,1667
0,014
0,0525
0,0934
0,1751
0,1749
0,2446
0,013
0,0420
0,0466
0,0670
0,1198
0,1117
0,014
0,0525
0,0639
0,0979
0,1749
0,1730
0,070
0,0968
0,2247
0,4553
0,6054
0,7493
Źródło: obliczenia własne.
Tabela 2b: moc testu Kupca, q=0,01, α = 0, 05, CV - symulowane
0,006
0,007
0,008
0,009
0,010
0,011
0,012
100
0,0032
0,0055
0,0087
0,0130
0,0184
0,0250
0,0328
250
0,0009
0,0021
0,0043
0,0081
0,0137
0,0217
0,0326
500
0,0496
0,0308
0,0207
0,0173
0,0198
0,0285
0,0440
750
0,1730
0,1053
0,0647
0,0445
0,0408
0,0523
0,0787
1000
0,2843
0,1724
0,1002
0,0593
0,0425
0,0461
0,0692
0,070
0,4464
0,7708
0,9576
0,9920
0,9970
Źródło: obliczenia własne.
Tabela 3b: moc testu cz˛estości przekroczeń Berkowitza, q=0,01, α = 0, 05, CV - χ22
0,006
0,007
0,008
0,009
0,010
0,011
0,012
0,013
100
0,0785
0,0686
0,0575
0,0504
0,0490
0,0551
0,0655
0,0709
250
0,1246
0,0867
0,0629
0,0511
0,0521
0,0539
0,0714
0,0941
500
0,2281
0,1383
0,0805
0,0615
0,0487
0,0583
0,0846
0,1387
750
0,3364
0,1948
0,0979
0,0629
0,0475
0,0683
0,1054
0,1744
1000
0,4469
0,2460
0,1265
0,0648
0,0500
0,0680
0,1297
0,2239
0,014
0,0829
0,1291
0,1967
0,2779
0,3553
0,070
0,0383
0,0512
0,0715
0,0921
0,1127
Źródło: obliczenia własne.
Tabela 4b: moc testu Lopeza - wzór (13), q=0,01, α = 0, 05, CV - symulowane
0,006
0,007
0,008
0,009
0,010
0,011
0,012
0,013
100
0,0183
0,0196
0,0219
0,0236
0,0248
0,0256
0,0281
0,0290
250
0,0142
0,0171
0,0192
0,0219
0,0251
0,0286
0,0315
0,0354
500
0,0589
0,0564
0,0581
0,0542
0,0496
0,0485
0,0482
0,0513
750
0,1429
0,0986
0,0680
0,0549
0,0492
0,0485
0,0519
0,0578
1000
0,1464
0,1052
0,0785
0,0588
0,0509
0,0503
0,0553
0,0625
0,014
0,0305
0,0392
0,0560
0,0657
0,0751
0,070
0,1615
0,3097
0,5255
0,6895
0,8034
Źródło: obliczenia własne.
Tabela 5b: moc testu Lopeza - wzór (14), q=0,01, α = 0, 05, CV - symulowane
0,006
0,007
0,008
0,009
0,010
0,011
0,012
0,013
100
0,0050
0,0079
0,0128
0,0183
0,0250
0,0330
0,0432
0,0535
250
0,0023
0,0049
0,0090
0,0158
0,0256
0,0393
0,0550
0,0763
500
0,1367
0,0931
0,0657
0,0523
0,0502
0,0604
0,0813
0,1119
750
0,1968
0,1228
0,0772
0,0550
0,0492
0,0610
0,0911
0,1358
1000
0,2627
0,1565
0,0923
0,0582
0,0509
0,0664
0,1046
0,1637
0,014
0,0658
0,1003
0,1529
0,1964
0,2416
Źródło: obliczenia własne.
INNOWACJE W FINANSACH I UBEZPIECZENIACH – METODY MATEMATYCZNE, EKONOMETRYCZNE I INFORMATYCZNE, Ustroń, 19-20.11.2008