Analiza szeregów czasowych: 5. Liniowe modele stochastyczne

Analiza szeregów czasowych:
5. Liniowe modele stochastyczne
P. F. Góra
http://th-www.if.uj.edu.pl/zfs/gora/
semestr letni 2006/07
Dwa rodzaje modelowania
1. Modelowanie “z pierwszych zasad”. Znamy prawa rzadz
˛ ace
˛ jakimś zjawiskiem (fizycznym, biologicznym, procesem społecznym), na ich podstawie,
dokonujac
˛ odpowiednich idealizacji, tworzymy model szczegółowy. Cz˛esto
uwzgledniamy
˛
zaburzenie stochastyczne.
˛ acych
˛
jakimś procesem,
2. Modelowanie stochastyczne. Nie znamy praw rzadz
znamy tylko szereg czasowy bed
˛ acy
˛ wynikiem tego procesu. Wiemy lub zakładamy przy tym, iż w procesie uczestniczy bardzo wielu “agentów”, którzy
dokonuja˛ przypadkowych decyzji, ale jakiś mechanizm sprawia, że wynikowy,
uśredniony proces wykazuje pewne regularności. Obserwujac
˛ owe regularności w szeregu czasowym, chcemy poznać pewne charakterystyki mechanizmu
odpowiedzialnego za jego wygenerowanie.
5. Liniowe modele stochastyczne
2
Liniowe modele stochastyczne
Niech {yn}N
˛
pewnym ciagiem
˛
danych “pomiarowych”. Nie znamy men=1 bedzie
chanizmu, który wygenerował ten szereg. Przypuszczamy, że jest on mocno
zaszumiony. Jeżeli szereg {yn}N
n=1 jest stacjonarny, próbujemy przedstawić go
w postaci
yn = β1yn−1 + β2yn−2 + · · · + βpyn−p + α0ηn + α1ηn−1 + · · · + αq ηn−q ,
(1)
gdzie {ηk } jest białym szumem. Model (1) próbuje przedstawić rzeczywisty szereg czasowy w postaci odfiltrowanego białego szumu.
Proces (1) nazywam procesem ARMA(p, q) (AutoRegressive Moving Average
— autoregresywny proces średniej ruchomej). W ogólności zamiast białego
szumu, szereg {ηk } mógłby być dowolnym stacjonarnym sygnałem o znanych
własnościach.
5. Liniowe modele stochastyczne
3
Przykład procesu ARMA(3,2)
5
white noise
ARMA(3,2)
4
3
2
1
0
-1
-2
-3
-4
-5
-6
50
100
150
200
250
n
5. Liniowe modele stochastyczne
4
Funkcja korelacji
W teorii funkcje˛ korelacji wylicza sie˛ średniujac
˛ po realizacjach procesu stochastycznego, który “odpowiada” za wygenerowanie tego szeregu:
*
ρ(i) =

N
X
, 
1
yj−iyj 
N − i j=i+1

N
X
+
1
yj2
N j=1
(2)
W praktyce mamy dana˛ tylko jedna˛ realizacje˛ naszego szeregu i dlatego obliczona funkcja korelacji może sie˛ różnić od wartości teoretycznej.
5. Liniowe modele stochastyczne
5
Funkcja korelacji powyższego procesu
1.0
pojedyncza realizacja
0.9
0.8
0.7
ρ(j)
0.6
0.5
0.4
0.3
0.2
0.1
0.0
0
8
16
24
32
j
5. Liniowe modele stochastyczne
6
Widmo mocy powyższego procesu
10 0
pojedyncza realizacja
wiele realizacji
10-1
P(f)
10-2
10-3
10-4
10-5
10-6
2-6
2-5
2-4
2-3
2-2
2-1
f
5. Liniowe modele stochastyczne
7
Warunek stacjonarności procesu ARMA
Proces (1) ma postać filtru IIR, a zatem
Proces (1) jest stacjonarny wtedy i tylko wtedy gdy pierwiastki równania
λp − β1λp−1 − β2λp−2 − · · · − βp = 0
(3)
leża˛ wewnatrz
˛ okregu
˛
jednostkowego.
5. Liniowe modele stochastyczne
8
Procesy autoregresywne — AR(p)
Jeżeli proces ARMA nie ma średniowania szumu, nazywamy go procesem autoregresywnym:
yn = β1yn−1 + β2yn−2 + · · · + βpyn−p + α0ηn .
(4)
Aby obliczyć jego funkcje˛ autokorelacji, mnoże˛ (4) przez yn−m i średniuje˛ po
realizacjiach szumu:
­
®
hyn−myni = β1 hyn−myn−1i + · · · + βp yn−myn−p + α0 hyn−mηni . (5)
Ostatni człon w (5) znika, gdyż yn−m nie może zależeć od późniejszego od
siebie szumu.
5. Liniowe modele stochastyczne
9
D
E
2 , dostajemy równanie na funkcje
Dzielac
˛ (5) przez wariancje˛ yn
˛ korelacji procesu AR(p):
ρm = β1ρm−1 + β2ρm−2 + · · · + βpρm−p
(6)
Z teorii równań różnicowych wiemy, że rozwiazanie
˛
równania różnicowego (6)
ma postać
ρm =
p
X
j=1
Aj λm
j ,
(7)
gdzie λj sa˛ rozwiazaniami
˛
równania (3). Z uwagi na wymaganie stabilności,
∀j : |λj | < 1, a zatem możemy napisać λj = e−τj e2πifj , gdzie ∀j : τj > 0.
5. Liniowe modele stochastyczne
10
Funkcja korelacji procesu autoregresywnego
Ponieważ równanie (3) ma współczynniki rzeczywiste, jego pierwiastki sa˛ albo
rzeczywiste, albo parami sprz˛eżone. Wobec tego stałe Aj można dobrać tak,
aby ρm było rzeczywiste. Ostatecznie stwierdzamy, że
Funkcja korelacji procesu autoregresywnego ma
postać kombinacji liniowej zanikajacych
˛
eksponent
i tłumionych sinusoid:
ρm =
X
Aj
5. Liniowe modele stochastyczne
e−mτj
+
X0
−mτj 0
Aj 0 e
sin(2πfj 0 m + φj 0 ) .
(8)
11
Widmo procesu autoregresywnego
Widmo procesu autoregresywnego otrzymujemy natychmiast z funkcji przejścia
odpowiedniego filtru:
P (f ) = ¯
α2
0
¯2 ,
¯
¯
p
P
¯
¯
βne2πinf ¯
¯1 −
¯
¯
n=1
5. Liniowe modele stochastyczne
1
0 6 f 6 ,.
2
(9)
12
Równania Yule’a-Walkera
W równaniu (6) podstawmy m = 1. Dostaniemy
ρ1 = β1ρ1−1 + β2ρ1−2 + . . . βpρ1−p = β1 + β2ρ1 + . . . βpρp−1 ,
(10)
gdyż na mocy stacjonarności ρj = ρ−j . Jeżeli zrobimy tak dla m = 1, . . . , p,
dostaniemy równania Yule’a-Walkera:





1
ρ1
...
· · · ρp−1
· · · ρp−2
...
ρp−1 ρp−2 ρp−3 · · ·
1
5. Liniowe modele stochastyczne
ρ1
1
...
ρ2
ρ1
...





β1
β2
...
βp






=


ρ1
ρ2
...
ρp



.

(11)
13
Teoretycznie, znajac
˛ funkcje˛ korelacji ρm, możemy stad
˛ obliczyć parametry procesu βj . W praktyce nie znamy funkcji korelacji ρm, możemy tylko używać korelacji “doświadczalnej”, wyliczonej z jedynej znanej nam realizacji procesu:

rm = 
N
X
, 
1
yi−myi
N − m i=m+1

N
X

1
yi2 .
N i=1
(12)
˛ wyliczamy przybliżone
rm podstawiamy do równania Yule’a-Walkera (11), skad
wartości współczynników βi. Jest jednak poważny problem: Skad
˛ mamy wiedzieć jaki jest rzad
˛ procesu, czyli jaki jest rozmiar układu równań (11)?
5. Liniowe modele stochastyczne
14
Funkcja autokorelacji czastkowej
˛
Funkcja autokorelacji procesu AR(p) ma rozwiniecie
˛
nieskończone, zależy jednak od p liniowo niezależnych funkcji. Załóżmy, że proces jest rz˛edu k. Wówczas
równania Yule’a-Walkera maja˛ postać





ϕk1
· · · ρk−1
ρ1



 ρ 
· · · ρk−2 

  ϕk2 
 2 
(13)
=




 ..  .
.
.
..   .. 

 . 
ρk−1 ρk−2 ρk−3 · · ·
1
ρk
ϕkk
ϕkk nazywam funkcja˛ autokorelacji czastkowej.
˛
Dla procesu AR rz˛edu p, ϕkk 6=
0 dla k 6 p i ϕkk ≡ 0 dla k > p. W praktyce zamiast ρm używamy rm, co
oczywiście utrudnia podjecie
˛
decyzji o rz˛edzie procesu /
1
ρ1
...
ρ1
1
...
5. Liniowe modele stochastyczne
ρ2
ρ1
...
15
Przykład
5
Pewien proces AR
correlations
partial correlations
1
4
3
0.8
2
0.6
1
0
0.4
-1
0.2
-2
-3
0
-4
0
64
Parametry wyestymowane:
Parametry “prawdziwe”:
5. Liniowe modele stochastyczne
128
192
256
0
2
4
6
8
10
12
14
16
p = 3: β1 = 0.415, β2 = 0.003, β3 = 0.470
p = 4: β1 = 0.474, β2 = −0.149, β3 = 0.530, β4 = 0.015
p = 3: β1 = 0.500, β2 = −0.125, β3 = 0.500
16
Proces AR(1)
yn = β1yn−1 + α0ηn
(14)
−1 < β1 < 1. Funkcja korelacji (m > 0):
hynyn−mi = β1 hyn−1yn−mi + α0 hηnyn−mi
(15)
ρm = β1ρm−1
(16)
ρm = β1m = (sgn(β1))m e−m ln |β1|
(17)
5. Liniowe modele stochastyczne
17
yn = 0.75yn−1 + ηn
AR(1) "a"
GWN
4
2
0
-2
-4
20
5. Liniowe modele stochastyczne
40
60
80
100
120
18
N=27
N=214
1
0.5
0
-0.5
-1
0
5. Liniowe modele stochastyczne
2
4
6
8
10
12
14
19
yn = −0.75yn−1 + ηn
AR(1) "b"
GWN
4
2
0
-2
-4
20
5. Liniowe modele stochastyczne
40
60
80
100
120
20
N=27
N=214
1
0.5
0
-0.5
-1
0
5. Liniowe modele stochastyczne
2
4
6
8
10
12
14
21
Proces AR(2)
yn = β1yn−1 + β2yn−2 + α0ηn
(18)
Postepuj
˛ ac
˛ jak poprzednio
ρi = β1ρi−1 + β2ρi−2
(19)
Rozwiazaniem
˛
jest albo suma dwu członów zanikajacych
˛
potegowo
˛
(“dwie eksponenty”), albo pewne zanikajace
˛
rozwiazanie
˛
znakozmienne (“drgania tłumione”). To, że korelacja zanika, jest zagwarantowane przez warunki stacjonarności.
5. Liniowe modele stochastyczne
22
yn = 0.75yn−1 − 0.05yn−2 + ηn
AR(2) "a"
GWN
4
2
0
-2
-4
20
5. Liniowe modele stochastyczne
40
60
80
100
120
23
N=27
N=214
1
0.5
0
-0.5
-1
0
5. Liniowe modele stochastyczne
2
4
6
8
10
12
14
24
yn = 0.75yn−1 − 0.5yn−2 + ηn
AR(2) "b"
GWN
4
2
0
-2
-4
20
5. Liniowe modele stochastyczne
40
60
80
100
120
25
N=27
N=214
1
0.5
0
-0.5
-1
0
5. Liniowe modele stochastyczne
2
4
6
8
10
12
14
26
Procesy średniej ruchomej MA(q)
Dla procesu
yn = α0ηn + α1ηn−1 + · · · + αq ηn−q
(20)
otrzymujemy
q
X
hynyn−ii =
D
αj ηn−j yn−i
E
(21)
j=0
Funkcja korelacji urywa sie˛ dla i > q:


 −αi+α1αi−1+···+αq−iαq
2
1+α2
ρi =
1 +···+αq

0
i = 1, 2, . . . , q
(22)
i>q
Funkcja autokorelacji czastkowej
˛
zanika.
5. Liniowe modele stochastyczne
27
yn = 0.25ηn + 0.5ηn−1 + 0.25ηn−2
MA(3) "a"
GWN
4
2
0
-2
-4
20
5. Liniowe modele stochastyczne
40
60
80
100
120
28
N=27
N=214
1
0.5
0
-0.5
-1
0
5. Liniowe modele stochastyczne
2
4
6
8
10
12
14
29
yn = −0.25ηn + 0.5ηn−1 + −0.25ηn−2
MA(3) "b"
GWN
4
2
0
-2
-4
20
5. Liniowe modele stochastyczne
40
60
80
100
120
30
N=27
N=214
1
0.5
0
-0.5
-1
0
5. Liniowe modele stochastyczne
2
4
6
8
10
12
14
31
Procesy ARMA(p, q)
Warunkiem stacjonarności procesu ARMA jest stacjonarność cz˛eści autoregresywnej.
Widmo procesu ARMA otrzymujemy z funkcji przejścia odpowiedniego filtru IIR:
¯2
¯
¯
¯
q
P
¯
¯
2πinf
αne
¯
¯
¯
¯ n=0
¯ ,
¯
P (f ) = ¯
¯
p
P
¯
βne2πinf ¯¯
¯1 −
¯
¯
n=1
5. Liniowe modele stochastyczne
1
06f 6 .
2
(23)
32
yn = 0.75yn−1 + 0.25ηn + 0.5ηn−1 + 0.25ηn−2
ARMA(1,3)
GWN
4
2
0
-2
-4
20
5. Liniowe modele stochastyczne
40
60
80
100
120
33
N=27
N=214
1
0.5
0
-0.5
-1
0
5. Liniowe modele stochastyczne
2
4
6
8
10
12
14
34
Kryteria identyfikacji rzedu
˛
procesu
Rodzaj procesu
AR(p)
MA(q)
ARMA(p,q)
Fukcja autokorelacji
zanika (nieskończona)
urywa sie˛ (skończona)
zanika (nieskończona)
5. Liniowe modele stochastyczne
Funkcja autokorelacji czastkowej
˛
urywa sie˛ (skończona)
zanika (nieskończona)
zanika (nieskończona)
35