wykład 8

Proste Procesy Stochastyczne i ich zastosowania,
Pawe÷J. Szab÷
owski
March 2007
Pawe÷J. Szab÷
owski
()
Wyklad 8
March 2007
1 / 27
Funkcja kowariancji
Theorem (Herglotz’a)
Zespolona funkcja K okre´slona na zbiorze liczb ca÷
kowitych jest funkcja¾
kowariancji L2 -procesu wtedy i tylko wtedy, gdy istnieje sko´nczona miara µ
na B[ π, π ] taka, ·
ze:
K (n ) =
Z π
exp(inu )d µ(u )
π
dla wszystkich ca÷
kowitych n.
Proof.
Oznaczmy:
GN (x ) =
Pawe÷J. Szab÷
owski
()
1
2πN
N
∑
exp ( jix ) exp ( jkx )K (i
k) .
k ,i =1
Wyklad 8
March 2007
2 / 27
Funkcja kowariancji
Proof.
Z nieujemnej określoności funkcji K wynika, z·e GN (x ) 0 dla N 1 i
x 2 R.
¾
Zauwaz·my, z·e exp ( jix ) exp ( jkx ) = exp ( jx (i k )) . Moz·na wiec
zmienić indeksy sumowania wprowadzajac
¾ m = i k Dostaniemy wówczas:
GN (x ) =
=
Pawe÷J. Szab÷
owski
()
1
2πN
1
2πN
N 1
∑
exp( jxm )K (m )
m = N +1
∑
1
f(k ,i ):k i =m g
N 1
∑
(N
m = N +1
Wyklad 8
jmj) exp( jxm)K (m) .
March 2007
3 / 27
Funkcja kowariancji
Proof.
Rozwaz·my miary µN określone na <
Z π
π
π, π > z gestościami
¾
GN . Mamy:
exp(jnx )d µN (x )
Z
N 1
π
1
=
exp(jnx ) exp( jxm )dx
(N jmj) K (m)
∑
2πN m = N +1
π
(
n
1 jNj K (n) dla
jn j < N
=
.
0
dla pozosta÷
ych n
Pawe÷J. Szab÷
owski
()
Wyklad 8
March 2007
4 / 27
Funkcja kowariancji
Proof.
Rπ
π, π >) = K (0) . Rodzina miar
n o
¾ ciasna a wiec
¾ istnieje podciag
¾ µN i tych miar zbiez·ny
fµN gN 1 jest wiec
(s÷
abo) do pewnej miary µ. Gdy N zbiega do nieskończoności wzd÷
uz·
podciagu
¾ fNi g , to dostaniemy:
Ponadto mamy
π
GN dx = µN (<
Z π
exp(jnx )d µ (x ) = K (n).
π
Na odwrót, gdy K (n) ma powyz·sza¾ reprezentacje z miara¾ µ to dostajemy:
m
∑ zk zi K (nk
k ,i
ni ) =
Z π
m
∑ zi exp (jni x )
2
d µ (x )
0
π i =1
Uogólnieniem tego twierdzenia jest nastepuj
¾ ace
¾ :
Pawe÷J. Szab÷
owski
()
Wyklad 8
March 2007
5 / 27
Funkcja kowariancji
Theorem (Bochnera)
Funkcja K okre´slona na R, ciag÷
¾ a w poczatku
¾ osi jest funkcja¾ kowariancji
pewnego stacjonarnego L2 -procesu wtedy i tylko wtedy, gdy istnieje
sko´nczona miara µ na R taka, ·
ze:
8t 2 R : K (t ) =
Pawe÷J. Szab÷
owski
()
Z ∞
∞
Wyklad 8
exp(itx )d µ(x ).
March 2007
6 / 27
Przestrzeń Hilberta
De…nition
Niech H bedzie
¾
przestrzenia¾ wektorowa¾ nad C. Funkcja h : H
nazywa sie¾ forma¾ hermitowska¾ , gdy:
H
!C
1. 8 y 2 H h (., y ) jest forma¾ liniowa¾ , tzn.
h(λ1 x + λ2 z, y ) = λ1 h(z1 , y ) + λ2 h(z2 , y ) dla wszystkich x, y , z 2 H
i λ1 , λ2 2 C .
2. 8 x, y 2 H : h(y , x ) = h(x, y ) .
Fact
Warunki 1 i 2 mówia¾ , ·
ze h (x, y ) jest forma¾ antyliniowa¾ , tzn. np., ·
ze
h(x, λy ) = λ̄h(x, y ) λ 2 C, x, y 2 H.
De…nition
Forma hermitowska jest nieujemna, gdy:
3. 8x 2 H : h(x, x )
Pawe÷J. Szab÷
owski
()
0
Wyklad 8
March 2007
7 / 27
Przestrzeń Hilberta
De…nition
Forma hermitowska nazywa sie¾ iloczynem skalarnym, gdy jest nieujemna i
gdy:
(h(x, x ) = 0) () (x = 0).
Proposition
Prawdziwe sa¾ nastepuj
¾ ace
¾ w÷
asno´sci form hermitowskich nieujemnych h.
Nierówno´s´c Schwarza: Niech h bedzie
¾
forma¾ hermitowska¾ nieujemna¾
na H. Wtedy
jh(x, y )j2
Pawe÷J. Szab÷
owski
()
h(x, x )h(y , y ), 8x, y 2 H.
Wyklad 8
March 2007
8 / 27
Przestrzeń Hilberta
Proposition
Nierówno´s´c Mi´nkowskiego. Niech h bedzie
¾
forma¾ hermitowska¾
nieujemna¾ na H. Wtedy
x ! p (x ) := h1/2 (x, x )
jest pó÷
norma¾ tzn.: p (x + y )
p (x ) + p (y ).
Formu÷
a polaryzacji. Dla dowolnej formy hermitowskiej zachodzi wzór:
4h(x, y ) = h(x + y , x + y )
h (x
+ih(x + iy , x + iy )
Pawe÷J. Szab÷
owski
()
Wyklad 8
y, x
ih(x
y)
iy , x
iy ).
March 2007
9 / 27
Przestrzeń Hilberta
De…nition
Proposition
Wzór równoleg÷
oboku. Dla dowolnej formy hermitowskiej zachodzi
wzór:
h (x + y , x + y ) + h (x
y, x
y ) = 2(h (x, x ) + h (y , y )).
Corollary
Niech h bedzie
¾
forma¾ hermitowska¾ na H. Niech
No = fx 2 H : h(x, x ) = 0g i niech N bedzie
¾
podprzestrzenia¾ liniowa¾
zawarta¾ w No . Wtedy h (x, y ) = 0 dla x, y 2 N.
Pawe÷J. Szab÷
owski
()
Wyklad 8
March 2007
10 / 27
Przestrzeń Hilberta
Fact
Odtad
¾ warto´sci funkcjona÷
u h bedziemy
¾
oznaczali (., .) (lub czasami <, >
tzn. h (x, y ) = (x, y ) (lub h(x, y ) =< x, y >) za´s norme¾ w H bedziemy
¾
1/2
oznaczali k.k tzn. (x, x )
= k.k .
De…nition
Niech H bedzie
¾
przestrzenia¾ wektorowa¾ nad cia÷
em liczb zespolonych z
iloczynem skalarnym i norma¾ k.k zde…niowana¾ przez ten iloczyn skalarny.
Jeśli H jest zupe÷
na wzgledem
¾
k.k , to nazywa sie¾ przestrzenia¾ Hilberta.
Theorem
(o rzucie na zbiór wypuk÷
y): Niech W bedzie
¾
domknietym
¾
zbiorem
wypuk÷
ym w przestrzeni Hilberta (H, ( , )). Wtedy W zawiera
dok÷
adnie jeden element xo o najmniejszej normie. Dok÷
adniej, istnieje
jedyny element xo 2 W taki, ·
ze kx0 k = inf x 2W kx k
Pawe÷J. Szab÷
owski
()
Wyklad 8
March 2007
11 / 27
Przestrzeń Hilberta
Proof.
Istnienie: Niech m = inf x 2W kx k i niech fxn g 2 W , kxn k ! m gdy
n ! ∞ . Z wypuk÷
ości zbioru W wynika, z·e .5(xn + xk ) 2 W , a wiec.
¾
oboku wynika, z·e
kxn + xk k 2m. Z nierówności równoleg÷
0
xk k2 = 2 kxn k2 + kxk k2
kxn
kxn + xk k2
! 0
n,k !∞
bo odjemna da¾z·y do 4m2 , i odjemnik do 4m2 . Zatem ciag
¾ fxn g jest
zbiez·ny. Poniewaz· zbiór W jest domkniety,
¾ wiec
¾ xn ! xo 2 W . Na
skutek ciag÷
¾ ości normy mamy kx0 k = lim kxn k = m . Jednoznaczno´s´c:
Niech x bedzie
¾
jakimkolwiek elementem zbioru W takim, z·e kx k = m .
Znów z wypuk÷
ości W mamy: .5(xo + x ) 2 W , tzn. kx0 + x k 2m . Ale
2m = kx k + kx0 k czyli - kxo k + kx k kx0 + x k . Jak wiemy, ma to
jednak miejsce jedynie wtedy, gdy x = axo , gdzie a 0. Wiec
¾ a = 1, czyli
x = xo
Pawe÷J. Szab÷
owski
()
Wyklad 8
March 2007
12 / 27
Przestrzeń Hilberta
Theorem
(o rzucie prostopad÷
ym). Niech M bedzie
¾
podprzestrzenia¾ domkniet
¾ a¾
przestrzeni Hilberta (H, (., .)). Wtedy
1
2
3
Ka·
zdy wektor x 2 H ma jedyny rozk÷
ad x = x M + x ? , gdzie
M
?
x 2 M, x jest prostopad÷
y do M (tzn. (x ? , h) = 0 dla h 2 M).
Wektor x M najlepiej przybli·
za x w´sród wektorów nale·
zacych
¾
do M.
?
Oznaczajac
¾ M = fx 2 H : (x jm ) = 0, m 2 M g, mamy
H = M M ? , czyli H/M = M ?
Proof.
Poniewaz· zbiór M + x jest wypuk÷
y i domkniety,
¾ wiec
¾ istnieje taki wektor
x ? 2 M + x, z·e x ? = inf y 2M ky + x k j. Wykaz·emy, z·e x ? jest
prostopad÷
y do M. Poniewaz· x ? + αv
x ? , dla dowolnych α 2 C i
ν 2 M, wiec
¾
x?
Pawe÷J. Szab÷
owski
2
()
x?
2
2
+ ᾱ(x ?Wyklad
, v ) 8+ α(v , x ? ) + jαj2 kv kMarch
. 2007
13 / 27
Przestrzeń Hilberta
Example
Przestrzeń L2 zmiennych losowych o wartościach zespolonych, średnich
zero, ca÷
kowalnych z kwadratem wraz z iloczynem skalarnym
zde…niowanym przez (X , Y ) = EX Ȳ jest przestrzenia¾ Hilberta. L2 procesy stochastyczne zde…niowane w tej przestrzeni sa¾ zatem krzywymi w
tej przestrzeni.
Example
Przestrzeń Lp (M, M, µ) funkcji f , zespolonych, określonych na M M
mierzalnych (tzn. dla kaz·dego zbioru borelowskiego B f 1 (B ) 2 M) z
iloczynemR skalarnym zde…niowanym nastepuj
¾ aco
¾
(f , g ) = M f (x )g (x )µ(dx ) jest przestrzenia¾ Hilberta wtedy, gdy
utoz·samimy wszystkie funkcje f i g spe÷
niajace
¾ warunek kf g k = 0.
Pawe÷J. Szab÷
owski
()
Wyklad 8
March 2007
14 / 27
Przestrzeń Hilberta
Niech dany bedzie
¾
L2 proces stochastyczny X = fXt , t 2 T g. Przez
H (X ) oznaczymy domkniet
¾ a¾ liniowa¾ podprzestrzeń L2 rozpiet
¾ a¾ przez Xt
tzn. H (X ) sk÷
ada sie¾ z granic (średnio kwadratowych) kombinacji
liniowych postaci ∑ni=1 ci Xti , n = 1, 2, ... 8 t1 , . . . tn 2 T , c1 , . . . , cn 2 C .
H (X ) jest zatem przestrzenia¾ zmiennych losowych otrzymywanych przez
liniowe operacje na fXt , t 2 T g. Zauwaz·my z·e H (X ) jest podprzestrzenia¾
L2 .
Rozwaz·a sie¾ takz·e przestrzenie Ht (X ) generowana¾ ( jak H (X ) przez
kombinacje liniowe Xs ale dla s t.
Pawe÷J. Szab÷
owski
()
Wyklad 8
March 2007
15 / 27
Przestrzeń Hilberta
Niech F (X ) bedzie
¾
σ-cia÷
em generowanym przez fXt , t 2 T g (tj. F (X )
jest najmniejszym σ-cia÷
em zawierajacym
¾
σ-cia÷
a σ(Xt ), t 2 T ).
Przestrzeń L = L2 (Ω, F (X ), P ) jest tez· domkniet
¾ a¾ podprzestrzenia¾
przestrzeni L2 . Sk÷
ada sie¾ ona ze zmiennych losowych mierzalnych
wzgledem
¾
F (X ), czyli funkcjona÷
ów Borelowskich procesu Xt . Podobnie
rozwaz·a sie¾ takz·e przestrzenie Lt generowane (jak L ) przez funkcjona÷
y
Borelowskie procesu zmiennych losowych Xs dla s t.
Rozwaz·my dwa problemy estymacji. Niech Y 2 L2 bedzie
¾
zadana¾ zmienna¾
losowa¾ .
1. Znaleźć taki element Ŷ 2 H (X ) najbliz·szy ( w sensie średnio
kwadratowym) Y tzn. rozwiazać
¾
problem:
q
E (Y Ȳ )2 ).
Y Ŷ = min kY Ȳ k = ( min
Ȳ 2H (X )
Ȳ 2H (X )
Ŷ jest wiec
¾ najlepszym estymatorem opartym na liniowych
przekszta÷
ceniach Xt .
Pawe÷J. Szab÷
owski
()
Wyklad 8
March 2007
16 / 27
Przestrzeń Hilberta
2. Znaleźć taki element Ỹ 2 L najbliz·szy Y . Ỹ jest wiec
¾ estymatorem
opartym na dowolnym funkcjonale borelowskim Xt . ×atwo widzieć, z·e
Ỹ = E (Y jF (X )).
Oczywiście Ỹ przybliz·a Y lepiej niz· Ŷ . Czesto
¾ jednak znalezienie Ỹ jest
bez porównania trudniejsze niz· Ŷ . W terminach przestrzeni Hilberta oba
te problemy maja¾ te¾ sama¾ nature¾ a mianowicie nalez·y znaleźć rzut Y na
odpowiednia¾ podprzestrzeń, czyli element Ŷ (lub Ỹ ) spe÷
niajacy
¾ warunek
: Y Ŷ ?H (X ) (lub Y Ỹ ?L ).
Pawe÷J. Szab÷
owski
()
Wyklad 8
March 2007
17 / 27
Ca÷
ki stochastyczne.
Example
(wprowadzajacy)
¾ : Niech Z1 , ...Zn bed
¾ a¾ ortogonalnymi zmiennymi
losowymi o średniej 0. Niech λ1 , . . . , λn bed
¾ a¾ pewnymi liczbami
rzeczywistymi. Rozwaz·my proces stochastyczny:
X (t ) = ∑nj=1 Zj exp(i λj t ) . Sprawdzić , z·e proces ten jest stacjonarny i
ma funkcje¾ kowariancji równa¾ : K (s ) = ∑nj=1 E jZj j2 exp(i λj s ) .
Zauwaz·my,
kowa¾ ca÷
ki :
R π z·e ostatnia suma jest jakby suma¾ ca÷
K̃ (s ) = π exp(j λs )d µ(λ) . W dalszej cześci
¾ bedziemy
¾
uogólniali wzór
n
X (t ) = ∑j =1 Zj exp(i λj t ) w tym sensie, z·e bedziemy
¾
go traktowali jako
Rπ
pewna¾ sume¾ ca÷
kowa¾ ca÷
ki:
exp(j λt )dZ (λ) z procesem Z (λ) o
π
przyrostach nieskorelowanych (zm. los. Zi to przyrosty tego procesu w
punktach λ1 , . . . , λn )
Pawe÷J. Szab÷
owski
()
Wyklad 8
March 2007
18 / 27
Miary stochastyczne o wartościach ortogonalnych (mswo).
De…nition
Niech (S, S) bedzie
¾
przestrzenia¾ mierzalna¾ , i niech S0 bedzie
¾
cia÷
em
takim, z·e σ(S0 ) = S . Niech m bedzie
¾
miara¾ na S0 , i niech H bedzie
¾
przestrzenia¾ Hilberta z iloczynem skalarnym (., .). Elementarna¾ miara¾ o
wartościach ortogonalnych (elementarna¾ mwo) nazywamy funkcje¾
Z : S0 ! H taka¾ , z·e dla dowolnych E1 , E2 2 S0 mamy:
(Z (E1 ), Z (E2 )) = m(E1 \ E2 )
w szczególności:
m (E1 ) = kZ (E1 )k2 .
Z ( E1 [ E2 ) = Z ( E1 ) + Z ( E2 )
(1)
(suma)
jeśli tylko E1 \ E2 = ∅ .
Miara m zwana jest miara¾ skojarzona¾ z mwo Z .
Pawe÷J. Szab÷
owski
()
Wyklad 8
March 2007
19 / 27
Miary stochastyczne o wartościach ortogonalnych (mswo).
Fact
Zauwa·
zmy, ·
ze warunek (1) wymusza nieujemno´s´c m ; za´s warunek (??)
pociaga
¾ za soba¾ sko´nczona¾ addytywno´s´c m na S0 . A zatem na podstawie
twierdzenia Caratheodory’ego, m ma przeliczalnie addytywne rozszerzenie
na S . Rozszerzenie to bedzie
¾
tak·
ze oznaczane przez m.
Zauwaz·my, z·e :
Z (∅) = 0
a takz·e z·e dla roz÷
acznych
¾
E1 i E2 mamy: Z (E1 )? Z (E2 ) .
Pawe÷J. Szab÷
owski
()
Wyklad 8
March 2007
20 / 27
Miary stochastyczne o wartościach ortogonalnych (mswo).
Rozwaz·my prosta¾ funkcje¾ określona¾ na S o wartościach zespolonych
mierzalna¾ wzgledem
¾
S0 tj.
f =
∑ j = 1 a j I ( Ej )
n
gdzie aj 2 C; j = 1, ..., n zaś zbiory Ej , dla j = 1, .., n sa¾ roz÷
aczne.
¾
Po÷
óz·my:
Z
n
fdZ =
S
∑ aj Z (Ej ) (2 H )
j =1
Ca÷
ka ta jest dobrze zde…niowana. (uzasadnić)
Pawe÷J. Szab÷
owski
()
Wyklad 8
March 2007
21 / 27
Miary stochastyczne o wartościach ortogonalnych (mswo).
Jeśli f = ∑nj=1 aj I (Ej ) i g = ∑nj=1 bj I (Ej ) sa¾ dwiema funkcjami prostymi
S0 -mierzalnymi wówczas:
!
n
R
R
fdZ , gdZ = ∑ aj b̄k (Z (Ej , Z (Ek )) =
S
n
S
= ∑ ak b̄k m(Ek ) =
k =1
= (f , g )L2 (S ,S ,m )
Pawe÷J. Szab÷
owski
()
j ,k =1
R
f ḡ dm =
S
Wyklad 8
March 2007
22 / 27
Miary stochastyczne o wartościach ortogonalnych (mswo).
Zde…niowaliśmy tym samym przekszta÷
cenie liniowe Φ(f ) =
R
fdZ z
S
podprzestrzeni L0 =L2 (S, S0 , m ) (sk÷
adajacej
¾ sie¾ z funkcji prostych) w
przestrzeń Hilberta H. Ponadto jak pokazano wyz·ej przekszta÷
cenie to
zachowuje iloczyn skalarny. Przestrzeń L0 jest gesta
¾ w L2 (S, S , m ).
Zatem Φ ma jednoznaczne rozszerzenie (takz·e oznaczane przez Φ) do
izometrycznego izomor…zmu L2 (S, S , m ) z pewna¾ domkniet
¾ a¾ liniowa¾
podprzestrzenia¾ H. Moz·emy wiec
¾ rozwaz·ać ca÷
ke¾ dla dowolnych funkcji z
L2 (S, S , m ). Jeśli f 2 L2 (S, S , m ) to
Z
fdZ = Φ(f ).
S
Poniz·szy lemat jest oczywisty jeśli pamietać
¾ , z·e Φ jest izometrycznym
izomor…zmem.
Pawe÷J. Szab÷
owski
()
Wyklad 8
March 2007
23 / 27
Miary stochastyczne o wartościach ortogonalnych (mswo).
Lemma
Niech f , g , fn 2 L2 (S, S , m ), a, b 2 C . Wówczas:
R
1
fdZ 2 H ;
S
R
R
R
2
fdZ , gdZ = f ḡ dm;
S
3
4
R
R
2
fdZ
=
S
R
S
(af + bg )dZ = a
S
5
fn
jf j2 dm ;
R
S
fdZ + b
R
gdZ ;
S
! f w L2 (S, S , m) wtedy i tylko wtedy gdy
n !∞
H.
Pawe÷J. Szab÷
owski
()
Wyklad 8
R
S
fn dZ
!
n !∞
R
fdZ w
S
March 2007
24 / 27
Miary stochastyczne o wartościach ortogonalnych (mswo).
Jeśli f1 , f2 , ... sa¾ prostymi S0 mierzalnymi funkcjami zbiez·nymi do f w
mn
(n )
(n )
(n )
L2 (S, S , m ) i fn = ∑ ak I (Ek ) gdzie Ek , 1
k
mn sa¾ roz÷
acznymi
¾
k =1
zbiorami z S0 wówczas z w÷
asności 5. wynika, z·e:
mn
R
R
(n )
(n )
fdZ = limn !∞ fn dZ = limn !∞ ∑ ak Z (Ek ) . Jeśli wziać
¾
S
S
k =1
(n )
Z (Ek ) sa¾ zmiennymi
H = L2 (Ω, F , P ) wówczas
losowymi
nieskorelowanymi. Zatem ca÷
ka stochastyczna moz·e być przybliz·ana
sumami rozwaz·anymi na poczatku
¾
wyk÷
adu !!!.
Pawe÷J. Szab÷
owski
()
Wyklad 8
March 2007
25 / 27
Miary stochastyczne o wartościach ortogonalnych (mswo).
Ilustruje to poniz·szy przyk÷
ad. Wzieliśmy
¾
M = 20 niezalez·nych zmiennych
losowych o rozk÷
adach N (0, 1) i wykreślono funkcje:
¾ X = ∑M
j =1 Zj cos( λj t )
, gdzie Zj maja¾ w÷
aśnie rozk÷
ady normalne a λj = π + j 2π
M . Otrzymano:
3.849184
5
Z( t )
0
4.168296
5
0
0
Pawe÷J. Szab÷
owski
()
10
20
t
Wyklad 8
30
40
2 .M
March 2007
26 / 27
Miary stochastyczne o wartościach ortogonalnych (mswo).
Przy pomocy ca÷
ki , rozszerzymy
Z z S0 na S . Dla E 2 S k÷
adziemy:
R
Z1 (E ) = Φ(I (E )) = I (E )dZ .
S
Ze
¾ na to, z·e m jest skończona¾ miara¾ , I (E ) 2 L2 (S, S , m ) ,
R wzgledu
I (E )dZ jest dobrze określona. Ponadto Z1 = Z na S0 . Odtad
¾ indeks 1
S
bedzie
¾
opuszczany.
Pawe÷J. Szab÷
owski
()
Wyklad 8
March 2007
27 / 27