Prawdopodobienstwo i statystyka

Transkrypt

Zagadnienie prognozowania
Warunkowa wartość oczekiwana
Prognoza liniowa
Prawdopodobieństwo i statystyka
Wykład XIII:
Prognoza. Warunkowa wartość oczekiwana
26 stycznia 2015
Wykład XIII: Prognoza. Warunkowa wartość oczekiwana
Prognoza liniowa
Prognoza (predykcja)
Przypuśćmy, że mamy dany ciąg liczb x1 , x2 , . . . , xn ,
stanowiących wyniki pomiaru pewnej zmiennej w czasie
wielkości x, w chwilach t1 < t2 < . . . < tn . Inaczej mówiąc,
mamy dany „szereg czasowy”.
Zagadnienie prognozowania: Niech T > tn . Jaką wartość
przyjmie badana wielkość w chwili T ?
Jeżeli x jest funkcją tylko czasu t, tzn.
xk = f (tk ), k = 1, 2, . . . , tn , możemy próbować odgadnąć
postać funkcji f , np.
znajdując współczynniki wielomianu interpolacyjnego,
lub amplitudę, częstość i przesunięcie sygnału sinusoidalnego,
lub parametry przekształcenia S, którego kolejne iteracje
S(t0 ), S 2 (t0 ), . . . Sn (t0 ) dają nam kolejne wartości x1 , x2 , . . . ,
xn .
To jest jednak rzadka sytuacja. Na ogół musimy zakładać, że
liczby x1 , x2 , . . . , xn są wartościami ciągu zmiennych losowych.
Prognoza liniowa
Prognoza (predykcja)
Pojęcie prognozy (predykcji)
Postawienie zagadnienia: znamy rozkład łączny zmiennych
losowych X1 , X2 , . . . , Xn , Y1 , Y2 , . . . , Ym , gdzie X1 , X2 , . . . , Xn
reprezentują „przeszłość”, a Y1 , Y2 , . . . , Ym - „przyszłość”. Na
podstawie przeszłości chcemy ocenić wartości przyszłe w postaci
funkcji f (X1 , X2 , . . . , Xn ). Jako „miarę jakości” prognozy
przyjmujemy „błąd średniokwadratowy”
E k(Y1 , Y2 , . . . , Ym )T − f (X1 , X2 , . . . , Xn )k2
=
m
X
E (Yi − fi (X1 , X2 , . . . , Xn ))2 .
i=1
Pokażemy, że błąd średniokwadratowy jest minimalizowany przez
fi (X1 , X2 , . . . , Xn ) = E Yi (X1 , X2 , . . . , Xn ) , i = 1, 2, . . . , m.
Prognoza liniowa
Rozkłady warunkowe
Własności warunkowej wartości oczekiwanej
Warunkowa wartość oczekiwana jako rzut ortogonalny
Rozkłady warunkowe
~ iZ
~ będą wektorami losowymi o wartościach w Rm i Rn ,
Niech Y
określonymi na tej samej przestrzeni probabilistycznej (Ω, F, P).
~ = ~z ) > 0, to rozkładem warunkowym wektora Y
~ gdy
Jeżeli P(Z
~ = ~z nazywamy prawdopodobieństwo
Z
~
~
~ ∈ A|Z
~ = ~z ) = P(Y ∈ A, Z = ~z ) .
R ⊃ A 7→ PY~ |Z~ =~z (A) = P(Y
~ = ~z )
P(Z
!
m
Pytanie: jak określić rozkład warunkowy w ogólnym przypadku?
Jeżeli P(Y ,Z ) jest absolutnie ciągły z gęstością pY ,Z (y , z), to
można określić gęstość rozkładu PY |Z =z za pomocą wzoru
pY |Z =z (y ) =

 R +∞pY ,Z (y ,z)
−∞
pY ,Z (u,z) du
1I [0,1] (y ),

,
jeśli
R
jeśli
R
pY ,Z (u, z) du > 0
.
pY ,Z (u, z) du = 0
Prognoza liniowa
Rozkłady warunkowe
Definicja i własności warunkowej wartości oczekiwanej
Mając dany rozkład warunkowy PY~ |Z~ =~z (·) określamy
~ |Z
~ = ~z ) :=
E (Y
Z
~y PY~ |Z~ =~z (d~y ),
~ |Z
~ ) := E (Y
~ |Z
~ = (·)) ◦ Z
~.
E (Y
Jeżeli E |U| < +∞ i E |V | < +∞, to
~ ) = αE (U|Z
~ ) + βE (V |Z
~ ).
E (αU + βV |Z
~ )| ¬ C , to
Jeżeli E |Y | < +∞ i |h(Z
~ ) · Y |Z
~ ) = h(Z
~ ) · E (Y |Z
~ ).
E (h(Z
Prognoza liniowa
Rozkłady warunkowe
~ ))2 < +∞, to
Jeżeli EY 2 < +∞ i E (h(Z
~ ) · Y |Z
~ ) = h(Z
~ ) · E (Y |Z
~ ).
E (h(Z
Jeżeli EY 2 < ∞, to
~ ))2 + Var (E (Y |Z
~ )).
Var (Y ) = E (Y − E (Y |Z
Twierdzenie (Warunkowa wartość oczekiwana jako minimalizator)
~ przyjmuje wartości w Rn . Wówczas
Niech EY 2 < +∞ i Z
~ ) jest jedynym minimalizatorem funkcjonału
E (Y |Z
~ ))2 ,
h 7→ E (Y − h(Z
~ ))2 < +∞}.
gdy h przebiega zbiór {h : Rn → R1 ; E (h(Z
Prognoza liniowa
Rozkłady warunkowe
Warunkowa wartość oczekiwana jako rzut ortogonalny - cd.
Uwaga: w terminach przestrzeni Hilberta L2 (Ω, F, P) warunkowa
wartość oczekiwana jest rzutem ortogonalnym na podprzestrzeń
~ )}, czyli funkcji σ(Z
~ )-mierzalnych. W tym
funkcji postaci {h(Z
kontekście (niemal) oczywiste są następujące fakty:
Jeżeli E |Y | < +∞ i g : Rn → Rm , to
~ )g (Z
~ ) = E (Y |g (Z
~ )).
E E (Y |Z
~ jest funkcją stałą, to E (Y |Z
~ ) = EY .
Jeżeli Z
~ )|?
Co by było, gdybyśmy minimalizowali E |Y − h(Z
Prognoza liniowa
Prognoza liniowa
Procesy gaussowskie
Prognoza liniowa
W zagadnieniu prognozy zmiennych Y1 , Y2 , . . . , Ym , na podstawie
X1 , X2 , . . . , Xn poszukujemy najlepszego przybliżenia zmiennych Yi
w postaci fi (X1 , X2 , . . . , Xn ), gdzie fi spełnia tylko ogólne warunki
całkowalności, należy więc do bardzo szerokiej klasy funkcji.
Z prognozą liniową mamy do czynienia, gdy poszukujemy
najlepszego przybliżenia w klasie funkcji
fi (X1 , X2 , . . . , Xn ) =
n
X
αi,j Xj , i = 1, 2, . . . , m.
j=1
To na ogół dużo łatwiejsze zadanie!
Uwaga: Istnieje ważna klasa szeregów czasowych, dla których oba
pojęcia prognozy pokrywają się: są to procesy gaussowskie.
Prognoza liniowa
Prognoza liniowa
Procesy gaussowskie
Procesy gaussowskie
Definicja zmiennych losowych gaussowskich
Mówimy, że zmienne losowe X1 , X2 , . . . , Xn są gaussowskie, jeśli
ich dowolna kombinacja liniowa α1 X1 + α2 X2 + · · · + αn Xn ma
jednowymiarowy rozkład normalny, tzn.
α1 X1 + α2 X2 + · · · + αn Xn ∼ N (mα~ , σα~2 ),
gdzie α
~ = (α1 , α2 , . . . , αn )T .
Dopuszczamy przypadek σα~2 = 0. Z definicji N (m, 0) = δm .
Rodziny gaussowskie
Rodzinę zmiennych losowych {Xi }i∈I nazywamy gaussowską, jeśli
dla każdego skończonego podzbioru {i1 , i2 , . . . , in } ⊂ I zmienne
Xi1 , Xi2 , . . . , Xin są gaussowskie.
Prognoza liniowa
Prognoza liniowa
Procesy gaussowskie
Procesy gaussowskie - cd.
Biorąc α
~ = (0, . . . , 0, 1, 0, . . . , 0)T , otrzymujemy rozkład normalny
dla składowych Xk ∼ N (mk , σk2 ). W ogólności,
~ i = h~
~ i.
mα~ = E (α1 X1 + α2 X2 + · · · + αn Xn ) = E h~
α, X
α, E X
Podobnie
~ i) = h~
~ )α
σα~2 = Var (h~
α, X
α, Cov (X
~ i.
Twierdzenie (Transformacja liniowa zmiennych gaussowskich)
~ = (X1 , X2 , . . . , Xn )T ma składowe
Jeżeli wektor losowy X
~ =m
~ i Cov (X ) = Σ) i jezeli
gaussowskie, przy czym E X
n
m
A : R → R jest odwzorowaniem liniowym, to składowe wektora
~ ) też są gaussowskie, przy czym
A(X
~ ) = A(~
~ )) = AΣAT .
EA(X
m), Cov (A(X
Prognoza liniowa
Prognoza liniowa
Procesy gaussowskie
Konstrukcja zmiennych gaussowskich
Twierdzenie (Konstrukcja zmiennych gaussowskich)
~ ∈ Rn i Σ jest macierzą n × n, symetryczną i nieujemnie
Jeżeli m
~ o składowych gaussowskich,
określoną, to istnieje wektor losowy X
który spełnia związki
~ =m
~,
EX
~ ) = Σ.
Cov (X
Twierdzenie (Charakterystyka rozkładu łącznego zmiennych
gaussowskich)
Rozkład łączny zmiennych losowych gaussowskich (X1 , X2 , . . . , Xn )
(nazywany n-wymiarowym rozkładem normalnym) jest w pełni
~ i macierz kowariancji
określony przez swoja wartość oczekiwaną m
~ ∼ N (m, Σ).
Σ. Piszemy X
Prognoza liniowa
Prognoza liniowa
Procesy gaussowskie
Niezależność zmiennych gaussowskich
Twierdzenie (Absolutna ciągłość rozkładu normalnego)
Rozkład normalny jest absolutnie ciągły dokładnie wtedy, gdy
macierz Σ jest nieosobliwa (det(Σ) 6= 0). W takim przypadku
gęstość zadana jest wzorem:
1
1
1
~ .
~ , Σ−1 (~x − m)i
exp − h~x − m
pm
x) = √ d √
~ ,Σ (~
2
( 2π)
det Σ
Twierdzenie (Niezależność zmiennych gaussowskich)
Zmienne gaussowskie X1 , X2 , . . . , Xn są niezależne dokładnie
wtedy, gdy są nieskorelowane:
cov (Xi , Xj ) = 0, i, j = 1, 2, . . . , n, i 6= j.
Prognoza liniowa
Prognoza liniowa
Procesy gaussowskie
Prognoza dla zmiennych gaussowskich
Twierdzenie (Prognoza dla zmiennych gaussowskich)
Jeżeli zmienne X1 , X2 , . . . , Xn , Y1 , Y2 , . . . , Ym są gaussowskie, to
prognoza liniowa Y1 , Y2 , . . . , Ym na podstawie X1 , X2 , . . . , Xn
pokrywa się z pełną prognozą (tzn. przybliżeniem Y1 , Y2 , . . . , Ym
za pomocą zmiennych postaci h(X1 , X2 , . . . , Xn )).
Uwaga: Jeżeli w schemacie prognozy
X1 , X2 , . . . , Xn , Y1 , Y2 , . . . , Ym
zmienne są gaussowskie, to prognoza (liniowa) Y1 , Y2 , . . . , Ym na
podstawie X1 , X2 , . . . , Xn jest również wektorem o składowych
gaussowskich. Jak określić wektor prognozy?

Prawdopodobienstwo i statystyka

Transkrypt

Podobne dokumenty

Korekta prognoz 2012

Zagadnienia prawne realizacji procesu inwestycyjnego w

Igrzegorz stępniak