?VTWXJ ?VTHJW\ AXTHMFWX\H]SJ N NHM ]FWXTWTZFSNF
Transkrypt
?VTWXJ ?VTHJW\ AXTHMFWX\H]SJ N NHM ]FWXTWTZFSNF
Proste Procesy Stochastyczne i ich zastosowania Pawe÷J. Szab÷ owski March 2007 Pawe÷J. Szab÷ owski () Wyk÷ ad 6 March 2007 1 / 28 Wielowymiarowe rozk÷ ady normalne Gestość ¾ n wymiarowego rozk÷ adu normalnego ma postać: f (x) = 1 p (2π )n/2 det Σ exp( 1 (x 2 m)T Σ 1 (x m)) (1) gdzie m 2Rn , zaś Σ jest symetryczna¾ dodatnio określona¾ n n- macierza. ¾ Piszemy X Nn (m, Σ) jeśli X ma taki rozk÷ ad. Później w nastepnym ¾ wyk÷ adzie, gdy bedzie ¾ mowa o przekszta÷ ceniach liniowych zmiennych losowych pokaz·emy, z·e funkcja (1) istotnie jest gestości ¾ a. ¾ Poziomice, czyli podzbiory Rn dla których gestości ¾ sa¾ sta÷ e, sa¾ dla takiego rozk÷ adu powierzchniami elipsoid. Wynika to z nastepuj ¾ acego ¾ rozumowania: Mamy n o Ec = fx 2 Rn : f (x) = c g = x 2 Rn : (x m)T Σ 1 (x m) = ć , gdzie zalez·ność mip edzy ¾ c i ć jest dana formu÷¾ a: ć = exp(c (2π )n/2 det Σ) . To, z·e zbiór Ec przedstawia soba¾ dla dodatnich ć powierzchnie elipsoid n- wymiarowych wynika z wiadomości z Algebry ( I semestr -formy kwadratowe). Pawe÷J. Szab÷ owski () Wyk÷ ad 6 March 2007 2 / 28 Wielowymiarowe rozk÷ ady normalne Rozk÷ ady brzegowe Przez X1 i X2 oznaczmy odpowiednio pierwszych n i ostatnich k X1 . X2 Temu rozbiciu wektora na dwa podwektory odpowiada w naturalny sposób rozbicie wektora m na dwa podwektory m1 i m2 w taki sposób, z·e mamy: m1 m= i rozbicie macierzy Σ na cztery macierze Σ11 , Σ12 , Σ21 , Σ22 m2 Σ11 Σ12 otrzymane w taki sposób, z·e Σ = . Σ11 jest n n minorem Σ21 Σ22 g÷ ównym macierzy Σ otrzymanym z pierwszych n wierszy i pierwszych n kolumn macierzy Σ. Podobnie macierz Σ12 jest n k podmacierza¾ otrzymana¾ z n pierwszych wierszy i k ostatnich kolumn macierzy Σ itd. wspó÷ rzednych ¾ wektora X Nn +k (m, Σ), jednym s÷ owem X = Za÷ óz·my, z·e Σ12 i Σ21 sa¾ macierzami zerowymi. Pawe÷J. Szab÷ owski () Wyk÷ ad 6 March 2007 3 / 28 Wielowymiarowe rozk÷ ady normalne Rozk÷ ady brzegowe Σ111 0 (moz·na sprawdzić, z·e tak jest 0 Σ221 wykonujac ¾ sprawdzajace ¾ mnoz·enie macierzowe ΣΣ 1 = I . Ponadto mamy det Σ = det Σ11 det Σ22 . Zatem: Wówczas mamy: Σ 1 = (x m)T Σ 1 (x m) = (x1 m1 )T Σ111 (x1 m1 ) + (x2 Pawe÷J. Szab÷ owski () Wyk÷ ad 6 (2) m2 ) T Σ221 (x2 m2 ) . March 2007 (3) 4 / 28 Wielowymiarowe rozk÷ ady normalne Rozk÷ ady brzegowe Oznaczmy: f1 (x1 ) = (2π )n/2 i f2 (x2 ) = 1 p 1 p det Σ11 (2π )k /2 det Σ22 Pawe÷J. Szab÷ owski () exp( 1 (x1 2 m1 )T Σ111 (x1 m1 )) exp( 1 (x2 2 m2 )T Σ221 (x2 m2 )). Wyk÷ ad 6 March 2007 5 / 28 Wielowymiarowe rozk÷ ady normalne Rozk÷ ady brzegowe Z formu÷ y (2) wynika , z·e f (x) =f1 (x1 )f2 (x2 ). (4) R R Teraz zauwaz·my, z·e Rk f (x1 , x2 )dx1 = f2 (x2 ) Rk f1 (x1 )dx1 . czyli gestość ¾ brzegowa wektora X2 jest równa f2 (x2 ) razy pewna sta÷ a( R = Rk f1 (x1 )dx1 ). Widać wiec, ¾ z·e rozk÷ ad brzegowy X2 jest tez· normalny i ponadto, z·e jest postaci: Nk (m2 , Σ22 )!!!! Później, w nastepnym ¾ wyk÷ adzie, wynik ten zostanie uogólniony na macierze Σ nie tylko powyz·szej, specjalnej diagonalnej postaci. Rozumujac ¾ analogicznie otrzymamy: X1 Nn (m1 , Σ22 ). Zauwaz·my ponadto, z·e z formu÷ y (4) wynika, z·e zmienne X1 i X2 sa¾ niezalez·ne. Pawe÷J. Szab÷ owski () Wyk÷ ad 6 March 2007 6 / 28 Wielowymiarowe rozk÷ ady normalne Przekszta÷ cenie liniowe Za÷ óz·my, z·e X jest typu ciag÷ ¾ ego z gestości ¾ a¾ fX , Y = g(X) = AX + b, A jest n n-macierza¾ taka, ¾ z·e det A 6= 0. Wówczas oczywiście Jg = det(A). Wiec: ¾ fY ( y ) = fX ( A 1 (y b))/j det Aj. W szczególności, jeśli X Nn (m, Σ) to zmienna losowa Y = Σ 1/2 (X m) ma nastepuj ¾ ac ¾ a¾ gestość: ¾ 1 T (det(Σ))1/2 exp( fY ( y ) = p y Σ n 1/2 2 ( 2π ) (det(Σ)) 1/2 ΣΣ 1/2 y) = exp( 12 yT y) p , ( 2π )n lecz yT y = ∑ni=1 yi2 jeśli za÷ oz·yć yT = (y1 , ..., yn ). Pawe÷J. Szab÷ owski () Wyk÷ ad 6 March 2007 7 / 28 Wielowymiarowe rozk÷ ady normalne Przekszta÷ cenie liniowe A wiec ¾ n fY ( y ) = ∏ i =1 y2 1 p exp( i ) . 2 2π Wspó÷ rzedne ¾ wektora Y sa¾ wiec ¾ niezalez·ne!!!. Rozwaz·my troche¾ bardziej ogólna¾ sytuacje. ¾ Niech: X Nn (m, Σ), Y = AX + b, otrzymamy wówczas: Pawe÷J. Szab÷ owski () Wyk÷ ad 6 March 2007 8 / 28 Wielowymiarowe rozk÷ ady normalne Przekszta÷ cenie liniowe fY ( y ) = exp( exp( 1 1 2 (A (y 1 2 (y Stad ¾ waz·ny wniosek: Y Pawe÷J. Szab÷ owski () p b) m)T Σ 1 (A 1 (y p ( det Σ T T Am b) (AΣA ) 1 (y p p ( 2π )n det(AΣAT ) 2π )n j det Aj b) Am m)) = b)) Nn (Am + b, AΣAT )! Wyk÷ ad 6 (5) March 2007 9 / 28 Wielowymiarowe rozk÷ ady normalne Momenty Niech X N (m, σ2 ). R ∞ exp ( (x m )2 /2σ2 ) p Mamy EX = ∞ x dx = σ 2π R∞ R ∞ exp ( (x m )2 /2σ2 ) 2 2 ) /2σ ) p (x m) exp ( (σx pm dx + m ∞ dx . Pierwsza z ∞ 2π σ 2π tych ca÷ ek jest równa zeru (bo po zmianie zmiennych x m ! y ca÷ kujemy funkcje¾ parzysta¾ po symetrycznym przedziale) a druga jest równa m. Zatem EX = m Pawe÷J. Szab÷ owski () Wyk÷ ad 6 March 2007 10 / 28 Wielowymiarowe rozk÷ ady normalne Momenty R∞ exp ( Oznaczmy mk = ∞ (x m )k x m ! y dostaniemy: mk = 0R ∞ -∞ y 2j exp( (x pm )2 /2σ2 ) dx. σ 2π y 2 /(2σ2 ))/(σ p 2π )dy Zmieniajac ¾ zmienne na dla k = 2j + 1 dla k = 2j j = 0, 1, 2 . . . . Pawe÷J. Szab÷ owski () Wyk÷ ad 6 March 2007 11 / 28 Wielowymiarowe rozk÷ ady normalne Momenty Aby Rsprawnie obliczyć m2j dla j = p 1, 2, . . . zauwaz·my po pierwsze, z·e m2j ∞ 2j 2 2 = 2 0 y exp( y /(2σ ))/(σ 2π )dy a po drugie po zamianie zmiennych y 2 /(2σ2 ) ! z dostaniemy 2j m2j = σ2j p π Zatem np. m2 = E (X Pawe÷J. Szab÷ owski () Z ∞ zj 1 2 e 0 z dz = σ2j 2j Γ( 2j 2+1 ) p π EX )2 = σ2 , m4 = 3σ4 , m6 = 15σ6 itp. Wyk÷ ad 6 March 2007 12 / 28 Wielowymiarowe rozk÷ ady normalne Momenty: Przypadek wielowymiarowy Za÷ óz·my teraz, z·e X Nn (m, Σ), det Σ > 0. Rozwaz·my nastepuj ¾ acy ¾ wektor pomocniczy: Y = Σ 1/2 (X m). Wiadomo, z·e a) Y Nn (0, I), b) wspó÷ rzedne ¾ wektora Y sa¾ niezalez·ne o jednakowych rozk÷ adach N (0, 1). Kaz·da z nich ma zatem wartość oczekiwana równa¾ zero i wariancje¾ równa¾ 1. Zatem 0 = EY = Σ 1/2 I = ΣY = Σ 1/2 (E X ΣX Σ m), 1/2 . Aby wiec ¾ znaleźć, E X i ΣX trzeba rozwiazać ¾ te równania wektorowo macierzowe. Nie jest to trudne i ÷ atwo znajdziemy: E X = m, Pawe÷J. Szab÷ owski () ΣX = Σ ! Wyk÷ ad 6 March 2007 13 / 28 Wielowymiarowe rozk÷ ady normalne Podsumujmy poprzednie informacje o zmiennych Gaussowskich. Niech X Nn (m, Σ), det Σ > 0, wówczas: fX ( x ) = exp ( 1 2 (x m)T Σ 1 (x (2π )n/2 (det Σ)1/2 E X = m, ΣX = Σ. m)) , x 2 Rn . Niech XT = (X1T , X2T ), gdzie dim X1 = k i dim X2 = n jest rozbiciem wektora X. Niech dalej rozbiciu temu odpowiadajac ¾ a¾ rozbiciu wektora m i macierzy Σ: mT = (mT1 ,mT2 ), Σ1 Σ12 , to X1 Nk (m1 , Σ1 ). Σ= ΣT12 Σ2 Pawe÷J. Szab÷ owski () Wyk÷ ad 6 March 2007 14 / 28 Wielowymiarowe rozk÷ ady normalne Proof. Rozwaz·my nastepuj ¾ ace ¾ liniowe przekszta÷ cenie wektora losowego X : Y1 = X1 Y2 = X2 m2 ΣT12 Σ111 (X1 m1 ) . czyli innymi s÷ owy df Y= Y1 Y2 I = 0 ΣT12 Σ111 I X+ 0 m2 + ΣT12 Σ111 m1 df = AX + b. Pawe÷J. Szab÷ owski () Wyk÷ ad 6 March 2007 15 / 28 Wielowymiarowe rozk÷ ady normalne Proof. Korzystajac ¾ teraz z w÷ asności (5) wnioskujemy, z·e Y N(Am + b, A° AT ). Uzasadnienie, z·e Am + b = m1 0 pozostawiamy czytelnikowi. Obliczmy AΣAT . mamy: AΣAT = = = ΣT12 Σ1 1 0 I Σ1 Σ12 ΣT12 Σ2 ΣT12 Σ1 1 0 I Σ1 Σ12 + Σ12 T Σ12 Σ2 ΣT12 Σ1 1 Σ12 I I Σ1 0 0 Σ2 ΣT12 Σ1 1 Σ12 I Σ1 1 Σ12 0 I (6) (7) . Na podstawie w÷ asności brzegowych rozk÷ adów normalnych dyskutowanych w cześci ¾ ?? wnosimy, z·e X1 = Y1 N (mMarch 1 ). 1 , Σ2007 Pawe÷J. Szab÷ owski () Wyk÷ ad 6 16 / 28 Wielowymiarowe rozk÷ ady normalne Niech A bedzie ¾ k n (k n) macierza¾ o pe÷ nym rzedzie ¾ (tzn. rz (A) = k ). Oznaczmy Y = AX + b dla pewnego wektora b 2Rk . Wówczas Y N(Am + b, AΣAT ). Dowód opierajacy ¾ sie¾ na w÷ asności i wyz·ej udowodnionej w÷ asności pozostawiamy czytelnikowi. Pawe÷J. Szab÷ owski () Wyk÷ ad 6 March 2007 17 / 28 Wielowymiarowe rozk÷ ady normalne Warunkowa wartość oczekiwana wielowymiarowych wektorów gaussowskich. X1 m1 Σ1 Σ12 Nn + k ( , ) tzn. dany n + k X2 m2 Σ21 Σ2 wymiarowy wektor X o rozk÷ adzie gaussowskim. Pierwsze n wspó÷ rzednych ¾ tego wektora nazwano X1 zaś ostatnie k nazwano X2 . Rozbiciu wektora X na dwa podwektory odpowiada rozbicie wektora m na dwa podwektory m1 m2 i rozbicie macierzy kowariancji Σ na 4 podmacierze n n macierz Σ1 , n k macierz Σ12 itd. Niech X= Pawe÷J. Szab÷ owski () Wyk÷ ad 6 March 2007 18 / 28 Wielowymiarowe rozk÷ ady normalne Warunkowa wartość oczekiwana wielowymiarowych wektorów gaussowskich. Pierwszy etap: Przypuśćmy, z·e Σ12 = ΣT21 = 0, jak pamietamy ¾ zmienne X1 i X2 sa¾ niezalez·ne zatem z w÷ asności o niezalez·ności podwektorów wynika, z·e dla i-tej wspó÷ rzednej ¾ wektora X1 tj. X1i mamy E (X1i jX2 = x) = EX1i = m1i . Drugi etap: Podstawmy Y = X1 m1 Σ12 Σ2 1 (X2 m2 ) , T = X2 . Wiadomo wówczas np. z·e rozk÷ ad ÷ aczny ¾ (Y, T) jest gaussowski nastepuj ¾ acej ¾ postaci: Y T N n +k Am + b, AΣAT , gdzie oznaczyliśmy A= Pawe÷J. Szab÷ owski I Σ12 Σ2 1 0 I () ,b = Wyk÷ ad 6 m1 + Σ12 Σ2 1 m2 0 . March 2007 19 / 28 Wielowymiarowe rozk÷ ady normalne Warunkowa wartość oczekiwana wielowymiarowych wektorów gaussowskich. ×atwo zauwaz·yć, z·e Am + b = 0 m2 . Nieco trudniej zauwaz·yć, z·e Y Σ1 Σ12 Σ2 1 Σ21 0 . Zatem wektor ma w÷ asności T 0 Σ2 rozwaz·ane w etapie pierwszym. Wiec ¾ E (Y jT) =E (Y ) = 0. Podstawiajac ¾ teraz czym jest Y i T dostaniemy: 0 = E (X1 m1 Σ12 Σ2 1 (X2 m2 )jX2 ) . Stad ¾ ÷ atwo dostaniemy AΣAT = E (X1 jX2 ) = m1 + Σ12 Σ2 1 (X2 m2 )p.n.. Okazuje sie¾ ponadto, z·e wariancja warunkowa V ( X1 j X2 ) = Σ 1 Σ12 Σ2 1 Σ21 . Reasumujac: ¾ W przypadku rozk÷ adów gaussowskich warunkowa wartość oczekiwana jest liniowa zaś wariancja warunkowa w przypadku rozk÷ adów gaussowskich jest wiec ¾ nielosowa!!!! Pawe÷J. Szab÷ owski () Wyk÷ ad 6 March 2007 20 / 28 Filtr Kalmana W teorii Filtru Kalmana zak÷ ada sie, ¾ z·e proces jest procesem liniowym danym uk÷ adem równań rekurencyjnym, zak÷ ócenia maja¾ rozk÷ ady Gaussowskie proces obserwuje sie¾ tylko od pewnego momentu ( na przyk÷ ad = 0) szuka sie¾ estymatora w postaci rekurencyjnej. Dok÷ adniej zak÷ adamy, z·e mamy do czynienia z nastepuj ¾ acym ¾ procesem dyskretnym opisanym nastepuj ¾ acym ¾ uk÷ adem równań róz·nicowych: xn +1 = Axn + ξ n +1 yn = Cxn + ηn , n = 0, 1, ... gdzie xn , ξ n 2 Rd , yn ,ηn 2 Rk . Zak÷ adamy oczywiście, z·e rzad ¾ (C) = k < n, z·e szumy fξ n g , fηn g sa¾ bia÷ e, stacjonarne, Gaussowskie (to znaczy ξ n i ηn nie zalez·y od ξ p , ηq ). Pawe÷J. Szab÷ owski () Wyk÷ ad 6 March 2007 21 / 28 Filtr Kalmana Zadaniem jest wyznaczenie mn = E (xn jy0 , ..., yn 1 ) i Pn = var(xn jy0 , ..., yn 1 ), n = 1, 2, .... Zanim przejdziemy dalej udowodnimy nastepuj ¾ acy ¾ bardzo uz·yteczny lemat: Lemma Niech X, Y, Z bed ¾ a¾ trzema wektorami losowymi o rozk÷ adzie ÷ acznie ¾ Gaussowskim. Za÷ ó· zmy dodatkowo, · ze E Z = 0 a ponadto, · ze wektory X i Y sa¾ niezale· zne. Wówczas: E (ZjX, Y ) = E (ZjX) + E (ZjY ) , p.n. Pawe÷J. Szab÷ owski () Wyk÷ ad 6 March 2007 22 / 28 Filtr Kalmana Proof. Skoro (X, Y, Z) maja¾ rozk÷ ad ÷ acznie ¾ Gaussowski, to E (ZjX, Y ) jest równa liniowej regresji. A wobec tego oznaczajac ¾ T= X Y E (ZjX, Y ) = ΣZ,T ΣT 1 (T E T), gdyz· E Z = 0. Dalej ze wzgledu ¾ na fakt, iz· X i Y sa¾ niezalez·ne mamy ΣT ΣX 0 = , .gdzie jak zwykle ΣX , ΣY i ΣT oznaczaja¾ odpowiednio 0 ΣY ΣX 1 0 macierze kowariancji wektorów X , Y i Z. Stad ¾ ΣT 1 = .A 0 ΣY 1 ΣX 1 0 wiec ¾ ΣZ,T ΣT 1 = ΣZ,X ΣZ,Y = 0 ΣY 1 ¾ ac, ¾ o postaci wektora T dostajemy ΣZ,X ΣX 1 ΣZ,Y ΣY 1 . Pamietaj natychmiast teze. ¾ Pawe÷J. Szab÷ owski () Wyk÷ ad 6 March 2007 23 / 28 Filtr Kalmana Theorem Niech dany bedzie ¾ uk÷ ad równa´n opisujacych ¾ stan procesu i proces xn +1 = Axn + ξ n +1 obserwacji: , n = 0, 1, ... : Oznaczmy yn = Cxn + ηn mn = E (xn jyn 1 , ..., y0 ),P n = E [(xn mn )(xn mn )T jyn 1 , ..., y0 ] . Za÷ ó· zmy, · ze m0 Nn (mo, Σ0 ) ,ξ n Nd (0,Q ), ηj Nk (0,R ) ), ξ n , ηj i x0 sa¾ niezale· zne dla n, j 0. Wówczas wielko´sci te dane sa¾ przez nastepuj ¾ ace ¾ zale· zno´sci rekurencyjne: mn +1 = Amn + AMn (yn Cmn ), m0 = x0 , P n +1 = (A Mn C)P n (A Mn C)T + Q + Mn RMTn , P0 = Σ0 1 gdzie oznaczyli´smy : Mn = Pn CT CPn CT + R a rozk÷ ad warunkowy xn pod warunkiem yn 1 , yn 2 , . . . , y0 jest normalny N (mn , Σn ) . Pawe÷J. Szab÷ owski () Wyk÷ ad 6 March 2007 24 / 28 Filtr Kalmana Proof. Mamy mn +1 = E (xn +1 jyn , ..., y0 ) = Amn + AE (xn korzystajac ¾ z lematu mamy mn +1 = Amn + AE (xn mn jyn E (yn jyn = Amn + AE (xn mn jyn E (yn jyn +AE (xn mn jyn 1 ..., y0 ) = Amn + AE (xn mn jyn E (yn jyn Ponadto mamy yn E (yn jyn = yn Cmn . A zatem E (xn mn jyn Pawe÷J. Szab÷ owski () 1 , ..., y0 ) = yn mn jyn , ..., y0 ). Dalej 1 , . . . , y0 ), yn 1 ..., y0 ) 1 , . . . , y0 )) 1 , . . . , y0 )). E (Cxn + ηn jyn E (yn jyn , ..., y0 )) =0 pewna macierz0 (yn Wyk÷ ad 6 1 , ..., y0 ) Cmn ) March 2007 25 / 28 Filtr Kalmana Proof. Aby dowieść twierdzenia nalez·y obliczyć te¾ macierz. Wiemy z·e jest ona iloczynem macierzy kowariancji wzajemnej wektorów xn mn i yn E (yn jyn 1 , ..., y0 ) i odwrotności macierzy kowariancji wektora yn E (yn jyn 1 , ..., y0 ). Nalez·y wiec ¾ wyznaczyć te macierze. Dla macierzy kowariancji wzajemnej mamy: E (xn = E (xn mn )(Cxn + ηn mn )(xn CE (xn + ηn jyn , ..., y0 ))T mn + ηn )T CT = Pn CT Zaś dla macierzy kowariancji wektora yn E (yn E (yn jyn 1 , ..., y0 ))(yn Cmn ) (yn +1 Cmn )T = E (yn = E (C(xn mn ) + ηn )(C(xn = CPn CT + R. Pawe÷J. Szab÷ owski () E (yn jyn Wyk÷ ad 6 1 , ..., y0 ) E (yn jyn mamy: 1 , ..., y0 )) T mn ) + ηn )T = March 2007 26 / 28 Filtr Kalmana Proof. Ponadto mamy: Pn +1 = E ((xn +1 mn +1 )(xn +1 mn +1 )T jyn , . . . , y0 ) = E ((xn +1 mn +1 )(xn +1 mn +1 )T = = E (A(xn mn ) + ξ n +1 Mn (yn Cmn )) (A(xn = E (A(xn Cmn ))T mn ) + ξ n + 1 Mn (yn mn ) + ξ n + 1 Mn (Cxn + ηn Cmn )) (A(xn mn ) + ξ n +1 Mn (Cxn + ηn Cmn )T = E ((A Mn C)(xn mn ) + ξ n +1 Mn ηn +1 ) ((A = (A Mn C)(xn mn ) + ξ n + 1 Mn C)Pn (AT Mn ηn +1 )T CT MTn ) + Q + Mn RMTn Oczywiście warunki poczatkowe ¾ dla ciagów ¾ mn i Pn sa¾ odpowiednio mo i Σ0 . Pawe÷J. Szab÷ owski () Wyk÷ ad 6 March 2007 27 / 28 Moz·liwe rozszerzenia; rozwaz·a sie¾ procesy niestacjonarne to znaczy macierze A, C, Q, R moga¾ zalez·eć od indeksu n. dopuszcza sie¾ niezerowa kowariancje miedzy ¾ szumami i dok÷ adniej T dopuszcza sie, ¾ z·e E ξ n η j = Sn δnj gdzie δnj jest delta¾ Kroneckera. Pawe÷J. Szab÷ owski () Wyk÷ ad 6 March 2007 28 / 28