Procesy stochastyczne
Transkrypt
Procesy stochastyczne
Informacje ogólne Procesy stochastyczne. Twierdzenie Kołmogorowa Istnienie wybranych klas procesów stochastycznych Procesy stochastyczne Wykład I: Istnienie procesów stochastycznych 2 marca 2015 Procesy stochastyczne Wykład I: Istnienie procesów stochastycznych Informacje ogólne Procesy stochastyczne. Twierdzenie Kołmogorowa Istnienie wybranych klas procesów stochastycznych Forma zaliczenia Literatura Forma zaliczenia przedmiotu 1 Zaliczenie ćwiczeń rachunkowych. 2 Egzamin ustny z teorii 3 Do wykładu przygotowane są materiały dydaktyczne mojego autorstwa „Procesy stochastyczne. Treść wykładów”. 4 Te materiały oraz prezentacje z wykładów dostępne będą na mojej stronie www.mat.umk.pl/ãdjakubo. Procesy stochastyczne Wykład I: Istnienie procesów stochastycznych Informacje ogólne Procesy stochastyczne. Twierdzenie Kołmogorowa Istnienie wybranych klas procesów stochastycznych Procesy stochastyczne Forma zaliczenia Literatura Wykład I: Istnienie procesów stochastycznych Informacje ogólne Procesy stochastyczne. Twierdzenie Kołmogorowa Istnienie wybranych klas procesów stochastycznych Forma zaliczenia Literatura Literatura podstawowa 1 J. Jakubowski i R. Sztencel „Wstęp do teorii prawdopodobieństwa”, Script, Warszawa 2004, 2 S. I. Resnick, Adventures in Stochastic Processes, Birkhäuser, 1994. Procesy stochastyczne Wykład I: Istnienie procesów stochastycznych Informacje ogólne Procesy stochastyczne. Twierdzenie Kołmogorowa Istnienie wybranych klas procesów stochastycznych Forma zaliczenia Literatura Literatura uzupełniająca 1 A.A. Borowkow, Rachunek prawdopodobieństwa, PWN, Warszawa 1975. 2 O. Häggström, Finite Markov chains and algorithmic applications, Cambridge University Press, Cambridge 2008. Procesy stochastyczne Wykład I: Istnienie procesów stochastycznych Informacje ogólne Procesy stochastyczne. Twierdzenie Kołmogorowa Istnienie wybranych klas procesów stochastycznych Funkcje Rademachera Procesy stochastyczne Zgodność rozkładów i twierdzenie Kołmogorowa Przykład: funkcje Rademachera Skończony schemat Bernoullego Ω = {0, 1}N , F = 2Ω , P(A) = #A #ω , Xk (ω1 , ω2 , . . . , ωN ) = ωk , k = 1, 2, . . . , N. Zmienne {Xk ; k = 1, 2, . . . , N} tworzą skończony schemat Bernoullego z prawdopodobieństwem sukcesu p = 1/2. Czy istnieje ciąg nieskończony takich zmiennych? Funkcje Rademachera Ω = [0, 1], F = B 1 , P = ` |[0,1] , fn (x) = sign sin 2n πx , n = 1, 2, . . .. Rozwijając wzór otrzymujemy ( fn (x) = (−1)i−1 −1 jeśli i−1 2n ¬ x < jeśli x = 1. i 2n , i = 1, 2, . . . , 2n , Rysunek przekonuje o niezależności! Procesy stochastyczne Wykład I: Istnienie procesów stochastycznych Informacje ogólne Procesy stochastyczne. Twierdzenie Kołmogorowa Istnienie wybranych klas procesów stochastycznych Funkcje Rademachera Procesy stochastyczne Zgodność rozkładów i twierdzenie Kołmogorowa Pojęcie procesu stochastycznego Definicja Procesem stochastycznym nazywamy rodzinę zmiennych losowych {Xt ; t ∈ T}, indeksowanych podzbiorem T ⊂ R1 i określonych na tej samej przestrzeni probabilistycznej (Ω, F, P). Zbiór indeksów T jest interpretowany jako czas i zwykle jest postaci N, Z (wtedy mówimy o „procesie stochastycznym z czasem dyskretnym”) lub [0, 1], [0, T ] (gdzie T > 0), R+ , R1 („proces stochastyczny z czasem ciągłym”). Uwaga: Jeśli zmienne losowe {Xu ; u ∈ U} są określone na wspólnej przestrzeni probabilistycznej, a zbiór U jest podzbiorem R2 lub innej przestrzeni „wielowymiarowej”, to rodzinę {Xu } zwykle nazywa się polem losowym. Procesy stochastyczne Wykład I: Istnienie procesów stochastycznych Informacje ogólne Procesy stochastyczne. Twierdzenie Kołmogorowa Istnienie wybranych klas procesów stochastycznych Funkcje Rademachera Procesy stochastyczne Zgodność rozkładów i twierdzenie Kołmogorowa Rozkłady skończenie wymiarowe Definicja Niech {Xt ; t ∈ T} będzie procesem stochastycznym i niech S ⊂ T będzie podzbiorem skończonym. Rozkład PXS wektora losowego XS = {Xt }t∈S (miarę na RS !) nazywamy rozkładem skończenie wymiarowym procesu {Xt }. Rozkłady pojedynczych zmiennych losowych Xt nazywamy rozkładami brzegowymi. Procesy stochastyczne Wykład I: Istnienie procesów stochastycznych Informacje ogólne Procesy stochastyczne. Twierdzenie Kołmogorowa Istnienie wybranych klas procesów stochastycznych Funkcje Rademachera Procesy stochastyczne Zgodność rozkładów i twierdzenie Kołmogorowa Rozkłady skończenie wymiarowe Uwaga: Rozkłady skończenie wymiarowe istnieją, bo zmienne losowe budujące proces stochastyczny są określone na wspólnej przestrzeni probabilistycznej i dlatego dobrze określone są liczby PXS (B) = P XS ∈ B , B ∈ B S . To jest silne założenie, nie zawsze spełnione (np. w modelach mechaniki kwantowej obserwable, czyli odpowiedniki zmiennych losowych, nie mają rozkładów łącznych). Procesy stochastyczne Wykład I: Istnienie procesów stochastycznych Informacje ogólne Procesy stochastyczne. Twierdzenie Kołmogorowa Istnienie wybranych klas procesów stochastycznych Funkcje Rademachera Procesy stochastyczne Zgodność rozkładów i twierdzenie Kołmogorowa Zgodność rozkładów skończenie wymiarowych Niech {Xt ; t ∈ T} będzie procesem stochastycznym i niech S1 ⊂ S2 ⊂ T. Oznaczmy przez ΠSS21 naturalny „rzut po współrzędnych” RS2 3 {ts }s∈S2 7→ {ts }s∈S1 ∈ RS1 . Mamy PXS1 = PXS2 ◦ ΠSS21 −1 . Definicja Własność (1) rozkładów skończenie wymiarowych procesu stochastycznego nazywamy „zgodnością”. Procesy stochastyczne Wykład I: Istnienie procesów stochastycznych (1) Informacje ogólne Procesy stochastyczne. Twierdzenie Kołmogorowa Istnienie wybranych klas procesów stochastycznych Funkcje Rademachera Procesy stochastyczne Zgodność rozkładów i twierdzenie Kołmogorowa Twierdzenie Kołmogorowa o istnieniu procesu stochastycznego Wniosek Zgodność w sensie (1) jest warunkiem koniecznym dla istnienia procesu stochastycznego o zadanych własnościach rozkładów skończenie wymiarowych. Twierdzenie Niech każdemu skończonemu podzbiorowi S ⊂ T odpowiada rozkład µS określony na (RS , B S ). Jeżeli rodzina rozkładów {µS } jest zgodna, to istnieje proces stochastyczny {Xt ; t ∈ T}, którego rozkładami skończenie wymiarowymi są rozkłady {µS }, tzn PXS = µS , Procesy stochastyczne S ⊂ T. Wykład I: Istnienie procesów stochastycznych Informacje ogólne Procesy stochastyczne. Twierdzenie Kołmogorowa Istnienie wybranych klas procesów stochastycznych Funkcje Rademachera Procesy stochastyczne Zgodność rozkładów i twierdzenie Kołmogorowa Twierdzenie Kołmogorowa o istnieniu procesu stochastycznego Idea dowodu twierdzenia Kołmogorowa polega na pokazaniu, że na przestrzeni (RT , B T ) istnieje miara probabilistyczna µ, której rzuty na produkty skończone pokrywają się z rozkładami µS . Wtedy wystarczy określić Xt jako rzut na współrzędną t. Kompletny dowód można znaleźć w podręcznikach Jakubowskiego i Sztencla oraz Borowkowa. Procesy stochastyczne Wykład I: Istnienie procesów stochastycznych Informacje ogólne Procesy stochastyczne. Twierdzenie Kołmogorowa Istnienie wybranych klas procesów stochastycznych Ciągi niezależnych zmiennych losowych Charakterystyki wektorów losowych i ich transformacje Istnienie procesów gaussowskich Istnienie ciągów niezależnych zmiennych losowych Twierdzenie Niech F będzie dystrybuantą na R1 . Istnieje ciąg niezależnych zmiennych losowych X0 , X1 , X2 , . . . o jednakowym rozkładzie zadanym przez F . Taki ciąg czasami nazywamy z angielska „i.i.d” (bo: „independent identically distributed”). Twierdzenie Niech F0 , F1 , F2 , . . . będzie ciągiem dystrybuant na R1 . Istnieje ciąg niezależnych zmiennych losowych X0 , X1 , X2 , . . . o zadanych rozkładach: Xj ∼ Fj , j = 0, 1, 2, . . .. Procesy stochastyczne Wykład I: Istnienie procesów stochastycznych Informacje ogólne Procesy stochastyczne. Twierdzenie Kołmogorowa Istnienie wybranych klas procesów stochastycznych Ciągi niezależnych zmiennych losowych Charakterystyki wektorów losowych i ich transformacje Istnienie procesów gaussowskich Podstawowe charakterystyki wektorów losowych ~ = (X1 , X2 , . . . , Xd )T będzie wektorem losowym. Niech X ~ będzie całkowalna Niech każda składowa wektora X ~ k < +∞). Wartością oczekiwaną wektora (równoważnie: E kX ~ X nazywamy wektor wartości oczekiwanych jego składowych: ~ = (EX1 , EX2 , . . . , EXd )T . EX ~ będzie całkowalna z Niech każda składowa wektora X ~ k2 < +∞). Macierzą kwadratem (równoważnie: E kX ~ nazywamy macierz Cov (X ~) o kowariancji wektora X współczynnikach σjk = cov (Xj , Xk ), 1 ¬ j, k ¬ d. ~ nazywamy liczbę Wariancją wektora X ~ ) := E kX ~ − EX ~ k2 = Var (X d X ~ ). Var (Xj ) = tr Cov (X j=1 Procesy stochastyczne Wykład I: Istnienie procesów stochastycznych Informacje ogólne Procesy stochastyczne. Twierdzenie Kołmogorowa Istnienie wybranych klas procesów stochastycznych Ciągi niezależnych zmiennych losowych Charakterystyki wektorów losowych i ich transformacje Istnienie procesów gaussowskich Podstawowe charakterystyki wektorów losowych Twierdzenie (Równoważna definicja wartości oczekiwanej) ~ k < +∞. Wartość oczekiwana wektora X ~ to jedyny Niech E kX d wektor m ∈ R taki, że ~ i = hx, mi, E hx, X x ∈ Rd . Wniosek ~ jest wektorem losowym o wartościach w Rn , Jeżeli X n ~ , to A : R → Rm jest odwzorowaniem liniowym i istnieje E X ~ istnieje EA(X ) i mamy ~ )) = A E X ~ ). E (A(X Procesy stochastyczne Wykład I: Istnienie procesów stochastycznych Informacje ogólne Procesy stochastyczne. Twierdzenie Kołmogorowa Istnienie wybranych klas procesów stochastycznych Ciągi niezależnych zmiennych losowych Charakterystyki wektorów losowych i ich transformacje Istnienie procesów gaussowskich Podstawowe charakterystyki wektorów losowych Twierdzenie (Równoważna definicja macierzy kowariancji) ~ k2 < +∞. Macierz kowariancji wektora X ~ jest jedyną Niech E kX symetryczną macierzą Σ wyznaczoną przez formę kwadratową ~ − EX ~ i2 = Var (hx, X ~ i) = hx, Σ xi, E hx, X x ∈ Rd . ~ ) jest więc jedyną macierzą Σ spełniającą związek Cov (X ~ −E X ~ ihy, X ~ −E X ~ i = cov (hx, X ~ i, hy, X ~ i) = hx, Σ yi, x, y ∈ Rd . E hx, X Wniosek ~ jest wektorem losowym o wartościach w Rn , Jeżeli X n ~ k2 < +∞, to A : R → Rm jest odwzorowaniem liniowym i E kX ~ )) i mamy Cov (A(X ~ )) = ACov (X ~ )AT . istnieje Cov (A(X Procesy stochastyczne Wykład I: Istnienie procesów stochastycznych Informacje ogólne Procesy stochastyczne. Twierdzenie Kołmogorowa Istnienie wybranych klas procesów stochastycznych Ciągi niezależnych zmiennych losowych Charakterystyki wektorów losowych i ich transformacje Istnienie procesów gaussowskich Istnienie procesów gaussowskich Definicja Procesem gaussowskim nazywamy proces stochastyczny, którego wszystkie rozkłady skończenie wymiarowe są normalne (wielowymiarowe). Wniosek Jeżeli {Xj } jest procesem gaussowskim, to funkcja ~n = X1 , X2 , . . . , Xn T jest charakterystyczna wektora losowego Y postaci Ee ~Y ~n i ihθ, = Ee i( Pn θX) j=1 j j ~ EY ~n i − 1/2hθ, ~ Cov (Y ~n )θi ~ . = exp ihθ, Procesy stochastyczne Wykład I: Istnienie procesów stochastycznych Informacje ogólne Procesy stochastyczne. Twierdzenie Kołmogorowa Istnienie wybranych klas procesów stochastycznych Ciągi niezależnych zmiennych losowych Charakterystyki wektorów losowych i ich transformacje Istnienie procesów gaussowskich Istnienie procesów gaussowskich Twierdzenie Niech aj ∈ R1 , j ∈ N będzie dowolnym ciągiem liczbowym, a {ρij , i, j ∈ N} będzie nieskończoną macierzą symetryczną (ρij = ρji ) i nieujemnie określoną (tzn. dla każdego n macierz {ρij ; 1 ¬ i, j ¬ n} jest nieujemnie określona). Istnieje proces gaussowski {Xj } taki, że Xj ∼ N (aj , ρii ) i cov (Xi , Xj ) = ρij . Procesy stochastyczne Wykład I: Istnienie procesów stochastycznych