Procesy stochastyczne

Transkrypt

Procesy stochastyczne
Informacje ogólne
Procesy stochastyczne. Twierdzenie Kołmogorowa
Istnienie wybranych klas procesów stochastycznych
Procesy stochastyczne
Wykład I:
Istnienie procesów stochastycznych
2 marca 2015
Procesy stochastyczne
Wykład I: Istnienie procesów stochastycznych
Informacje ogólne
Procesy stochastyczne. Twierdzenie Kołmogorowa
Istnienie wybranych klas procesów stochastycznych
Forma zaliczenia
Literatura
Forma zaliczenia przedmiotu
1
Zaliczenie ćwiczeń rachunkowych.
2
Egzamin ustny z teorii
3
Do wykładu przygotowane są materiały dydaktyczne mojego
autorstwa „Procesy stochastyczne. Treść wykładów”.
4
Te materiały oraz prezentacje z wykładów dostępne będą na
mojej stronie www.mat.umk.pl/ãdjakubo.
Procesy stochastyczne
Wykład I: Istnienie procesów stochastycznych
Informacje ogólne
Procesy stochastyczne. Twierdzenie Kołmogorowa
Istnienie wybranych klas procesów stochastycznych
Procesy stochastyczne
Forma zaliczenia
Literatura
Wykład I: Istnienie procesów stochastycznych
Informacje ogólne
Procesy stochastyczne. Twierdzenie Kołmogorowa
Istnienie wybranych klas procesów stochastycznych
Forma zaliczenia
Literatura
Literatura podstawowa
1
J. Jakubowski i R. Sztencel „Wstęp do teorii
prawdopodobieństwa”, Script, Warszawa 2004,
2
S. I. Resnick, Adventures in Stochastic Processes, Birkhäuser,
1994.
Procesy stochastyczne
Wykład I: Istnienie procesów stochastycznych
Informacje ogólne
Procesy stochastyczne. Twierdzenie Kołmogorowa
Istnienie wybranych klas procesów stochastycznych
Forma zaliczenia
Literatura
Literatura uzupełniająca
1
A.A. Borowkow, Rachunek prawdopodobieństwa, PWN,
Warszawa 1975.
2
O. Häggström, Finite Markov chains and algorithmic
applications, Cambridge University Press, Cambridge 2008.
Procesy stochastyczne
Wykład I: Istnienie procesów stochastycznych
Informacje ogólne
Procesy stochastyczne. Twierdzenie Kołmogorowa
Istnienie wybranych klas procesów stochastycznych
Funkcje Rademachera
Procesy stochastyczne
Zgodność rozkładów i twierdzenie Kołmogorowa
Przykład: funkcje Rademachera
Skończony schemat Bernoullego
Ω = {0, 1}N , F = 2Ω , P(A) = #A
#ω , Xk (ω1 , ω2 , . . . , ωN ) = ωk ,
k = 1, 2, . . . , N. Zmienne {Xk ; k = 1, 2, . . . , N} tworzą skończony
schemat Bernoullego z prawdopodobieństwem sukcesu p = 1/2.
Czy istnieje ciąg nieskończony takich zmiennych?
Funkcje Rademachera
Ω = [0, 1], F = B 1 , P = ` |[0,1] , fn (x) = sign sin 2n πx ,
n = 1, 2, . . .. Rozwijając wzór otrzymujemy
(
fn (x) =
(−1)i−1
−1
jeśli i−1
2n ¬ x <
jeśli x = 1.
i
2n , i
= 1, 2, . . . , 2n ,
Rysunek przekonuje o niezależności!
Procesy stochastyczne
Wykład I: Istnienie procesów stochastycznych
Informacje ogólne
Procesy stochastyczne. Twierdzenie Kołmogorowa
Istnienie wybranych klas procesów stochastycznych
Funkcje Rademachera
Procesy stochastyczne
Zgodność rozkładów i twierdzenie Kołmogorowa
Pojęcie procesu stochastycznego
Definicja
Procesem stochastycznym nazywamy rodzinę zmiennych losowych
{Xt ; t ∈ T}, indeksowanych podzbiorem T ⊂ R1 i określonych na
tej samej przestrzeni probabilistycznej (Ω, F, P).
Zbiór indeksów T jest interpretowany jako czas i zwykle jest
postaci N, Z (wtedy mówimy o „procesie stochastycznym z
czasem dyskretnym”) lub [0, 1], [0, T ] (gdzie T > 0), R+ , R1
(„proces stochastyczny z czasem ciągłym”).
Uwaga: Jeśli zmienne losowe {Xu ; u ∈ U} są określone na
wspólnej przestrzeni probabilistycznej, a zbiór U jest podzbiorem
R2 lub innej przestrzeni „wielowymiarowej”, to rodzinę {Xu }
zwykle nazywa się polem losowym.
Procesy stochastyczne
Wykład I: Istnienie procesów stochastycznych
Informacje ogólne
Procesy stochastyczne. Twierdzenie Kołmogorowa
Istnienie wybranych klas procesów stochastycznych
Funkcje Rademachera
Procesy stochastyczne
Zgodność rozkładów i twierdzenie Kołmogorowa
Rozkłady skończenie wymiarowe
Definicja
Niech {Xt ; t ∈ T} będzie procesem stochastycznym i niech S ⊂ T
będzie podzbiorem skończonym.
Rozkład PXS wektora losowego XS = {Xt }t∈S (miarę na RS !)
nazywamy rozkładem skończenie wymiarowym procesu {Xt }.
Rozkłady pojedynczych zmiennych losowych Xt nazywamy
rozkładami brzegowymi.
Procesy stochastyczne
Wykład I: Istnienie procesów stochastycznych
Informacje ogólne
Procesy stochastyczne. Twierdzenie Kołmogorowa
Istnienie wybranych klas procesów stochastycznych
Funkcje Rademachera
Procesy stochastyczne
Zgodność rozkładów i twierdzenie Kołmogorowa
Rozkłady skończenie wymiarowe
Uwaga: Rozkłady skończenie wymiarowe istnieją, bo zmienne
losowe budujące proces stochastyczny są określone na wspólnej
przestrzeni probabilistycznej i dlatego dobrze określone są liczby
PXS (B) = P XS ∈ B , B ∈ B S .
To jest silne założenie, nie zawsze spełnione (np. w modelach
mechaniki kwantowej obserwable, czyli odpowiedniki zmiennych
losowych, nie mają rozkładów łącznych).
Procesy stochastyczne
Wykład I: Istnienie procesów stochastycznych
Informacje ogólne
Procesy stochastyczne. Twierdzenie Kołmogorowa
Istnienie wybranych klas procesów stochastycznych
Funkcje Rademachera
Procesy stochastyczne
Zgodność rozkładów i twierdzenie Kołmogorowa
Zgodność rozkładów skończenie wymiarowych
Niech {Xt ; t ∈ T} będzie procesem stochastycznym i niech
S1 ⊂ S2 ⊂ T.
Oznaczmy przez ΠSS21 naturalny „rzut po współrzędnych”
RS2 3 {ts }s∈S2 7→ {ts }s∈S1 ∈ RS1 .
Mamy
PXS1 = PXS2 ◦ ΠSS21
−1
.
Definicja
Własność (1) rozkładów skończenie wymiarowych procesu
stochastycznego nazywamy „zgodnością”.
Procesy stochastyczne
Wykład I: Istnienie procesów stochastycznych
(1)
Informacje ogólne
Procesy stochastyczne. Twierdzenie Kołmogorowa
Istnienie wybranych klas procesów stochastycznych
Funkcje Rademachera
Procesy stochastyczne
Zgodność rozkładów i twierdzenie Kołmogorowa
Twierdzenie Kołmogorowa o istnieniu procesu
stochastycznego
Wniosek
Zgodność w sensie (1) jest warunkiem koniecznym dla istnienia
procesu stochastycznego o zadanych własnościach rozkładów
skończenie wymiarowych.
Twierdzenie
Niech każdemu skończonemu podzbiorowi S ⊂ T odpowiada
rozkład µS określony na (RS , B S ). Jeżeli rodzina rozkładów {µS }
jest zgodna, to istnieje proces stochastyczny {Xt ; t ∈ T}, którego
rozkładami skończenie wymiarowymi są rozkłady {µS }, tzn
PXS = µS ,
Procesy stochastyczne
S ⊂ T.
Wykład I: Istnienie procesów stochastycznych
Informacje ogólne
Procesy stochastyczne. Twierdzenie Kołmogorowa
Istnienie wybranych klas procesów stochastycznych
Funkcje Rademachera
Procesy stochastyczne
Zgodność rozkładów i twierdzenie Kołmogorowa
Twierdzenie Kołmogorowa o istnieniu procesu
stochastycznego
Idea dowodu twierdzenia Kołmogorowa polega na pokazaniu, że na
przestrzeni (RT , B T ) istnieje miara probabilistyczna µ, której rzuty
na produkty skończone pokrywają się z rozkładami µS . Wtedy
wystarczy określić Xt jako rzut na współrzędną t.
Kompletny dowód można znaleźć w podręcznikach Jakubowskiego
i Sztencla oraz Borowkowa.
Procesy stochastyczne
Wykład I: Istnienie procesów stochastycznych
Informacje ogólne
Procesy stochastyczne. Twierdzenie Kołmogorowa
Istnienie wybranych klas procesów stochastycznych
Ciągi niezależnych zmiennych losowych
Charakterystyki wektorów losowych i ich transformacje
Istnienie procesów gaussowskich
Istnienie ciągów niezależnych zmiennych losowych
Twierdzenie
Niech F będzie dystrybuantą na R1 . Istnieje ciąg niezależnych
zmiennych losowych X0 , X1 , X2 , . . . o jednakowym rozkładzie
zadanym przez F .
Taki ciąg czasami nazywamy z angielska „i.i.d” (bo: „independent
identically distributed”).
Twierdzenie
Niech F0 , F1 , F2 , . . . będzie ciągiem dystrybuant na R1 . Istnieje
ciąg niezależnych zmiennych losowych X0 , X1 , X2 , . . . o zadanych
rozkładach: Xj ∼ Fj , j = 0, 1, 2, . . ..
Procesy stochastyczne
Wykład I: Istnienie procesów stochastycznych
Informacje ogólne
Procesy stochastyczne. Twierdzenie Kołmogorowa
Istnienie wybranych klas procesów stochastycznych
Ciągi niezależnych zmiennych losowych
Charakterystyki wektorów losowych i ich transformacje
Istnienie procesów gaussowskich
Podstawowe charakterystyki wektorów losowych
~ = (X1 , X2 , . . . , Xd )T będzie wektorem losowym.
Niech X
~ będzie całkowalna
Niech każda składowa wektora X
~ k < +∞). Wartością oczekiwaną wektora
(równoważnie: E kX
~
X nazywamy wektor wartości oczekiwanych jego składowych:
~ = (EX1 , EX2 , . . . , EXd )T .
EX
~ będzie całkowalna z
Niech każda składowa wektora X
~ k2 < +∞). Macierzą
kwadratem (równoważnie: E kX
~ nazywamy macierz Cov (X
~) o
kowariancji wektora X
współczynnikach
σjk = cov (Xj , Xk ),
1 ¬ j, k ¬ d.
~ nazywamy liczbę
Wariancją wektora X
~ ) := E kX
~ − EX
~ k2 =
Var (X
d
X
~ ).
Var (Xj ) = tr Cov (X
j=1
Procesy stochastyczne
Wykład I: Istnienie procesów stochastycznych
Informacje ogólne
Procesy stochastyczne. Twierdzenie Kołmogorowa
Istnienie wybranych klas procesów stochastycznych
Ciągi niezależnych zmiennych losowych
Charakterystyki wektorów losowych i ich transformacje
Istnienie procesów gaussowskich
Podstawowe charakterystyki wektorów losowych
Twierdzenie (Równoważna definicja wartości oczekiwanej)
~ k < +∞. Wartość oczekiwana wektora X
~ to jedyny
Niech E kX
d
wektor m ∈ R taki, że
~ i = hx, mi,
E hx, X
x ∈ Rd .
Wniosek
~ jest wektorem losowym o wartościach w Rn ,
Jeżeli X
n
~ , to
A : R → Rm jest odwzorowaniem liniowym i istnieje E X
~
istnieje EA(X ) i mamy
~ )) = A E X
~ ).
E (A(X
Procesy stochastyczne
Wykład I: Istnienie procesów stochastycznych
Informacje ogólne
Procesy stochastyczne. Twierdzenie Kołmogorowa
Istnienie wybranych klas procesów stochastycznych
Ciągi niezależnych zmiennych losowych
Charakterystyki wektorów losowych i ich transformacje
Istnienie procesów gaussowskich
Podstawowe charakterystyki wektorów losowych
Twierdzenie (Równoważna definicja macierzy kowariancji)
~ k2 < +∞. Macierz kowariancji wektora X
~ jest jedyną
Niech E kX
symetryczną macierzą Σ wyznaczoną przez formę kwadratową
~ − EX
~ i2 = Var (hx, X
~ i) = hx, Σ xi,
E hx, X
x ∈ Rd .
~ ) jest więc jedyną macierzą Σ spełniającą związek
Cov (X
~ −E X
~ ihy, X
~ −E X
~ i = cov (hx, X
~ i, hy, X
~ i) = hx, Σ yi, x, y ∈ Rd .
E hx, X
Wniosek
~ jest wektorem losowym o wartościach w Rn ,
Jeżeli X
n
~ k2 < +∞, to
A : R → Rm jest odwzorowaniem liniowym i E kX
~ )) i mamy Cov (A(X
~ )) = ACov (X
~ )AT .
istnieje Cov (A(X
Procesy stochastyczne
Wykład I: Istnienie procesów stochastycznych
Informacje ogólne
Procesy stochastyczne. Twierdzenie Kołmogorowa
Istnienie wybranych klas procesów stochastycznych
Ciągi niezależnych zmiennych losowych
Charakterystyki wektorów losowych i ich transformacje
Istnienie procesów gaussowskich
Istnienie procesów gaussowskich
Definicja
Procesem gaussowskim nazywamy proces stochastyczny, którego
wszystkie rozkłady skończenie wymiarowe są normalne
(wielowymiarowe).
Wniosek
Jeżeli {Xj } jest procesem gaussowskim, to funkcja
~n = X1 , X2 , . . . , Xn T jest
charakterystyczna wektora losowego Y
postaci
Ee
~Y
~n i
ihθ,
= Ee
i(
Pn
θX)
j=1 j j
~ EY
~n i − 1/2hθ,
~ Cov (Y
~n )θi
~ .
= exp ihθ,
Procesy stochastyczne
Wykład I: Istnienie procesów stochastycznych
Informacje ogólne
Procesy stochastyczne. Twierdzenie Kołmogorowa
Istnienie wybranych klas procesów stochastycznych
Ciągi niezależnych zmiennych losowych
Charakterystyki wektorów losowych i ich transformacje
Istnienie procesów gaussowskich
Istnienie procesów gaussowskich
Twierdzenie
Niech aj ∈ R1 , j ∈ N będzie dowolnym ciągiem liczbowym, a
{ρij , i, j ∈ N} będzie nieskończoną macierzą symetryczną
(ρij = ρji ) i nieujemnie określoną (tzn. dla każdego n macierz
{ρij ; 1 ¬ i, j ¬ n} jest nieujemnie określona).
Istnieje proces gaussowski {Xj } taki, że Xj ∼ N (aj , ρii ) i
cov (Xi , Xj ) = ρij .
Procesy stochastyczne
Wykład I: Istnienie procesów stochastycznych