1. Pojąecie normy, normy wektora [Kieabasinski, Schwetlick]

1.
Pojecie
˛
normy, normy wektora [Kiełbasiński, Schwetlick]
wektor x ∈ Rd
x = (x1 , x2 , ..., xd )T — wektor, punkt w przestrzeni d-wymiarowej
norma wektora — własności
(1) kxk > 0, kxk = 0 tylko wtedy, gdy x = 0
(2) kaxk = |a| kxk
(3) kx + yk 6 kxk + kyk
norma typu ”suma”
kxk1 = |x1 | + |x2 | + ... |xd | =
d
X
i=1
|xi | — nieujemna liczba rzeczywista (skalar)
x2
d=2
r
-r
r
-r
x1
Okrąg
o promieniu r
norma typu ”maksimum”
kxk∞ = max |xi | — nieujemna liczba rzeczywista (skalar)
i=1,..,d
x2
d=2
r
-r
r
x1
Okrąg
o promieniu r
-r
norma euklidesowa
kxk2 =
√
¡
¢1/2
xT x = x21 + x22 + ...x2d
v
u d
uX
=t
x2i — nieujemna liczba rzeczywista (skalar)
i=1
x2
d=2
r
-r
r
-r
x1
Okrąg
o promieniu r
2.
Normy macierzy
norma macierzy A ∈ Rm,d indukowana przez norme˛ wektora typu p
(
)
n
o
kAxkp
: x 6= 0 = max kAxkp : kxkp 6 1
kAkp = max
kxkp
dla p = 1
kAk1 = max
j=1,...,d
m
X
i=1
|ai,j |
dla p = 2 — tzw. norma spektralna macierzy
dla p = ∞
q
kAk2 = λmax (AT A)
kAk∞ = max
i=1,...,m
d
X
j=1
|ai,j |
3.
Statystyki opisowe zmiennych losowych [Klonecki]
ω — zdarzenie losowe, ω ∈ Ω (Ω — tzw. zbiór zdarzeń elementarnych)
funkcja X(ω) ∈ R — zmienna losowa (tu skalar, może być wektorem)
dyskretne zmienne losowe — gdy zbiór wartości przyjmowanych przez X(ω) jest przeliczalny
wartość oczekiwana :
EX =
X
X(ω)P (ω) — średnie X ważone prawdopodobieństwami (wielkość nie losowa!)
ω∈Ω
©
ª
wariancja varX = E (X − EX)2 — średni kwadrat odchylenia X od EX ważony prawdopodobieństwami
ciagłe
˛
zmienne losowe
f (x) — funkcja gestości
˛
prawdopodobieństwa
Z b
f (x)dx
P (X ∈ (a, b)) =
a
Z ∞
Z ∞
xf (x)dx
varX =
(x − EX)2 f (x)dx
EX =
−∞
4.
−∞
Popularne rozkłady
rozkład jednostajny (ang. uniform distribution) ˜U[a, b]
f (x) =
½
1
b−a ,
gdy x ∈ (a, b)
0, w przeciwnym przypadku
Z
b
1 b2 − a2
a+b
1
dx =
=
— środek przedziału
EX =
x
b−a
b−a 2
2
a
¶2
Z bµ
a+b
(b − a)2
1
x−
dx = ... =
varX =
2
b−a
12
a
rozkład normalny (ang. normal distribution) ˜N(m, σ 2 )
(x−m)2
1
e− 2σ2
f (x) = √
2πσ
EX = m
varX = σ 2
rozkład wykładniczy
f (x) =
½
αe−αx , gdy x > 0
0, w przeciwnym przypadku
EX =
1
α
pakiet STATISTICA — hasło ”dystrybuanty” w indeksie pomocy
5.
Eksperyment
x1 , x2 , ..., xN — ciag
˛ liczb losowych (np. realizacje pewnej zmiennej losowej X)
varX =? — zadanie domowe
6.
Typy zbieżności probabilistycznych
Fakt zbieżności ciagów
˛
deterministycznych (nie losowych)
^_ ^
|ak − g| < ε
lim ak = g ⇔
k→∞
ε>0 k0 k>k0
Szybkość zbieżności ciagów
˛
deterministycznych
symbol o() — ”rzad
˛ niższy”
ak
= 0 ( i oba ciagi
˛ da˛ża˛ do zera)
k→∞ bk
ak = o(bk ) ⇔ lim
symbol O() — ”ta sama szybkość”
ak = O(bk ) ⇔
_
c<∞
|ak | 6 c |bk |
Ciagi
˛ zmiennych losowych {κk }
tutaj operator limk→∞ nie wystarcza, gdyż warunek |ak − g| < ε określa pewne zdarzenie losowe
Definicja 1 Ciag
˛ zmiennych losowych {κk } jest przy k → ∞ zbieżny według prawdopodobieństwa (słabo) do κ # je´sli
dla każdego ε > 0 zachodzi
¯
¯
¯
¯
lim P (¯κk − κ # ¯ > ε) = 0, lub równoważnie lim P (¯κk − κ #¯ < ε) = 1
k→∞
k→∞
˛ {κk } i zapisujemy
Warto´sć κ # nazywamy granica˛ stochastyczna˛ ciagu
P lim κk = κ #
k→∞
(1)
Zapis P limN →∞XN = X dla sekwencji wektorów losowych {XN }, oznacza, że XN → X według prawdopodobieństwa, gdy
N → ∞.
Definicja 2 Ciag
˛ zmiennych losowych {κk } jest przy k → ∞ zbieżny z prawdopodobieństwem 1 (mocno) do κ ∗ je´sli
zachodzi
P ( lim κk = κ ∗ ) = 1
k→∞
Lemat 1 Ze zbieżno´sci z prawdopodobieństwem 1 wynika zbieżno´sć według prawdopodobieństwa.
Definicja 3 Ciag
˛ zmiennych losowych {κk } jest przy k → ∞ zbieżny według ´sredniej z poteg
˛ a˛ r do κ ∗ je´sli zachodzi
lim E |κk − κ ∗ |r = 0
k→∞
w szczególno´sci jest zbieżny według ´sredniej z kwadratem (´sredniokwadratowo), gdy
lim E(κk − κ ∗ )2 = 0
k→∞
˛ O(ek ) według prawdopodobieństwa przy
Definicja 4 Ciag
˛ zmiennych losowych {κk } ma szybko´sć zbieżno´sci rzedu
˛
liczb dodatnich zbieżnym do zera, tzn.
k → ∞ (tj. asymptotycznie), gdzie {ek } jest ciagiem
wtedy i tylko wtedy, gdy
że limk→∞ χk = 0.
n
κk
ek χk
o
κk = O(ek ) według prawdopodobieństwa
jest zbieżny według prawdopodobieństwa do zera dla każdego ciagu
˛ liczbowego {χk }, takiego
˛ O(ek ) według ´sredniej z kwadratem przy
Definicja 5 Ciag
˛ zmiennych losowych {κk } ma szybko´sć zbieżno´sci rzedu
k → ∞ jeżeli istnieje stała 0 ≤ c < ∞, taka, że
Eκk2 ≤ cek
√
Lemat 2 Jeżeli κk = O(ek ) według ´sredniej z kwadratem, to κk = O( ek ) według prawdopodobieństwa.
Definicja 6 Mówimy, że ciag
˛ zmiennych losowych Xk jest zbieżny według rozkładu do zmiennej losowej X, gdy
lim Fk (x) = F (x)
k→∞
7.
Relacje (zwiazki)
˛
pomiedzy
˛
różnymi typami zbieżności
P1
odp. szybko
Lr
P
odp. szybko
D
Dowód faktu P 1 =⇒ P
P
∗
oczywisty, skoro P (limk→∞ κk = κ ∗ ) = 1, to ∞
k=1 P (|κk − κ | < ε) < ∞ i aby szereg ten był zbieżny, musi zachodzić
P (|κk − κ ∗ | < ε) → 0 dla k → ∞
Dowód faktu Lr =⇒ P
z definicji
Z
Z
Z
r
r
r
E |κk − κ ∗ | =
|κk − κ ∗ | dω >
|κk − κ ∗ | dω > εr
dω = εr P (|κk − κ ∗ | > ε)
Ω
{|κk −κ ∗ |>ε}
{|κk −κ ∗ |>ε}
a zatem
P (|κk − κ ∗ | > ε) 6
1
E |κk − κ ∗ |r
r
ε
w szczególność dla r = 2 i κ ∗ = Eκ
P (|κ − Eκ| > ε) 6
Dowód faktu
P∞
k=1 P (|κk
p
p1
1
varκ
ε2
− κ ∗ | < ε) < ∞ i κk → κ ∗ =⇒ κk → κ ∗
P (sup |κk − κ ∗ | > ε) = P (|κk − κ ∗ | > ε dla pewnego (konkretnego) k > k0 ) = P
k>k0
6
∞
X
k=k0
P (|κk − κ ∗ | > ε) → 0, bo szereg jest zbieżny, zaś k0 → ∞
Przykład
p
p1
jeśli P (|κk − κ ∗ | < ε) = O( k1 ) wtedy zachodzi κk → κ ∗ , ale nie zachodzi κk → κ ∗
Problem
p
p
jeżeli κk → κ ∗ , gdy k → ∞, to czy wtedy zachodzi g(κk ) → g(κ ∗ ), gdy k → ∞ ???
Tak — pod warunkiem, że g() jest funkcja˛ ciagł
˛ a˛ w punkcie κ ∗
Ã
∞
[
k=k0
!
(|κk − κ ∗ | > ε)
6
8.
Mocne Prawo Wielkich Liczb Kołmogorowa (wersja podstawowa)
Założenia
(a) X1 , X2 , ..., XN — jest ciagiem
˛
zmiennych losowych typu i.i.d. — niezależnych i o tym samym rozkładzie (ang independent
and identically distributed sequence of random variables)
(b) istnieje EXi = m < ∞
Teza
N
1 X
p1
Xi → m, gdy N → ∞
N i=1
inne wersje MPWL — patrz [Feller], [Krzyśko], [Ninness]
9.
Mocne Prawo Wielkich Liczb Kołmogorowa (wersja bez wymogu i.i.d.)
Założenia
(a) X1 , X2 , ..., XN — jest ciagiem
˛
niezależnych zmiennych losowych, w ogólności o różnych rozkładach
(b) istnieja˛ EXi = mi < ∞
(c) istnieja˛ varXi = σ 2i < ∞
P σ2i
(d) ∞
i=1 i2 < ∞
Teza
N
N
1 X
1 X
p1
Xi −
mi → 0, gdy N → ∞
N i=1
N i=1
10.
Centralne Twierdzenie Graniczne Lindenberga—Levy’ego
Założenia
˛ typu i.i.d. (maja˛ ten nam, ale dowolny rozkład! — niekoniecznie normalny)
(a) X1 , X2 , ..., XN — ciag
(b) istnieje EXi = m < ∞
(c) istnieje varXi = σ 2 < ∞
Teza
PN
i=1 Xi − Nm D
√
→ N (0, 1), gdy N → ∞
σ N
Wnioski — fundamentalne dla zagadnienia estymacji
PN
1
i=1 Xi − m D
N
→ N (0, 1)
σ
√
N
N
1 X
σ2
D
Xi → N (m, )
N i=1
N
Oszacowanie dokładności przybliżenia — nierówność Barry-Essena
oznaczmy κN =
PN
Xi −N m
√
σ N
i=1
33 E |Xi − m|3
√
sup |FκN (x) − Φ(x)| 6
=O
4
x
σ3 N
µ
1
√
N
¶
11.
Analiza korelacyjna procesów
kowariancja — miara zależności liniowej
|cov(X, Y )| 6
cov(X, Y ) = E {(X − EX)(Y − EY )}
√
varXvarY
korelacja (znormalizowana kowariancja)
cov(X, Y )
ξ(X, Y ) = √
varXvarY
|ξ(X, Y )| 6 1
pojecie
˛
procesu losowego (stochastycznego)
X(ω, t) — dla ustalonego momentu czasu t = t0 otrzymujemy zmienna˛ losowa˛ Xt0 (ω)
˛ a˛
funkcja autokowariancji procesu losowego (stacjonarnego) — miara zależności liniowej pomiedzy
˛
Xt0 o przesuniet
o τ zmienna˛ Xt0 +τ
AX (0) = σ2X
AX (τ ) = cov(Xt0 , Xt0 +τ ),
funkcja autokorelacji procesu losowego
cov(Xt0 , Xt0 +τ )
AX (τ )
=
,
rX (τ ) = p
σ2X
varXt0 varXt0 +τ
funkcja kowariancji wzajemnej dwóch procesów — X(ω, t) i Y (ω, t)
WX,Y (τ ) = cov(Xt0 , Yt0 +τ )
funkcja korelacji wzajemnej dwóch procesów — X(ω, t) i Y (ω, t)
rX,Y (τ ) =
WX,Y (τ )
σX σY
rX (0) = 1
12.
Przejście białego szumu przez układ dynamiczny
yk =
∞
X
γ i uk−i
i=0
Założenia
(a) {uk } — proces typu i.i.d.
P
(b) układ jest asymptotycznie stabilny tzn. ∞
i=0 |γ i | < ∞
(c) dla uproszczenia prezentacji niech Euk = 0 i varuk = 1
Autokowariancja procesu uk
½
= varuk = 1, dla τ = 0
= 0, dla τ 6= 0 (na podstawie niezależności uk i uk+τ i założenia (c))
ru (τ ) = Au (τ ) (patrz założenie (c))
Au (τ ) = Euk uk+τ =
Własości procesu yk
Eyk = E
∞
X
γ i uk−i =
i=0
varyk = var
̰
X
∞
X
Eγ i uk−i = Euk
i=0
γ i uk−i
i=0
Ay (τ ) = Eyk yk+τ = E
!
i=0
γi = 0
i=0
=
̰
X
∞
X
∞
X
var (γ i uk−i ) = varuk
i=0
γ i uk−i
∞
X
j=0
γ j uk+τ −j
!
∞
X
γ 2i
i=0
=
= E {(γ 0 uk + γ 1 uk−1 + γ 2 uk−2 + ...) (γ 0 uk+τ + γ 1 uk+τ −1 + γ 2 uk+τ −2 + ... + γ τ uk + γ τ +1 uk−1 + ...)} = varuk
∞
X
i=0
γ i γ i+τ
13.
Popularne nierówności
Nierówność Czebyszewa
P (|κ − Eκ| > ε) 6
1
varκ
ε2
Nierówność Barry-Essena
oznaczmy κN =
PN
Xi −N m
√
σ N
i=1
33 E |Xi − m|3
√
sup |FκN (x) − Φ(x)| 6
=O
4
x
σ3 N
µ
1
√
N
¶
Nierówność Jensena
g() — funkcja wypukła
Eg(X) > g(EX)
Nierówność Höldera
kXkp = (EX p )1/p tzw. p-norma zmiennej losowej
1 1
E |XY | 6 kXkp kY kp0 , gdzie + 0 = 1
p p
Nierówność Schwartza (p = 2, p0 = 2)
|EXY | 6 E |XY | 6
√
EX 2 EY 2
Nierówność Rao-Cramera
E(θN − θ∗ )2 >
N
R∞
−∞
³
1
∂f (x,θ∗ )
∂θ∗
´2
f (x, θ∗ )dx