[D]

Wykład 6
Prawa wielkich liczb
Ciągi zmiennych losowych
(Ω, B, P) - przestrzeń probabilistyczna
X1(ω), X2(ω), X3(ω),....- ciąg losowy
(jeŜeli ω jest ustalone to mamy ciąg liczbowy)
Przykład (Plucińska):
Ω= [0,1), oraz P określa rozkład jednostajny na B.
Konstruujemy ciąg losowy w poniŜszy sposób:
1
dla ω ∈ [k / n, (k + 1) / n )
0
dla ω ∈ Ω \ [k / n, (k + 1) / n )
Xkn(ω) =
gdzie n = 1, 2,....., oraz 0 ≤ k ≤ n – 1.
X01(ω), X02(ω), X12(ω), X03(ω), X13(ω), X23(ω), X04(ω), X14(ω), X24(ω), X34(ω),....
Na przykład:
jeŜeli ω = 0, to 1, 1, 0, 1, 0, 0, 1, 0, 0, 0, 1, 0, 0, 0, 0,....
jeŜeli ω = 1 /4, to 1, 1, 0, 1, 0, 0, 1, 0, 0, 0, 0, 1, 0, 0, 0,...
jeŜeli ω = 3 / 4, to 1, 0, 1, 0, 0, 1, 0, 0, 0, 1, 0, 0, 0, 1, 0,...
MoŜemy zauwaŜyć, Ŝe
P{Xkn(ω) = 1} = 1 / n, oraz P{Xkn(ω) = 0} = (n - 1) / n.
Ciągi zmiennych losowych
(Ω, B, P) - przestrzeń probabilistyczna
X1(ω), X2(ω), X3(ω),....- ciąg losowy
(jeŜeli ω jest ustalone to mamy ciąg liczbowy)
Def.: Ciąg zmiennych losowych {Xn(ω)} n =1,2,3,... jest zbieŜny do
pewnej stałej c:
(a) według prawdopodobieństwa, lub słabo Xn(ω) → c, jeŜeli
wg pr.
(∀ε > 0) lim P(| Xn – c| > ε) = 0
n→∞
(b) prawie wszędzie, lub prawie na pewno, lub z prawdopodobieństwem 1,
lub mocno Xn(ω) → c, jeŜeli P(lim Xn = c) = 1
n → ∞.
z p. 1
(c) według średniej kwadratowej Xn(ω) → c, jeŜeli
śr kw.
lim E(Xn - c)2 = 0
n→∞
Ciąg zmiennych losowych {Xn(ω)} n = 1,2,3,.. jest zbieŜny do zmiennej
losowej X(ω) w sensie (a
( ), (b
( ), lub (c), jeŜeli ciąg Xn(ω) - X(ω) jest
zbieŜny do zera w odpowiednim sensie.
Ciąg zmiennych losowych {X
{ n(ω)} (n =1,2,3,...) jest zbieŜny do
zmiennej losowej X(ω) według dystrybuanty
Xn(ω) -F→ X(ω),
jeŜeli ciąg dystrybuant Fn zmiennych losowych {X
{ n(ω)} (n =1,2,3,...)
jest zbieŜny do dystrybuanty F zmiennej losowej Xn(ω) w kaŜdym
punkcie ciągłości funkcji F(x):
lim Fn(x) = F(x)
n→∞
Tw. 6.1: ZbieŜność według średniej kwadratowej pociaga za sobą
zbieŜność według prawdopodobieństwa.
Dowód z nierówności Czebyszewa
Tw. 6.2: ZbieŜność mocna pociągą za sobą zbieŜność według
prawdopodobieństwa.
.
Tw. 6.3: JeŜeli zbieŜność według średniej kwadratowej zachodzi w taki
sposób, Ŝe Σ E(Xn - c)2 < ∞, to zachodzi równieŜ zbieŜność mocna.
n
Tw. 6.4 : Ciąg zmiennych losowych {Xn(ω)} (n =1,2,3,...) jest zbieŜny
według prawdopodobieństwa do zera wtedy i tylko wtedy, gdy ciąg
dystrybuant {Fn} spełnia zaleŜność:
0 dla x < 0
lim Fn(x) =
n→∞
1 dla x > 0
Przykłady:
Prawa wielkich liczb
{Xi(ω)} - ciąg losowy, i =1,2,3,...
mi = E(Xi) - wartość oczekiwana zmiennej losowej Xi(ω).
_ __
Xn – uśredniona suma n pierwszych wyrazów ciągu losowego {Xi(ω)}
_
Xn = (1 / n) Σ Xi
i = 1,....,n
_
mn = (1 / n) Σ mi
i = 1,....,n
_ _
JeŜeli ma miejsce zbieŜność Xn - mn → 0, to mówimy, Ŝe zachodzi
prawo wielkich liczb.
W przypadku, gdy jest to zbieŜność według prawdopodobieństwa, to
mówimy o słabym prawie wielkich liczb (SPWL), natomiast w
przypadku zbieŜności z prawdopodobieństwem 1 mówimy o mocnym
prawie wielkich liczb (MPWL) (Ciąg oszacowań jest zbieŜny w jakimś
sensie do prawdziwej wartości parametru).
Tw. Czebyszewa (SPWL): Niech E(Xi) = mi, V(Xi) = σ i2, oraz cov(Xi, Xj)
= 0 dla i ≠ j.
Wtedy, jeŜeli
lim { (1/ n2) Σ σi2 } = 0, lub (1/ n2) Σ σi2 → 0
n→∞
i≤n
i≤n
n→∞
_
_ p
to dla ciągu {Xi} zachodzi słabe prawo wielkich liczb Xn - mn → 0.
Dowód z nierówności Czebyszewa.
Przypadek szczególny I: Zmienne Xi są niezaleŜne oraz ich wariancja
wspólnie ograniczona ((∀i) σi2 < c).
Przypadek szczególny II: Prawo wielkich liczb w schemacie
Bernoulliego:
k / n → p (częstość jest zbieŜna do prawdopodobieństwa)
n→∞
Pierwsze twierdzenie Kołmogorowa (MPWL) JeŜeli {Xi} jest ciągiem
niezaleŜnych zmiennych losowych o wariancjach V(Xi) i spełniony jest
warunek
Σ (V(Xi) / i2 ) < ∞
i
to zachodzi zbieŜność z prawdopodobieństwem 1 (MPWL):
_
_ p.w.
Xn - mn → 0
n→∞
Drugie twierdzenie Kołmogorowa (MPWL) Niech {Xi} będzie ciągiem
niezaleŜnych zmiennych losowych o jednakowych rozkładach.
Warunkiem koniecznym i dostatecznym zbieŜności z
prawdopodobieństwem 1
_
_ z p. 1
Xn - mn → 0
n→∞
jest istnienie wartości oczekiwanych (∀i ) E(Xi) = mi < ∞.
Centralne twierdzenie graniczne
(1 / n) Σ Xi → m
i = 1,....,n
(1 / n1/2) Σ Xi
i = 1,...., n
n→∞
→ N(m,σ)
n→∞
Yn = X1 + X2 + ............+ Xn
Xi - niezaleŜne zmienne losowe o jednakowym rozkładzie
(E(Xi) = m, V(Xi) = σ2)
E(Yn) = n m; V(Yn) = n σ2
I(n) = (Yn - n m) / (n1/2 σ) - zmienna standaryzowana
Tw. Lindeberga - Levy'ego: Gdy n rośnie do nieskończoności, to rozkład
zmiennej standaryzowanej I(n) dąŜy do rozkładu normalnego N(0,1), tzn.
b
lim P{a < I(n) < b } = (2π)-1/2
∫ e - t2 / 2
n→∞
a
Dowód twierdzenia poprzez funkcje charakterystyczne.
dx
Całkowanie metodą Monte Carlo
E(g) - wartość przeciętna funkcji g(x) zdefiniowanej na odcinku [a,b].
b
b
E(g) = ∫ g(x) f(x) dx = ∫ f(x) / (b - a) dx
a
a
gdzie f(x) = 1/(b - a) - gęstość rozkładu jednostajnego na odcinku [a,b].
( x1, g(x1), ( x2, g(x2), ( x3, g(x3),.... - ciąg uczący (liczby xi losowane są
zgodnie z rozkładem jednostajnym na odcinku [a, b])
p.w.
Σ g(xi) / n → E(g)
i ≤ n
stąd
n→∞
b
I = (b - a) Σ g(xi) / n → ∫ g(x) dx
i ≤ n
n→∞
a
V(I) = V(g) / n (wariancja zmiennej I )
Zastosowanie metody Monte Carlo w szacowaniu parametrów
Przykład: Średni czas Ti niezawodnej pracy układu opisanego za pomocą
rozkładu wykładniczego o gęstości fi(t):
(1/ Ti) exp (- t / Ti), gdy t ≥ 0
fi(t) =
0
, gdy t < 0
T1 – średni czas niezawodnej pracy układu 1 (E1(t) = T1)
T2 – średni czas niezawodnej pracy układu 2 (E2(t) = T2)
JeŜeli układ 1 i układ 2 połączone są równolegle, to T = max{T1, T2}.
JeŜeli układ 1 i układ 2 połączone są szeregowo, to T = min{T1, T2}.
gdzie T jest średnim czasem niezawodnej pracy całego układu.
Zastosowanie metody Monte Carlo w szacowaniu parametrów
n niezaleŜnych zmiennych losowych X1, X2,........, Xn o dystrybuantach
Fi(x) = P(Xi < x).
U, V - czasy niezawodnego działania przy połączeniu szeregowym i
równoległym
U = min {X1, X2,........, Xn} ( struktura szeregowa)
V = max{X1, X2,........, Xn} ( struktura równoległa)
G(x) = P(U < x) = 1 - P(U ≥ x) = 1 - P(X1 ≥ x, X2 ≥ x,....., Xn ≥ x)
n
= 1 - P(X1 ≥ x) P(X2 ≥ x).....P(Xn ≥ x) = 1 - Π (1 - Fi(x))
i =1
n
H(x) = P(V < x) = P(X1 < x, X2 < x,....., Xn < x ) = Π Fi(x)
i =1
JeŜeli zmienne Xi mają identyczny rozkład o dystrybuancie F(x), to:
G(x) = 1 – [1 - F(x)]n, oraz H(x) = [F(x)]n
Zastosowanie metody Monte Carlo w szacowaniu parametrów
Przykład (Kubik):
Czasy Ti niezawodnego działania elementów Ei (i = 1,2,...,5) mają taki
sam rozkład wykładniczy o gęstości f(t):
a e-at dla t ≥ 0
f(t) =
0
dla t < 0
Struktura układu:
E3
E1
E2
E5
E4
T - czas niezawodnego działania całego układu
T = min{T1, T2, max{T3, T4}, T5}
E(T) = ?
Generujemy wielokrotnie sekwencję pięciu liczb:
(T1j, T2j, T3j, T4j, T5j ) j = 1,......, m
znajdujemy Tj = minj{T1j, T2j, max{T3j, T4j}, T5j}
E(T) j== 1,...,m
Σ Tj / m