(Microsoft PowerPoint - MPiS_wd7 [tryb zgodno\234ci])

METODY PROBABILISTYCZNE
I STATYSTYKA
WYKŁAD 7: PRAWA WIELKICH LICZB.
Nierówność Czebyszewa
Jeśli X jest dowolną zmienną losową o wartości oczekiwanej równej m i
skończonej wariancji, to dla każdego ε > 0 jest spełniona nierówność:
TWIERDZENIA GRANICZNE.
Małgorzata Krętowska
Politechnika Białostocka
Nierówność Czebyszewa
ε2
Ciągi zmiennych losowych
Zmienna losowa (częstość): Y=X/n,
gdzie X - liczba sukcesów w n próbach (E(X)=np V(X)=npq)
E(Y)=p; V(Y)=pq/n
P{Y − p ≥ ε } ≤
V (X )
Interpretacja: Jeżeli chcemy policzyć prawdopodobieństwo, że pewna
zmienna losowa X różni się od swojej wartości oczekiwanej o pewną
stałą, a nie znamy rozkładu tej zmiennej losowej, wówczas korzystamy z
nierówności Czebyszewa.
Wydział Informatyki
P{ X − m ≥ ε } ≤
X=
Zmienna losowa
E ( X ) = m, V ( X ) =
σ2
pq
nε 2
X1 + X 2 + K + X n
n
n
gdzie E(X1) = ... =E(Xn)=m; V(X1)= ... =V(Xn)=σ2
{
Dana jest przestrzeń probabilistyczna (Ω, ϕ, P) i w
tej przestrzeni zmienne losowe X1, X2, ... . Ciąg
tych zmiennych losowych będziemy oznaczać
przez {Xn} i nazywać ciągiem losowym.
}
P X −m ≥ε ≤
σ2
nε 2
Mówimy, że {Xn} jest ciągiem niezależnych
zmiennych losowych, jeśli dla każdego n>1
zmienne losowe X1, X2,..., Xn są niezależne.
Rodzaje zbieżności ciągów
Rodzaje zbieżności ciągów
Ciąg losowy jest {Xn} jest zbieżny do zmiennej
losowej X według prawdopodobieństwa
(stochastycznie, według miary), jeśli dla każdego
ε>0
lim P ( X n − X ≥ ε ) = 0 ( X n wg

→X)
pr .
n →∞
Ciąg losowy jest {Xn} jest zbieżny
średniokwadratowo do zmiennej losowej X,
jeśli
2
lim E (| X n − X | ) = 0 (l.i.m. X n = X )
n →∞
(dotyczy zmiennych losowych mających moment rzędu drugiego, E(Xn2) <∞,
E(X2) <∞)
Ciąg losowy jest {Xn} jest zbieżny do zmiennej
losowej X z prawdopodobieństwem 1, jeśli
P[lim( X n − X ) = 0] = 1 ( X n z
→ X )
pr .1
n →∞
zbieżność średniokwadratowa
zbieżność z prawdopodobieństwem 1
zbieżność według prawdopodobieństwa
Prawa wielkich liczb
Prawo wielkich liczb Markowa
Niech {Xn} będzie ciągiem zmiennych losowych, dla których EXi=mi<∞
dla i∈N oraz
1 n
1 n
X n = ∑ X i , EX n = ∑ EX i
n i =1
n i =1
Jeśli ciąg losowy {Xn} jest taki, że
Jeżeli dla losowego ciągu {Xn} i dla dowolnego ε>0
lim P(| X n − EX n |≥ ε ) = 0
1  n

V ∑ Xk  = 0
n →∞ n 2
 k =1 
lim
to dla ciągu losowego {Xn} zachodzi słabe prawo wielkich liczb.
n→∞
to mówimy, że dla dowolnego ciągu zachodzi słabe prawo wielkich liczb.
W przypadku, gdy przy tym samym założeniu:
P[ lim | X n − EX n |= 0) = 1
n →∞
mówimy, że dla losowego ciągu {Xn} zachodzi mocne prawo wielkich liczb.
Jeżeli zmienne losowe X1, X2, ... są niezależne to z własności wariancji
wynika, że powyższy warunek przyjmuje postać:
1
n →∞ n 2
lim
n
∑σ
2
k
=0
k =1
gdzie σk jest wariancją zmiennej losowej Xk, k=1,2,...
Dowód
Prawo wielkich liczb Czebyszewa
Oznaczmy:
1 n
1 n
X n = ∑ X i , EX n = ∑ EX i
n i =1
n i =1
(szczególny przypadek prawa wielkich liczb Markowa)
Jeśli zmienne losowe X1, X2, ... są niezależne i ich wariancje σk są wspólnie
ograniczone tzn. istnieje σ takie, że
Z nierówności Czebyszewa wynika, że dla każdego ε>0 mamy

1 n
P (| X n − EX n |≥ ε ) = P ∑ ( X k − EX k )  ≤

 n k =1
n
1 1 

⋅ 2 V  ∑ X k  → 0, gdy n → ∞
2
ε n  k =1 
Prawa wielkich liczb (twierdzenia)
Prawo wielkich liczb Chinczyna
Jeśli {Xn} jest ciągiem niezależnych zmiennych losowych o
jednakowych rozkładach, mających wartość przeciętną m, to dla
ciągu {Xn} zachodzi słabe prawo wielkich liczb.
Mocne prawo wielkich liczb Kołmogorowa
Jeśli {Xn} jest ciągiem niezależnych zmiennych losowych o
wariancjach V(Xn) i spełniony jest warunek
∞
V (Xn)
<∞
n2
i =1
∑
to dla ciągu losowego {Xn} zachodzi mocne prawo wielkich liczb.
σ k2 < σ 2 dla k = 1,2,...
to dla ciągu losowego {Xn} zachodzi słabe prawo wielkich liczb.
Dowód:
1
n2
n
∑σ
2
k
≤σ 2
k =1
1
→ 0, gdy n → ∞
n
Integralne twierdzenie graniczne
Moivre’a-Laplace’a
Niech Xn będzie zmienną losową o rozkładzie dwumianowym B(n,p) (nliczba doświadczeń, p-prawdopodobieństwo sukcesu) i
niech X będzie zmienną losową o rozkładzie normalnym z wartością
oczekiwaną m=np z odchyleniem standardowym σ= √npq (N(np, √npq)).
Oznaczmy przez Fn(x) wartość dystrybuanty zmiennej losowej Xn w punkcie
x i przez F(x) wartość dystrybuanty zmiennej losowej X w punkcie X.
Między dystrybuantami zachodzi związek:
lim Fn ( x) = F ( x)
n →∞
Interpretacja: Jeśli liczba prób jest duża to rozkład zmiennej losowej Xn o
rozkładzie B(n,p) można przybliżyć rozkładem N(np, √npq). Im większe n
tym przybliżenie jest lepsze. W praktyce przyjmuje się, że przybliżenie
jest wystarczająco dobre dla n>30.
Centralne twierdzenie graniczne
Lindeberga-Levy’ego
Załóżmy, że dany jest ciąg X1, X2, ..., Xn niezależnych zmiennych losowych
o jednakowym rozkładzie oraz
E(X1) = E(X2) = ... =E(X1) = m i
V(X1) = V(X2) = ... =V(X1) = σ2.
Oznaczając przez Yn następującą zmienną losową:
Yn = X1 + X2 + ... + Xn
otrzymujemy: E(Yn)=nm, V(Yn)=nσ2.
Centralne twierdzenie graniczne mówi, że jeśli n jest duże, to rozkład
zmiennej losowej Yn można przybliżyć rozkładem normalnym z
wartością oczekiwaną nm i odchyleniem standardowym σ√n:
Yn - N(nm, σ√n)