17. Prawa Wielkich Liczb Twierdzenie 17.1 Niech zmienna losowa ξ

17. Prawa Wielkich Liczb
Twierdzenie 17.1
Niech zmienna losowa ξ będzie nieujemna z prawdopodobieństwem 1 (to znaczy
P (ξ ­ 0) = 1). Wówczas zachodzi nierówność
P ({ω ∈ Ω: ξ(ω) ­ ε}) ¬
Eξ
ε
dla każdego ε > 0.
Wniosek 17.1 (nierówność Czebyszewa)
Dla dowolnej zmiennej losowej ξ zachodzi nierówność
P ({ω ∈ Ω: |ξ(ω) − Eξ| ­ ε}) ¬
D2 ξ
ε2
dla każdego ε > 0.
Dowód:
Przyjmijmy η = (ξ − Eξ)2 . Dla η można zastosować powyższe twierdzenie
P (η ­ ε) ¬
Eη
ε
Ustalmy zatem ε > 0. Wówczas
P (|ξ − Eξ| ­ ε) = P ((ξ − Eξ)2 ­ ε2 ) = P (η ­ ε2 ) ¬
Eη
E(ξ − Eξ)2
D2 ξ
=
=
ε2
ε2
ε2
Niech {ξn } będzie ciągiem zmiennych losowych oraz istnieją skończone wartości oczekiwane Eξn , dla n = 1, 2, . . .
Utwórzmy dla ustalonego ω ∈ Ω średnią arytmetyczną zmiennych losowych ξn
n
1X
ξk
n k=1
Ponadto
n
n
1X
1X
E
ξk =
Eξk
n k=1
n k=1
!
Definicja 17.1
Mówimy, że ciąg {ξn } spełnia prawo wielkich liczb, jeśli ciąg
n
n
1X
1X
ξk −
Eξk
n k=1
n k=1
(∗)
jest zbieżny do zera według prawdopodobieństwa.
Jeżeli natomiast ciąg (∗) zmieża do zera z prawdopodobieństwem 1, to mówimy, że
ciąg {ξn } spełnia mocne prawo wielkich liczb.
Twierdzenie 17.2
Niech zmienne losowe ξn (dla n = 1, 2, . . .) będą niezależne i mają ten sam rozkład
z wartością oczekiwaną Eξn = a i wariancją D2 ξn = σ 2 . Wówczas dla każdego ε > 0
zachodzi
!
ξ + . . . + ξ
σ2
n
1
P − a ­ ε ¬ 2
n
nε
(zatem ciąg {ξn } spełnia prawo wielkich liczb).
Uwaga 17.1
Powyższe twierdzenie stosuje się do zmiennych losowych związanych z próbami Bernoulli’ego.
Przykład 17.1
Niech ξn będzie zmienną losową związaną z wynikiem n−tej próby Bernoulli’ego.
Niech p oznacza sukces, a 1 − p porażkę w pojedynczym doświadczeniu. Zatem
P (ξn = 0) = 1 − p
P (ξn = 1) = p
Oczywiście zmienne losowe ξn są niezależne (jako wyniki niezależnych prób). Niech
Sn =
n
X
ξk
k=1
Sn oznacza ilość sukcesów w n próbach. Ponadto Sn /n możemy interpretować jako
relatywną częstość sukcesów. Dla zmiennych losowych ξn mamy
Eξn = p
D2 ξn = p(1 − p)
Zatem na mocy powyższego twierdzenia dla każdego ε > 0 mamy
Sn
lim P − p ­ ε = 0
n→∞
n
Uwaga 17.2
Bernoulli powyższe twierdzenie wypowiedział następująco:
Relatywna częstość sukcesów w serii niezależnych eksperymentów zmieża według
prawdopodobieństwa (stochastycznie) do prawdopodobieństwa sukcesu w jednej probie, gdy liczba prób rośnie do nieskończoności.
Twierdzenie 17.3 (prawo wielkich liczb Chinczyna)
Niech {ξn } będzie ciągiem niezależnych zmiennych losowych o tym samym rozkładzie
i niech Eξ = a. Wówczas ciąg {ξn } spełnia prawo wielkich liczb, tzn.
Sn = ξ1 + . . . + ξn ∧ Eξn = na
⇒
Sn P
→ a
n
Twierdzenie 17.4 (prawo wielkich liczb Markowa)
Niech {ξn } będzie dowolnym ciągiem zmiennych losowych takim, że
1 2
lim
D
n→∞ n2
n
X
!
ξi = 0
i=1
Wówczas ciąg {ξn } spełnia prawo wielkich liczb.
Twierdzenie 17.5 (I mocne prawo wielkich liczb Kołmogorowa)
Niech {ξn } będzie ciągiem niezależnych zmiennych losowych, dla których istnieją
wartości oczekiwane Eξn oraz wariancje D2 ξn oraz zachodzi warunek
∞
X
k=1
1 2
D ξk < ∞
k2
Wówczas ciąg {ξn } spełnia mocne prawo wielkich liczb.
Przykład 17.2
Niech {ξn } będzie ciągiem zmiennych losowych niezależnych oraz niech ξn ma rozkład
z gęstością (dla n = 1, 2, . . .)
1
(x − cn )2
√
fn (x) = √ √
exp
−
π4n
n
!
c ∈ (0, 1)
Wówczas ξn ∼ N (m, σ 2 ), gdzie
√
m=c
n
2
σ =
n
2
Zauważmy, że
D2 ξn
1
= r
2
n
2n
3
r=
2
∞
X
D2 ξk
!
⇒
k2
k=1
<∞
skąd wnioskujemy, że ciąg {ξn } spełnia mocne prawo wielkich liczb.
Twierdzenie 17.6 (II mocne prawo wielkich liczb Kołmogorowa)
Niech {ξn } będzie ciągiem niezależnych zmiennych losowych o tym samym rozkładzie.
Warunkiem koniecznym i wystarczającym, aby ciąg
n
1 X
ξi
n i=1
był zbieżny do a prawie wszędzie (tzn. aby ciąg {ξn } spełniał mocna prawo wielkich
liczb) jest aby istniała wartość oczekiwana Eξn = a (dla n = 1, 2, . . .).
Niech (Ω, F, P ) będzie przestrzenią probabilistyczną. Utwórzmy ciąg zdarzeń {An },
gdzie An ∈ F . Wprowadźmy następujące oznaczenia
A∗ =
∞
\
∞
[
Ak
∞
[
A∗ =
n=1 k=n
∞
\
Ak
n=1 k=n
Zbiór A∗ jest granicą górną ciągu {Ak }, tzn. ω ∈ A∗ wtedy i tylko wtedy, gdy ω
należy do nieskończenie wielu zdarzeń z ciągu Ak .
Zbiór A∗ jest granicą dolną ciągu {Ak }, tzn. ω ∈ A∗ wtedy i tylko wtedy, gdy ω należy
do wszystkich zdarzeń Ak począwszy od pewnego zdarzenia Ap (ω ∈ A∗ , k ­ p).
Zauważmy, że wyżej określonych zbiorów zachodzi
(A∗ )0 =
∞
[
∞
\
A0k
A∗ ⊂ A∗
n=1 k=n
Lemat 17.1 (I lemat Borela–Cartelli’ego)
Jeżeli
∞
X
P (An ) < ∞
n=1
to P (A∗ ) = 0.
Lemat 17.2 (II lemat Borela–Cartelli’ego)
Jeżeli ciąg {An } jest ciągiem zdarzeń niezależnych oraz
∞
X
n=1
to P (A∗ ) = 1.
P (An ) = ∞
Twierdzenie 17.7 (Moivre’a–Laplace’a)
Niech {ξn } będzie ciągiem niezależnych zmiennych losowych o rozkładzie dwupunktowym, tzn.:
P (ξn = 1) = p
P (ξn = 0) = q
p+q =1
Niech Sn = ξ1 + . . . + ξn oraz
Sn − np
ζn = √
npq
Wówczas ciąg dystrybuant Fn (x) odpowiadających zmiennym losowym ζn słabo
zmierza do dystrybuanty rozkładu normalnego N (0, 1)
d
ζn → ξ
Fn (x) → Φ(x)
!
1 Zx
t2
Φ(x) = √
exp −
dt
2
2π −∞
Twierdzenie 17.8 (centralne twierdzenie graniczne)
Niech {ξn } będzie ciągiem niezależnych zmiennych losowych o tym samym rozkładzie
z wartością oczekiwaną Eξn = a oraz wariancją D2 ξn = σ 2 , gdzie 0 < σ 2 < ∞
(n = 1, 2 . . .). Niech Sn = ξ1 + . . . + ξn oraz
Sn − np
ζn = √
npq
Wówczas ciąg dystrybuant Fn (x) odpowiadających zmiennym losowym ζn słabo
zmierza do dystrybuanty rozkładu normalnego N (0, 1).
(ESn = na, D2 Sn = nσ 2 ).
GRZEGORZ GIERLASIŃSKI