Rachunek Prawdopodobieństwa I

Transkrypt

WYKLAD Z RACHUNKU PRAWDOPODOBIEŃSTWA I
ADAM OSEKOWSKI
,
1. Aksjomatyka Rachunku Prawdopodobieństwa
Przypuśćmy, że wykonujemy pewien eksperyment losowy. Powstaje natychmiast
pytanie: w jaki sposób opisać go matematycznie?
Przede wszystkim, na pewno możemy mówić o jego potencjalnych ,,najdrobniejszych” wynikach, które bedziemy
nazywać zdarzeniami elementarnymi. Zbiór
,
wszystkich zdarzeń elementarnych oznaczamy litera, Ω, a do oznaczenia zdarzeń
elementarnych bedziemy
zazwyczaj używać litery ω.
,
Przyklady:
1. Rzut moneta:
, możliwe dwa wyniki: Ω = {O, R}.
2. Rzut kostka:
, możliwe sześć wyników: Ω = {1, 2, 3, 4, 5, 6}.
Czesto
nie
interesuje
nas konkretny wynik ω, ale to, czy należy on do wcześniej
,
ustalonego podzbioru zbioru Ω. Takie podzbiory nazywamy zdarzeniami i oznaczamy literami A, B, C, . . ..
Przyklady, c.d.:
3. Rzucamy dwa razy kostka,
, A - suma oczek wynosi 4. Wówczas
Ω = {(i, j) : 1 ≤ i, j ≤ 6}
i
A = {(1, 3), (2, 2), (3, 1)}.
4. Rzucamy moneta, aż do wypadniecia
orla, A - wykonano co najwyżej trzy
,
rzuty. Wówczas
Ω = (O), (R, O), (R, R, O), (R, R, R, O), . . .
i A = (O), (R, O), (R, R, O) .
5. Obrót tarczy w ruletce, A - strzalka zatrzymuje sie, w drugiej ćwiartce.
Wówczas Ω = [0, 2π) i A = [π/2, π].
Szczególne zdarzenia, interpretacje dzialań/relacji na zdarzeniach:
Ω - zdarzenie pewne,
∅ - zdarzenie niemożliwe,
A ∩ B - zaszly oba zdarzenia A, B,
A ∩ B = ∅ - zdarzenia sie, wykluczaja, (sa, rozlaczne),
,
A ∪ B - zaszlo A lub B,
A0 - nie zaszlo A (A0 nazywamy zdarzeniem przeciwnym do A, badź
dopelnieniem
,
zbioru A),
A \ B = A ∩ B 0 - zaszlo A i nie zaszlo B,
A ⊆ B - A pociaga
za soba, B.
,
Przypuśćmy, że mamy określony zbiór Ω i chcemy wyróżnić rodzine, F zdarzeń,
które bedziemy
badać. Pierwszy naturalny pomysl to rozważyć 2Ω - klase, wszys,
tkich możliwych podzbiorów Ω. Wybór ten dobrze sie, sprawdza w sytuacji gdy
Ω jest zbiorem co najwyżej przeliczalnym. Niestety, dla |Ω| > ℵ0 klasa 2Ω jest
zbyt duża - pojawiaja, sie, klopoty z określeniem na niej prawdopodobieństwa 1
2
ADAM OSEKOWSKI
,
co wymusza wybór pewnej wlaściwej jej podrodziny. Z drugiej strony, sensowna
klasa F powinna być zamknieta
na branie sum, iloczynów i zdarzenia przeciwnego;
,
zakladamy wiec,
że
F
jest
pewnym
wyróżnionym σ-cialem podzbiorów Ω. Przy,
pomnijmy odpowiednia, definicje.
,
Definicja 1.1. Rodzine, F podzbiorów Ω nazywamy σ-cialem, jeśli
(i)
(ii)
∅ ∈ F,
A ∈ F ⇒ A0 ∈ F,
(iii) A1 , A2 , . . . ∈ F ⇒
∞
[
An ∈ F.
n=1
Pare, (Ω, F) nazywamy przestrzenia, mierzalna.
,
Przechodzimy teraz do określenia prawdopodobieństwa. Aby zyskać nieco intuicji dotyczacej
tego obiektu i jego wlasności, wygodnie najpierw rozważyć tzw.
,
czestość
zdarzeń.
Zalóżmy, iż w pewnym doświadczeniu interesuje nas prawdopo,
dobieństwo zajścia pewnego zdarzenia A. Powtórzmy to doświadczenie n razy i
zdefiniujmy
liczba doświadczeń w których zaszlo A
.
ρn (A) =
n
Jest to czestość
wzgledna
zajścia zdarzenia A w serii n doświadczeń, i spodziewamy
,
,
sie,
iż
dla
dużych
n
liczba
ρn (A) powinna być bliska szansie zajścia zdarzenia A
,
w pojedynczym doświadczeniu. Jak latwo sprawdzić, ρn przyjmuje wartości w
przedziale [0, 1] oraz posiada nastepuj
ace
wlasności:
,
,
(i) ρn (Ω) = 1,
(ii) jeśli A1 , A2 , . . . sa, parami rozlaczne,
to ρn
,
∞
[
k=1
!
Ak
=
∞
X
ρn (Ak ).
k=1
Prowadzi to do nastepuj
acej
definicji.
,
,
Definicja 1.2 (Aksjomatyka Kolmogorowa). Niech (Ω, F) bedzie
ustalona, przest,
rzenia, mierzalna.
Funkcj
e
P
:
F
→
[0,
1]
nazywamy
prawdopodobieństwem,
jeśli
,
,
(i) P(Ω) = 1,
(ii) dla dowolnych parami rozlacznych
A1 , A2 , . . . ∈ F zachodzi
,
!
∞
∞
[
X
P
Ak =
P(Ak ).
k=1
k=1
Trójke, (Ω, F, P) nazywamy przestrzenia, probabilistyczna.
,
Uwagi:
1. Prawdopodobieństwo jest wiec
, miara, unormowana, na (Ω, F). Czasami be,
dziemy mówić, że P jest miara, probabilistyczna.
,
2. Należy pamietać,
iż przy modelowaniu konkretnego doświadczenia losowego
,
wybór przestrzeni probabilistycznej zależy tylko od nas. W wielu sytuacjach z
warunków doświadczenia wynikaja, pewne postulaty, które w mniej czy bardziej
jednoznaczny sposób zadaja, trójke, (Ω, F, P); czasami jednak tak nie jest (por.
paradoks Bertranda poniżej).
3
Twierdzenie 1.1 (Podstawowe wlasności prawdopodobieństwa). Zalóżmy, że (Ω, F, P)
jest przestrzenia, probabilistyczna, oraz A, B, A1 , A2 , . . . ∈ F. Wówczas
(i) P(∅) = 0.
n
[
(ii) Jeśli A1 , A2 , . . . , An sa, parami rozlaczne,
to P
,
!
Ai
=
i=1
n
X
P(Ai ).
i=1
(iii) P(A0 ) = 1 − P(A).
(iv) Jeśli A ⊆ B, to P(B \ A) = P(B) − P(A) oraz P(A) ≤ P(B).
(v) P(A ∪ B) = P(A) + P(B) − P(A ∩ B).
!
∞
∞
[
X
(vi) P
Ai ≤
P(Ai ).
i=1
i=1
Wlasność (v) z powyższego twierdzenia można uogólnić na przypadek skończonej
liczby zbiorów. Zachodzi nastepuj
acy
fakt.
,
,
Twierdzenie 1.2 (Wzór wlaczeń i wylaczeń).
Jeśli A1 , A2 , . . . , An ∈ F, to
,
P(A1 ∪ A2 ∪ . . . ∪ An ) =
n
X
P(Ai ) −
i=1
X
X
P(Ai ∩ Aj ) +
i<j
P(Ai ∩ Aj ∩ Ak ) − . . .
i<j<k
+ (−1)n+1 P(A1 ∩ A2 ∩ . . . ∩ An ).
Dowody powyższych dwóch twierdzeń sa, bardzo proste i opieraja sie, na wykorzystaniu aksjomatyki Kolmogorowa. Szczególy pozostawiamy czytelnikowi.
Twierdzenie 1.3 (Twierdzenie o ciag
, lości). Zalóżmy, że (Ω, F, P) jest przestrzenia,
probabilistyczna, oraz (An )∞
zdarzeń.
n=1 jest ciagiem
,
(i) Jeśli ciag
acy
(tzn. A1 ⊆ A2 ⊆ . . .), to
, ten jest wstepuj
,
,
!
∞
[
P
An = lim P(An ).
n→∞
n=1
(ii) Jeśli ciag
acy
(tzn. A1 ⊇ A2 ⊇ . . .), to
, ten jest zstepuj
,
,
!
∞
\
P
An = lim P(An ).
n→∞
n=1
Dowód: (i) Rozważmy ciag
, (Bn )n≥1 zdarzeń, zadany przez
B1 = A1 , B2 = A2 \ A1 , B3 = A3 \ A2 , . . . .
Sk
Jak latwo sprawdzić, zdarzenia
B1 S
, B2 , . . . sa, parami rozlaczne,
n=1 Bn = Ak dla
,
S∞
∞
dowolnego k ≥ 1 oraz n=1 Bn = n=1 An . Zatem
!
!
∞
∞
[
[
P
An = P
Bn
n=1
n=1
=
∞
X
n=1
P(Bn ) = lim
k→∞
k
X
n=1
P(Bn ) = lim P
k→∞
k
[
n=1
!
Bn
= lim P(Ak ),
k→∞
gdzie w drugim przejściu korzystaliśmy z przeliczalnej addytywności miary P, a w
czwartym skorzystaliśmy z Twierdzenia 1 (ii).
4
ADAM OSEKOWSKI
,
0
(ii) Ciag
acy,
a zatem, korzystajac
, dopelnień (An )n≥1 jest wstepuj
,
, z (i) oraz z
,
praw de Morgana, mamy
!
!0 !
∞
∞
\
\
An = 1 − P
An
P
n=1
n=1
=1−P
∞
[
!
A0n
= 1 − lim P(A0n ) = lim P(An ).
n→∞
n=1
n→∞
Przyklady:
1. (Schemat klasyczny, prawdopodobieństwo klasyczne). Zalóżmy, że Ω jest
zbiorem skończonym, F = 2Ω i wszystkie zdarzenia jednoelementowe sa, jednakowo
prawdopodobne. Wówczas, jak latwo sprawdzić, dla dowolnego A ∈ F,
P(A) =
|A|
.
|Ω|
2. Zalóżmy, że Ω = {ω1 , ω2 , . . .} jest zbiorem co najwyżej przeliczalnym oraz
p1 , p2 , . . . - liczby nieujemne o sumie 1. Wówczas wybór F = 2Ω oraz P({ωi }) =
pi , i = 1, 2, . . ., jednoznacznie zadaje przestrzeń probabilistyczna, (Ω, F, P): dla
każdego A ∈ F mamy
X
P(A) =
1A (ωi )pi ,
i
gdzie 1A to funkcja wskaźnikowa (charakterystyczna) badź
indykator zbioru A:
,
(
1 jeśli ω ∈ A,
1A (ω) =
0 jeśli ω ∈
/ A.
3. (Prawdopodobieństwo geometryczne). Zalóżmy, że Ω ∈ B(Rd ), tzn. Ω jest
podzbiorem borelowskim Rd , przy czym 0 < |Ω| < ∞ (tu | · | oznacza miare,
Lebesgue’a w Rd ). Niech F = B(Ω) bedzie
σ-cialem podzbiorów borelowskich
,
Ω, a miara probabilistyczna P bedzie
zadana
przez
,
P(A) =
|A|
.
|Ω|
Wówczas trójka (Ω, F, P) jest przestrzenia, probabilistyczna.
, Przestrzeń te, wykorzystujemy do modelowania doświadczenia polegajacego
na
losowaniu punktu ze
,
zbioru Ω.
4. (Paradoks Bertranda) Z okregu
o promieniu 1 wylosowano cieciw
e, AB. Jakie
,
,
jest prawdopodobieństwo tego, że bedzie
ona
d
luższa
niż
bok
trójk
ata
równoboczne,
,
go wpisanego w ten okrag?
,
Przedstawimy trzy rozwiazania.
,
I) Ze wzgledu
na niezmienniczość okregu
na obroty, wylosowanie cieciwy
AB
,
,
,
możemy utożsamić z wylosowaniem miary kata
środkowego
α
=
∠AOB
∈
[0,
2π).
,
Tak wiec
, Ω = [0, 2π), F = B(Ω) oraz P jest prawdopodobieństwem geometrycznym.
Cieciwa
spelnia warunki zadania wtedy i tylko wtedy, gdy α ∈ (2π/3, 4π/3), a zatem
,
szukane prawdopodobieństwo wynosi
P((2π/3, 4π/3)) =
1
|(2π/3, 4π/3)|
= .
|[0, 2π)|
3
5
II) Wylosowanie cieciwy
można utożsamić z wylosowaniem jej środka. Mamy
,
wiec
Ω
=
B(0,
1),
F
=
B(Ω)
i P jest prawdopodobieństwem geometrycznym.
,
Cieciwa
b
edzie
spe
lnia
la
ż
adane
warunki
wtedy i tylko wtedy, gdy jej środek bedzie
,
,
,
,
leżal wewnatrz
ko
la
o
promieniu
1/2
wspó
lśrodkowego z danym okregiem,
zatem
,
,
szukane prawdopodobieństwo wynosi
1
|B(0, 1/2)|
= .
P([0, 1/2)) =
B(0, 1)
4
III) Tak jak w poprzednim rozwiazaniu,
bierzemy pod uwage, polożenie środka
,
cieciwy,
lecz
tym
razem
patrzymy
na
jego
odleg
lość od środka okregu.
Tak wiec
,
,
,
Ω = [0, 1], F = B(Ω) i P jest prawdopodobieństwem geometrycznym. Cieciwa
,
bedzie
spelniala warunki zadania jeśli jej środek bedzie
odlegly od środka okregu
o
,
,
,
mniej niż 1/2. Zatem szukane prawdopodobieństwo wynosi
1
|[0, 1/2)|
= .
|[0, 1]|
2
Tak wiec
, wyraz ,,paradoks”
, widzimy, iż otrzymaliśmy trzy różne wyniki, stad
powyżej. Sprzeczności jednak tu nie ma - użyliśmy trzech różnych przestrzeni
probabilistycznych do opisu tego samego doświadczenia losowego. Ogólnie rzecz ujmujac,
, teoria prawdopodobieństwa nie rozstrzyga, jaki model doświadczenia należy
wybrać; pozwala ona obliczać prawdopodobieństwa zdarzeń dopiero w sytuacji, gdy
zadano już konkretna, przestrzeń probabilistyczna.
,
P([0, 1/2)) =
6
ADAM OSEKOWSKI
,
2. Zadania
1. Na ile sposobów można ustawić w ciag
, sześć jedynek, pieć
, dwójek oraz cztery
trójki?
2. Wyznaczyć liczbe, rozwiazań
równania x1 + x2 + x3 + x4 = 50
,
a) w liczbach calkowitych nieujemnych x1 , x2 , x3 , x4 ,
b) w liczbach calkowitych dodatnich x1 , x2 , x3 , x4 .
3. Ile jest takich ,,szóstek” w Totolotku, że żadne dwie z wylosowanych liczb nie
sa, kolejne?
4. Z talii 52 kart wylosowano 13 kart. Jakie jest prawdopodobieństwo tego,
że istnieje kolor, w którym a) dokladnie siedem, b) dokladnie sześć kart jest tego
samego koloru?
5. Klasa liczy 15 uczniów. Nauczyciel wybiera na każdej lekcji na chybil trafil
jednego ucznia do odpowiedzi. Obliczyć prawdopodobieństwo tego, że w ciagu
16
,
lekcji każdy uczeń bedzie
przepytany.
,
6. W szafie jest n par butów. Wyjmujemy na chybil trafil k butów (k ≤ n).
Obliczyć prawdopodobieństwo tego, że
a) wśród wyjetych
butów jest co najmniej jedna para,
,
b) wśród wyjetych
butów
jest dokladnie jedna para.
,
7. (Ω, F, P ) jest przestrzenia, probabilistyczna,
, A, B, C ∈ F.
a) Zalóżmy, że P (A ∪ B) = 1/2, P (A ∩ B) = 1/4, P (A\B) = P (B\A).
Obliczyć P (A) oraz P (B\A).
b) Zalóżmy, że A ∪ B ∪ C = Ω, P (B) = 2P (A), P (C) = 3P (A), P (A ∩ B) =
P (A ∩ C) = P (B ∩ C). Wykazać, że 1/6 ≤ P (A) ≤ 1/4.
c) Zalóżmy, że P (A) ≥ 2/3, P (B) ≥ 2/3, P (C) ≥ 2/3, P (A ∩ B ∩ C) = 0.
Obliczyć P (A).
8. Rozdano 52 karty czterem graczom, po 13 kart każdemu. Jakie jest prawdopodobieństwo, że każdy z graczy ma co najmniej jednego pika?
9. Jest N listów i N zaadaresowanych kopert z różnymi adresami. Każdy list
odpowiada dokladnie jednemu adresowi i na odwrót. Wlożono listy do kopert na
chybil trafil, po jednym liście do każdej koperty. Obliczyć prawdopodobieństwo, że
żaden list nie trafil do wlaściwej koperty.
10. Udowodnić, że każde nieskończone σ-cialo jest nieprzeliczalne.
11. Kij o dlugości 1 zlamano losowo w dwóch punktach. Jakie jest prawdopodobieństwo, że z powstalych trzech odcinków można zbudować trójkat?
,
12. Na nieskończona, szachownice, o boku 1 rzucono monete, o średnicy 32 . Jakie
jest prawdopodobieństwo, że a) moneta znajdzie sie, calkowicie we wnetrzu
jednego
,
z pól; b) przetnie sie, z dwoma bokami szachownicy?
13. Na plaszczyzne, podzielona, na nieskończone pasy o szerokości d rzucono
losowo igle, o dlugości ` (` < d). Wyznaczyć prawdopodobieństwo tego, że igla
przetnie brzeg któregoś pasa.
7
3. Prawdopodobieństwo warunkowe i niezależność zdarzeń
3.1. Prawdopodobieństwo warunkowe. Zacznijmy od nastepuj
acego
przykladu.
,
,
Przyklad: W urnie jest pieć
bia
lych
kul
ponumerowanych
liczbami
1,
2, 3, 4, 5
,
oraz trzy kule czarne ponumerowane liczbami 1, 2, 3. Losujemy kule, i okazuje sie,
,
że jest biala. Jakie jest prawdopodobieństwo, że numer na niej jest parzysty?
Oczywista odpowiedź: 2/5. Z drugiej strony, formalnie, mamy do czynienia ze
schematem klasycznym na
Ω = {(1, b), (2, b), . . . , (5, b), (1, c), (2, c), (3, c)}.
Określmy zdarzenia: A - wylosowano kule, o numerze parzystym, B - wylosowano
kule, biala;
, zatem
A = {(2, b), (4, b), (2, c)},
B = {(1, b), (2, b), . . . , (5, b)}
i mamy
|A ∩ B|
|A ∩ B|/|Ω|
P(A ∩ B)
2
=
=
=
.
5
|B|
|B|/|Ω|
P(B)
Sugeruje to nastepuj
ac
, a, definicje.
,
,
Definicja 3.1. Zalóżmy, że (Ω, F, P) jest przestrzenia, probabilistyczna, oraz A, B
sa, zdarzeniami takimi, że P(B) > 0. Prawdopodobieństwem warunkowym (zajścia)
zdarzenia A pod warunkiem (zajścia) zdarzenia B nazywamy liczbe,
P (A|B) =
P(A ∩ B)
.
P(B)
Uwaga: Jak latwo sprawdzić, przy ustalonym zdarzeniu B takim, że P(B) > 0,
prawdopodobieństwo warunkowe P(·|B) jest nowa, miara, probabilistyczna, na (Ω, F).
Twierdzenie 3.1 (Prawdopodobieństwo iloczynu zdarzeń). Zalóżmy, że (Ω, F, P)
jest przestrzenia, probabilistyczna, oraz A1 , A2 , . . ., An sa, zdarzeniami spelniajacymi
,
warunek P(A1 ∩ A2 ∩ . . . ∩ An ) > 0. Wówczas
P(A1 ∩ A2 ∩ . . . ∩ An )
= P(An |A1 ∩ A2 ∩ . . . ∩ An−1 )P(An−1 |A1 ∩ A2 ∩ . . . An−2 ) . . . P(A2 |A1 )P(A1 ).
Dowód. Wystarczy zastosować definicje, prawdopodobieństwa warunkowego.
Przyklad:
W urnie znajduje sie, n−1 bialych kul oraz jedna czarna. Losujemy po jednej kuli
aż do momentu, gdy wylosujemy czarna, kule.
, jakie jest prawdopodobieństwo tego,
że wykonamy k losowań jeśli a) losujemy bez zwracania b) losujemy ze zwracaniem?
Oznaczmy biale kule przez b1 , b2 , . . ., bn−1 , a czarna, kule, przez c. Mamy
Ω = {(c), (b1 , c), (b2 , c), . . . , (bn−1 , c), (b1 , b1 , c), . . .},
F = 2Ω , a prawdopodobieństwo zadane jest poprzez określenie mas poszczególnych
zdarzeń jednoelementowych (por. Przyklad 2 z poprzedniego wykladu).
Rozważmy zdarzenie Ai - i-ta kula jest biala, i = 1, 2, . . .. Korzystajac
, z
powyższego twierdzenia, mamy
P(A0k ∩ Ak−1 ∩ Ak−2 ∩ . . . ∩ A1 )
= P(A0k |Ak−1 ∩ . . . ∩ A1 )P(Ak−1 |Ak−2 ∩ . . . ∩ A1 ) . . . P(A2 |A1 )P(A1 ).
8
ADAM OSEKOWSKI
,
a) Z warunków zadania wynika, że
n−i
1
P(Ai |Ai−1 ∩ . . . ∩ A1 ) =
, P(A0k |Ak−1 ∩ . . . ∩ A1 ) =
,
n−i+1
n−k+1
a zatem szukane prawdopodobieństwo wynosi
n−k+1 n−k+2
n−2 n−1
1
1
·
·
· ... ·
·
= .
n−k+1 n−k+2 n−k+3
n−1
n
n
b) Tym razem mamy
n−1
P(Ai |Ai−1 ∩ Ai−2 ∩ . . . ∩ A1 ) =
,
n
a wiec
, szukane prawdopodobieństwo jest równe
k−1
n−1
n−1 n−1
n−1
1 n−1
.
1−
·
·
· ... ·
=
n
n
n
n
n
n
Zajmiemy sie, teraz analiza, doświadczeń ,,wieloetapowych”, w których mamy do
czynienia z losowaniem w kilku krokach, a przestrzeń probabilistyczna jest zadana
poprzez specyfikacje, prawdopodobieństw warunkowych zwiazanych
z poszczególnymi
,
krokami (por. przyklad poniżej). Zacznijmy od definicji.
Definicja 3.2. Mówimy, że rodzina zdarzeń (Bk )nk=1 jest rozbiciem (skończonym)
zbioru Ω, jeśli B1 ∪ B2 ∪ . . . ∪ Bn = Ω oraz zdarzenia B1 , B2 , . . . , Bn sa, parami
rozlaczne.
Analogicznie definiujemy rozbicie przeliczalne Ω.
,
Twierdzenie 3.2 (Wzór na prawdopodobieństwo calkowite). Zalóżmy, że (Ω, F, P)
jest przestrzenia, probabilistyczna, oraz A ∈ F oraz (Bk )k jest rozbiciem Ω (skończonym
lub przeliczalnym), takim, że P(Bk ) > 0 dla wszystkich k. Wówczas
X
P(A) =
P(A|Bk )P(Bk ).
k
Dowód. Zdarzenia A ∩ B1 , A ∩ B2 , . . ., sa, parami rozlaczne
i daja, w sumie A, a
,
zatem
X
X
P(A) =
P(A ∩ Bk ) =
P(A|Bk )P(Bk ). k
k
Twierdzenie 3.3 (Wzór Bayesa). Przy zalożeniach jak wyżej, jeśli P(A) > 0, to
dla każdego k,
P(A|Bk )P(Bk )
P(A|Bk )P(Bk )
P(Bk |A) = P
=
.
P(A)
n P(A|Bn )P(Bn )
Dowód. Wzór wynika natychmiast z definicji prawdopodobieństwa warunkowego
oraz wzoru na prawdopodobieństwo calkowite.
Przyklad:
Dane sa, urny I oraz II. W urnie I znajduje sie, b1 kul bialych oraz c1 kul czarnych,
zaś w urnie II - b2 kul bialych i c2 kul czarnych. Losujemy urne,
kule,
, a nastepnie
,
z tej urny.
a) Jakie jest prawdopodobieństwo, że kula jest biala?
b) Zalóżmy, że wyciagni
eta
kula jest biala. Jakie jest prawdopodobieństwo tego,
,
,
że losowano z I urny?
Mamy dwa etapy doświadczenia: losowanie urny oraz losowanie kuli z danej
urny. Wprowadźmy zdarzenia A - wyciagni
eto
biala, kule,
,
,
, B1 - wylosowano urne, I,
9
2
B2 - wylosowano urne, II. Mamy B1 ∩ B2 = ∅, B1 ∪ B2 = Ω, a wiec
, rodzina (Bi )i=1
jest rozbiciem Ω. Z warunków zadania wynika, że
P(B1 ) = P(B2 ) =
1
> 0,
2
P(A|B1 ) =
b1
,
b1 + c1
P(A|B2 ) =
b2
.
b2 + c2
a) Korzystajac
, ze wzoru na prawdopodobieństwo calkowite mamy
1
b1
b2
P(A) = P(A|B1 )P(B1 ) + P(A|B2 )P(B2 ) =
+
.
2 b1 + c1
b2 + c2
b) Na mocy wzoru Bayesa,
P(B1 |A) =
P(A|B1 )P(B1 )
b1 /(b1 + c1 )
=
.
P(A)
b1 /(b1 + c1 ) + b2 /(b2 + c2 )
3.2. Niezależność zdarzeń. Zacznijmy od intuicji. Zalóżmy, że A, B sa, zdarzeniami, przy czym P(B) > 0. Wówczas zdarzenia A, B powinny być niezależne, jeśli
informacja o tym, że zaszlo zdarzenie B nie wplywa na prawdopodobieństwo zajścia
zdarzenia A; tzn. niezależność powinna być równoważna równości P(A|B) = P(A),
czyli P(A ∩ B) = P(A)P(B). Przyjmujemy to jako definicje.
,
Definicja 3.3. Zalóżmy, że (Ω, F, P) jest przestrzenia, probabilistyczna.
, Zdarzenia
A, B sa, niezależne, jeśli
P(A ∩ B) = P(A)P(B).
Uwaga: Jeśli P(A) = 0, to dla dowolnego B ∈ F zdarzenia A oraz B sa,
niezależne. Ta sama teza zachodzi gdy P(A) = 1.
Zdefiniujemy teraz niezależność wiekszej
liczby zdarzeń. Zacznijmy od przy,
padku skończonego. Intuicyjnie, zdarzenia A1 , A2 , . . ., An sa, niezależne jeśli każdy
poduklad tych zdarzeń jest niezależny oraz zdarzenia An , A1 ∩ A2 ∩ . . . An−1 sa,
niezależne. jak latwo zauważyć, powyższe warunki wymuszaja, równość
P(Ai1 ∩ Ai2 ∩ . . . ∩ Aik ) = P(Ai1 )P(Ai2 ) . . . P(Aik )
dla dowolnego k = 2, 3, . . . , n i dowolnego rosnacego
ciagu
1 ≤ i1 < i2 < . . . <
,
,
ik ≤ n. Przyjmujemy to jako definicje.
,
Definicja 3.4. Mówimy, że zdarzenia A1 , A2 , . . ., An sa, niezależne, jeśli dla wszystkich 2 ≤ k ≤ n oraz dowolnego ciagu
1 ≤ i1 < i2 < . . . < ik ≤ n zachodzi równość
,
P(Ai1 ∩ Ai2 ∩ . . . ∩ Aik ) = P(Ai1 )P(Ai2 ) . . . P(Aik ).
Definicja 3.5. Mówimy, że zdarzenia A1 , A2 , . . ., An sa, niezależne parami, jeśli
dla dowolnych różnych i, j ∈ {1, 2, . . . , n}, zdarzenia Ai oraz Aj sa, niezależne.
Oczywiście niezależność ,,zespolowa” (czy też ,,laczna”)
zdarzeń A1 , A2 , . . .,
,
An pociaga
za
sob
a
ich
niezależność
parami.
Implikacja
w
drug
a, strone, nie jest
,
,
prawdziwa, co ilustruje nastepuj
acy
przyk
lad.
,
,
Przyklad:
Rzucamy dwa razy kostka.
, Niech A - za pierwszym razem wypadla parzysta
liczba oczek, B - za drugim razem wypadla parzysta liczba oczek, C - suma oczek
jest parzysta. Bezpośrednio wyliczamy, iż
1
1
P(A) = P(B) = P(C) = , P(A ∩ B) = P(B ∩ C) = P(C ∩ A) = ,
2
4
10
ADAM OSEKOWSKI
,
a wiec
, zdarzenia A, B, C sa, niezależne parami. Nie sa, jednak niezależne zespolowo:
mamy A ∩ B ⊂ C, a wiec
, P(A ∩ B ∩ C) = P(A ∩ B) = 1/4 6= P(A)P(B)P(C).
W przypadku dowolnej (być może nieskończonej) liczby zdarzeń, niezależność
definiujemy nastepuj
aco.
,
,
Definicja 3.6. Zalóżmy, że {Ai }i∈I jest pewna, rodzina, zdarzeń. Mówimy, iż
zdarzenia te sa, niezależne, jeśli dla każdego n oraz parami różnych i1 , i2 , . . ., in ∈ I
zdarzenia Ai1 , Ai2 , . . ., Ain sa, niezależne.
Zdefiniujemy teraz pojecie
niezależności σ-cial.
,
Definicja 3.7. Zalóżmy, że (Ω, F, P) jest przestrzenia, probabilistyczna, oraz F1 ,
F2 , . . . , Fn sa, σ-cialami zawartymi w F. Mówimy, że σ-ciala te sa, niezależne, jeśli
dla dowolnych A1 ∈ F1 , A2 ∈ F2 , . . ., An ∈ Fn zachodzi warunek
P(A1 ∩ A2 ∩ . . . ∩ An ) = P(A1 )P(A2 ) . . . P(An ).
Twierdzenie 3.4. Przy zalożeniach powyższej definicji, σ-ciala F1 , F2 , . . ., Fn sa,
niezależne wtedy i tylko wtedy, gdy dowolne A1 ∈ F1 , A2 ∈ F2 , . . ., An ∈ Fn sa,
niezależne.
Dowód. ⇐ oczywiste.
⇒ Mamy dowieść, że dla dowolnego 2 ≤ k ≤ n oraz dowolnego ciagu
1 ≤ i1 <
,
i2 < . . . < ik ≤ n zachodzi równość
(∗)
P(Ai1 ∩ Ai2 ∩ . . . ∩ Aik ) = P(Ai1 )P(Ai2 ) . . . P(Aik ).
Rozważmy zdarzenia B1 , B2 , . . ., Bn dane przez
(
Ai jeśli i = i` dla pewnego `,
Bi =
Ω w przeciwnym przypadku.
Wówczas B1 ∈ F1 , B2 ∈ F2 , . . ., Bn ∈ Fn , a zatem
P(B1 ∩ B2 ∩ . . . ∩ Bn ) = P(B1 )P(B2 ) . . . P(Bn ),
co jest równoważne (*).
Przyklady:
1. Rzucamy dwa razy kostka.
Wprowadźmy standardowa, przestrzeń proba,
bilistyczna, opisujac
, a, to doświadczenie (por. poprzedni wyklad). Rozważmy σ-ciala
F1 = {A × {1, 2, 3, 4, 5, 6} : A ⊆ {1, 2, 3, 4, 5, 6}},
F2 = {{1, 2, 3, 4, 5, 6} × B : B ⊆ {1, 2, 3, 4, 5, 6}}.
Wówczas F1 , F2 ⊂ F i F1 , F2 sa, niezależne: istotnie, dla dowolnych zdarzeń
A × {1, 2, 3, 4, 5, 6} ∈ F1 , B × {1, 2, 3, 4, 5, 6} ∈ F2 mamy
P(A × {1, 2, 3, 4, 5, 6}) =
|A|
|A| · 6
=
,
36
6
P({1, 2, 3, 4, 5, 6} × B) =
6 · |B|
|B|
=
36
6
oraz
|A| · |B|
.
36
2. Zalóżmy, że σ(A1 ), σ(A2 ), . . ., σ(An ) bed
, a, σ-cialami generowanymi przez
zdarzenia A1 , A2 , . . ., An , odpowiednio (przypomnijmy: σ(A) = {A, A0 , ∅, Ω}).
Wówczas jeśli A1 , A2 , . . ., An sa, niezależne, to σ(A1 ), σ(A2 ), . . ., σ(An ) też sa,
P((A × {1, 2, 3, 4, 5, 6}) ∩ ({1, 2, 3, 4, 5, 6} × B)) = P(A × B) =
11
niezależne. Aby to wykazać, musimy sprawdzić, że dla dowolnych Bi ∈ Fi , i =
1, 2, . . . , n, zachodzi
P(B1 ∩ B2 ∩ . . . ∩ Bn ) = P(B1 )P(B2 ) . . . P(Bn ).
Jeśli co najmniej jedno ze zdarzeń Bi jest zbiorem pustym, to powyższa równość
jest spelniona: obie strony sa, równe 0. Jeśli dla pewnego j mamy Bj = Ω, to
możemy to zdarzenie pominać
, po obu stronach. Zatem, wystarczy dowieść, że dla
dowolnego ciagu
1
≤
i
<
i
<
. . . < ik ≤ n mamy
1
2
,
P(Bi1 ∩ Bi2 ∩ . . . ∩ Bik ) = P(Bi1 )P(Bi2 ) . . . P(Bik ),
gdzie dla każdego j, zdarzenie Bij jest równe Aij lub A0ij . Poprzez prosta, indukcje,
,
wystarczy wykazać, że
P(A0i1 ∩ Ai2 ∩ Ai3 ∩ . . . ∩ Aik ) = P(A0i1 )P(Ai2 )P(Ai3 ) . . . P(Aik ),
co natychmiast wynika z niezależności zdarzeń A1 , A2 , . . ., An : istotnie,
P(A0i1 ∩ Ai2 ∩ Ai3 ∩ . . . ∩ Aik )
= P(Ai2 ∩ Ai3 ∩ . . . ∩ Aik ) − P(Ai1 ∩ Ai2 ∩ Ai3 ∩ . . . ∩ Aik )
= P(Ai2 )P(Ai3 ) . . . P(Aik ) − P(Ai1 )P(Ai2 )P(Ai3 ) . . . P(Aik )
= P(A0i1 )P(Ai2 )P(Ai3 ) . . . P(Aik ).
Rozważmy teraz nastepuj
acy
problem. Zalóżmy, że mamy N doświadczeń, przy
,
,
czym i-te doświadczenie jest opisywane przez przestrzeń probabilistyczna, (Ωi , Fi , Pi ).
W jaki sposób możemy zbudować przestrzeń (Ω, F, P) dla doświadczenia polegajacego
na niezależnym przeprowadzeniu tych N doświadczeń?
,
Oczywiście, jako zbiór Ω bierzemy Ω1 × Ω2 × . . . ΩN . Aby określić F, zwróćmy
uwage,
, iż σ-cialo Fi jest reprezentowane, w kontekście powyższego zbioru Ω, przez
klase,
Fi0 = {Ω1 × Ω2 × . . . × Ωi−1 × Ai × Ωi+1 × . . . × ΩN : Ai ∈ Fi }.
0
0
0
Stad
, naturalny pomysl, by wziać
, F = σ(F1 , F2 , . . . , FN ), σ-cialo generowane przez
0
0
0
F1 , F2 , . . . , FN . Innymi slowy, jako F bierzemy σ-cialo produktowe F1 ⊗ F2 ⊗
. . . ⊗ FN . Przejdźmy do określenia miary probabilistycznej P. Z powyższych postu0
latów, σ-ciala F10 , F20 , . . ., FN
maja, być niezależne, a zatem poszukujemy takiego
prawdopodobieństwa P, że dla dowolnych Ai ∈ Fi , i = 1, 2, . . . , N ,
P(A1 × A2 × . . . × AN ) =
P (A1 × Ω2 × . . . × ΩN ) ∩ (Ω1 × A2 × . . . × ΩN ) ∩ . . . ∩ (Ω1 × . . . × ΩN −1 × AN )
=
N
Y
P(Ω1 × . . . × Ai × . . . × ΩN ).
i=1
Ponadto, chcemy by P(Ω1 × . . . × Ai × . . . × ΩN ) = Pi (Ai ) dla każdego i. Podsumowujac,
, poszukujemy takiego P, by dla dowolnych zdarzeń A1 , A2 , . . . , AN jak
wyżej zachodzila równość
P(A1 × A2 × . . . × AN ) = P1 (A1 )P2 (A2 ) . . . PN (AN ).
Z teorii miary wiadomo, że istnieje dokladnie jedno takie prawdopodobieństwo P
na F1 ⊗ F2 ⊗ . . . ⊗ FN , i jest ono równe P1 ⊗ P2 ⊗ . . . ⊗ PN - produktowi miar P1 ,
P2 , . . ., PN .
12
ADAM OSEKOWSKI
,
Analogiczne rozumowanie można przeprowadzić w przypadku gdy mamy do czyniania z nieskończona, liczba, doświadczeń modelowanych przez przestrzenie probabilistyczne (Ωi , Fi , Pi ).
Przyklad: Schemat Bernoulliego. Zalóżmy, iż dla każdego i = 1, 2, . . . , N
mamy Ωi = {0, 1}, F i = 2Ωi oraz Pi ({1}) = p, gdzie p ∈ [0, 1] jest ustalonym
parametrem. Widzimy, iż każda pojedyncza przestrzeń (Ωi , Fi , Pi ) modeluje doświadczenie
w którym sa, dwa możliwe wyniki: 0 i 1, interpretowane jako porażka i sukces
(podkreślmy: prawdopodobieństwo sukcesu jest równe p i nie zależy od numeru
doświadczenia). Takie pojedyncze doświadczenie nazywamy próba, Bernoulliego.
Na mocy powyższej konstrukcji, przestrzeń probabilistyczna
({0, 1}N , 2Ω , P) = (Ω1 × Ω2 × . . . × ΩN , F1 ⊗ F2 ⊗ . . . ⊗ FN , P1 ⊗ P2 ⊗ . . . ⊗ PN )
modeluje ciag
, niezależnych N powtórzeń próby Bernoulliego. Ciag
, ten nazywamy
schematem Bernoulliego.
Zauważmy, iż dla dowolnego ω = (ω1 , ω2 , . . . , ωN ) ∈ Ω mamy P({ω}) = pk (1 −
N −k
p)
, gdzie k jest liczba, jedynek w ciagu
ω. Wynika stad,
iż jeśli określimy
,
,
zdarzenie Ak = {liczba sukcesów jest równa k}, to
X
N k
k
N −k
p (1 − p)N −k .
P(Ak ) =
P({ω}) = |Ak |p (1 − p)
=
k
ω∈Ak
T∞ S∞
Zalóżmy, że A1 , A2 , . . . sa, pewnymi zdarzeniami; wówczas n=1 m=n Am
możemy interpretować jako ,,zaszlo nieskończenie wiele spośród zdarzeń A1 , A2 ,
. . .”. Okazuje sie,
, że przy pewnych zalożeniach, zdarzenie to ma prawdopodobieństwo
0 lub 1. Ściślej, zachodzi nastepuj
acy
fakt.
,
,
Lemat 3.1 (Borela-Cantelli). Zalóżmy, że (Ω, F, P) jest przestrzenia, probabilistyczna, oraz AP
1 , A2 , . . . ∈ F.
∞
(i) Jeśli n=1 P(An ) < ∞, to
∞
∞ [
\
Am = 0
P
n=1 m=n
(a zatem z prawdopodobieństwem 1 zachodzi
P∞ skończenie wiele spośród Ai ).
(ii) Jeśli A1 , A2 , . . . sa, niezależne i n=1 P(An ) = ∞, to
∞ [
∞
\
P
Am = 1.
n=1 m=n
Dowód. (i) Mamy
∞ [
∞
∞
∞
\
[
X
n→∞
P
Am ≤ P
Am ≤
P(Am ) −−−−→ 0.
n=1 m=n
m=n
m=n
S∞ T∞
0
(ii) Udowodnimy, że zdarzenie
n=1 m=n Am ma prawdopodobieństwo
T∞ przeciwne
0
0. Wystarczy wykazać, iż P( m=n Am ) = 0 dla wszystkich n (wówczas rozważane
zdarzenie przeciwne bedzie
przeliczalna, suma, zbiorów miary 0, a zatem także bedzie
,
,
mialo miare, 0). Korzystajac
, z twierdzenia o ciag
, lości, mamy iż dla dowolnego n,
∞
∞ \
k
k
\
\
\
P
A0m = P
A0m = lim P
A0m ,
m=n
k=n m=n
k→∞
m=n
13
co na mocy niezależności zdarzeń A1 , A2 , . . . jest równe
lim
k→∞
k
Y
m=n
P(A0m ) = lim
k→∞
k
Y
(1 − P(Am )) ≤ lim sup e−
Pk
m=n
P(Am )
= 0. k→∞
m=n
Na zakończenie zaprezentujemy pewien przydatny fakt, tzw. lemat o π − λ
ukladach. Aby podać pewna, motywacje,
, zalóżmy, że µ, ν sa, miarami probabilistycznymi na pewnej przestrzeni mierzalnej (Ω, F). Przypuśćmy, iż chcemy wykazać, iż
te miary sa, sobie równe: mamy wiec
, sprawdzić, czy dla dowolnego A ∈ F zachodzi
równość
µ(A) = ν(A).
Powstaje bardzo naturalne pytanie: czy wystarczy zweryfikować powyższa, tożsamość
dla pewnej szczególnej klasy zdarzeń A, np. dla generatorów σ-ciala F? Okazuje sie,
że zbiór generatorów nie jest na ogól dobrym wyborem: mianowicie trzeba zalożyć,
że klasa ta jest dodatkowo π-ukladem.
Definicja 3.8. Zalóżmy, że K jest niepusta, klasa, podzbiorów Ω. Mówimy, że K
jest π-ukladem, jeśli klasa ta jest zamknieta
ze wzgledu
na branie skończonych
,
,
iloczynów: z tego, że A, B ∈ K wynika, że A ∩ B ∈ K.
Definicja 3.9. Zalóżmy, że L jest pewna, klasa, podzbiorów Ω. Mówimy, że L jest
λ-ukladem, jeśli sa, spelnione nastepuj
ace
warunki:
,
,
(i) Ω ∈ L,
(ii) jeśli A, B ∈ L i A ⊆ B, to B \ A ∈ L,
S∞
(iii) jeśli A1 , A2 , . . . jest wstepuj
acym
ciagiem
elementów L, to n=1 An ∈ L.
,
,
,
Lemat 3.2 (o π − λ ukladach). Jeśli L jest λ-ukladem zawierajacym
π-uklad K,
,
to L zawiera także σ-cialo generowane przez K.
Dowód. Rozumowanie podzielimy na trzy cześci.
,
1) Zauważmy, że jeśli L jest λ-ukladem oraz A, B ∈ L spelniaja, A ∩ B = ∅, to
A ∪ B = (A0 \ B)0 ∈ L,
korzystajac
, z (i) i (ii).
2) Jeśli L jest jednocześnie π-ukladem oraz λ-ukladem, to jest σ-cialem. Aby to
wykazać, zauważmy, iż jeśli A, B ∈ L, to
A ∪ B = A ∪ (B \ (A ∩ B)) ∈ L,
na mocy 1) oraz warunków definiujacych
π-uklad i λ-uklad. Wobec tego, przez
,
prosta, indukcje,
zamkniete
ze wzgledu
na branie skończonych sum, a
, L bedzie
,
,
,
zatem jeśli A1 , A2 , . . . jest dowolnym ciagiem
elementów z L, to
,
!
n
∞
∞
[
[
[
An =
Ak ∈ L.
n=1
n=1
k=1
W ostatnim kroku skorzystaliśmy z tego, że A1 , A1 ∪ A2 , A1 ∪ A2 ∪ A3 , . . . jest
wstepuj
acym
ciagiem
elementów L.
,
,
,
3)
Niech
Λ
b
edzie
klas
a, wszystkich λ-ukladów zawierajacych
K i polóżmy L0 =
,
,
T
L.
Wówczas
L
∈
Λ
oraz
K
⊆
L
⊆
L.
Wystarczy
wi
ec
udowodnić,
że L0 jest
0
0
L∈Λ
,
σ-cialem: na mocy 2), wystarczy wykazać, że L0 jest π-ukladem. Weźmy dowolne
A ∈ K i rozważmy klase,
K1 = {B : A ∩ B ∈ L0 }.
14
ADAM OSEKOWSKI
,
Oczywiście K1 ⊇ K, gdyż K jest π-ukladem. Ponadto K1 jest λ-ukladem:
(i) Ω ∈ K1 , bo A ∩ Ω = A ∈ K ⊆ L0 ;
(ii) jeśli B1 , B2 ∈ K1 , B1 ⊆ B2 , to
A ∩ (B2 \ B1 ) = (A ∩ B2 ) \ (A ∩ B1 ) ∈ L0 ,
a wiec
, B2 \ B1 ∈ K1 ;
(iii) B1 ⊆ B2 ⊆ . . . ∈ K1 , to
∞
[
A∩
!
Bn
=
n=1
skad
, wynika, iż
S∞
n=1
∞
[
(A ∩ Bn ) ∈ L0 ,
n=1
Bn ∈ K1 .
Zatem K1 zawiera L0 , gdyż L0 jest najmniejszym λ-ukladem zawierajacym
K.
,
Wykazaliśmy wiec,
że
dla
dowolnego
A
∈
K
oraz
dowolnego
B
∈
L
,
A
∩
B
∈
L
0
0.
,
Nastepnie
powtarzamy
rozumowanie:
ustalamy
B
∈
L
i
definiujemy
K
=
{A
:
0
2
,
A ∩ B ∈ L0 }. Mamy K2 ⊇ K oraz K2 jest λ-ukladem, skad
wynika,
iż
K
⊇
L
,
a
2
0
,
wiec
, dla dowolnych A, B ∈ L0 zachodzi A ∩ B ∈ L0 . Dowód jest zakończony.
Jako zastosowanie, udowodnimy nastepuj
acy
fakt.
,
,
Twierdzenie 3.5. Zalóżmy, że (Ω, F, P) jest przestrzenia, probabilistyczna.
, Przypuśćmy, iż rodzine, {Fγ }∈Γ niezależnych σ-cial podzielono na n podrodzin {Fγ i }γ i ∈Γi ,
i = 1, 2, . . . , n. Wówczas σ-ciala
σ {Fγ 1 }γ 1 ∈Γ1 , σ {Fγ 2 }γ 2 ∈Γ2 , . . . , σ ({Fγ n }γ n ∈Γn ) ,
generowane przez poszczególne podrodziny też sa, niezależne.
Dowód. Przeprowadzimy dowód dla n = 2; dla wiekszych
n rozumowanie jest ana,
logiczne. Mamy wiec
, dwie rodziny {Fγ }γ∈Γ , {Gδ }δ∈∆ niezależnych pod-σ-cial F i
musimy wykazać, że dla dowolnych A ∈ σ({Fγ }γ∈Γ ), B ∈ σ({Gδ }δ∈∆ ) zachodzi
(∗)
P(A ∩ B) = P(A)P(B).
Na mocy niezależności σ-cial, wzór (*) zachodzi dla zbiorów postaci
A = Aγ 1 ∩ Aγ 2 ∩ . . . ∩ Aγ k ,
Aγ i ∈ Fγ i , i = 1, 2, . . . , k,
B = Bδ1 ∩ Bδ2 ∩ . . . ∩ Bδ` ,
Bδj ∈ Gδj , j = 1, 2, . . . , `.
Ustalmy A jak wyżej i rozważmy klase, K = {B : zachodzi (*)}. Mamy wiec
,
K ⊇ {Bδ1 ∩ Bδ2 ∩ . . . ∩ Bδ` : Bδj ∈ Gδj }, i ta ostatnia klasa jest, rzecz jasna,
π-ukladem generujacym
σ({Gδ }δ∈∆ ). Ponadto K jest λ-ukladem:
,
(i) Ω ∈ K, bo P(A ∩ Ω) = P(A)P(Ω).
(ii) jeśli B1 , B2 ∈ K i B1 ⊆ B2 , to B2 \ B1 ∈ K: istotnie,
P(A ∩ (B2 \ B1 )) = P (A ∩ B2 ) \ (A ∩ B1 )
= P(A ∩ B2 ) − P(A ∩ B1 )
= P(A) P(B2 ) − P(B1 ) = P(A)P(B2 \ B1 ).
(iii) Jeśli B1 ⊆ B2 ⊆ . . . ∈ K, to
!!
∞
[
P A∩
Bn
=P
n=1
S∞
n=1
∞
[
15
Bn ∈ K, gdyż z twierdzenia o ciag
, lości,
!
(A ∩ Bn )
n=1
= lim P(A ∩ Bn )
n→∞
= lim P(A)P(Bn ) = P(A)P
n→∞
∞
[
!
Bn
.
n=1
Zatem na mocy lematu o π − λ ukladach, K zawiera σ({Gδ }δ∈∆ ), czyli (*) zachodzi dla dowolnego zbioru A postaci Aγ 1 ∩ Aγ 2 ∩ . . . ∩ Aγ k oraz B ∈ σ({Gδ }δ∈∆ ).
Nastepnie,
powtarzamy rozumowanie: ustalamy B ∈ σ({Gδ }δ∈∆ ) i definiujemy L =
,
{A : zachodzi (*)}. Klasa L zawiera wszystkie zbiory postaci Aγ 1 ∩ Aγ 2 ∩ . . . ∩ Aγ k ,
które tworza, π-uklad generujacy
σ({Fγ }γ∈Γ ). Tak jak wyżej, sprawdzamy, że L
,
jest λ ukladem, a zatem z lematu o π − λ ukladach, L ⊇ σ({Fγ }γ∈Γ ). Wobec tego
(*) zachodzi dla wszystkich A ∈ σ({Fγ }γ∈Γ ) oraz B ∈ σ({Gδ }δ∈∆ ), skad
, dostajemy
żadan
a
niezależność
σ-cia
l.
,
,
16
ADAM OSEKOWSKI
,
4. Zadania
1. Grupa n osób (n ≥ 3), wśród których sa, osoby X, Y i Z, ustawia sie, losowo
w kolejce. Jakie jest prawdopodobieństwo tego, że
a) X stoi bezpośrednio przed Y , jeśli Y stoi bezpośrednio przed Z?
b) X stoi przed Y , jeśli Y stoi przed Z?
2. Z talii 52 kart losujemy 5 kart bez zwracania. Obliczyć prawdopodobieństwo
tego, że mamy dokladnie 3 asy, jeżeli wiadomo, że
a) mamy co najmniej jednego asa;
b) mamy asa czarnego koloru;
c) mamy asa pik;
d) pierwsza, wylosowana, karta, jest as;
e) pierwsza, wylosowana, karta, jest czarny as;
f) pierwsza, wylosowana, karta, jest as pik.
3. W urnie znajduja, sie, trzy biale i cztery czarne kule. Losujemy kule,
, wyrzucamy bez ogladania,
a
nast
epnie
losujemy
kolejn
a
kul
e
z
urny.
,
,
,
,
a) Jakie jest prawdopodobieństwo, że druga kula jest biala?
b) Zalóżmy, że za drugim razem wyciagni
eto
biala, kule.
,
,
, Jakie jest prawdopodobieństwo, że za pierwszym razem wylosowano czarna, kule?
,
4. W populacji jest 15% dyslektyków. Jeśli w teście diagnostycznym uczeń
popelni 6 lub wiecej
bledów,
to zostaje uznany za dyslektyka. Każdy dyslektyk
,
,
na pewno popelni co najmniej 6 bledów
w takim teście, ale również nie-dyslektyk
,
może popelnić wiecej
niż
5
b
l
edów
–
dzieje
sie, tak z prawdopodobieńswem 0,1. Jasio
,
,
popelnil w teście 6 bledów.
Jakie
jest
prawdopodobieństwo,
że jest dyslektykiem?
,
Jakie jest prawdopodobieństwo tego, że w kolejnym teście też popelni co najmniej
6 bledów?
,
5. W pewnej fabryce telewizorów każdy z aparatów może być wadliwy z prawdopodobieństwem p. W fabryce sa, trzy stanowiska kontroli i wyprodukowany
telewizor trafia na każde ze stanowisk z jednakowym prawdopodobieństwem. ite stanowisko wykrywa wadliwy telewizor z prawdopodobieństwem pi (i = 1, 2, 3).
Telewizory nie odrzucone w fabryce trafiaja, do hurtowni i tam poddawane sa, dodatkowej kontroli, która wykrywa wadliwy telewizor z prawdopodobieństwem p0 .
a) Obliczyć prawdopodobieństwo tego, że dany nowowyprodukowany telewizor
znajdzie sie, w sprzedaży (tzn. przejdzie przez obie kontrole).
b) Przypuśćmy, że telewizor jest już w sklepie. Jakie jest prawdopodobieństwo,
że jest on wadliwy?
, Rozważmy zdarzenia: A – za pierwszym razem
wypadla liczba oczek podzielna przez 3; B – suma wyrzuconych oczek jest parzysta;
C – za każdym razem uzyskaliśmy te, sama, liczbe, oczek. Czy zdarzenia A, B sa,
niezależne? Czy A, B, C sa, niezależne?
7. Na n kartonikach zapisano n różnych liczb rzeczywistych. Kartoniki wlożono
do pudelka, starannie wymieszano, a nastepnie
losowano kolejno bez zwracania.
,
Niech Ak – k-ta wylosowana liczba jest wieksza
od
poprzednich.
,
a) Udowodnić, że P(Ak ) = 1/k, k = 1, 2, . . . , n.
b) Udowodnić, że zdarzenia A1 , A2 , . . . , An sa, niezależne.
17
8. Dane sa, liczby calkowite dodatnie m, n oraz liczby p, q ∈ (0, 1) spelniajace
,
warunek p + q = 1. Dowieść, że
(1 − pn )m + (1 − q m )n ≥ 1.
9. Wyznaczyć najbardziej prawdopodobna, liczbe, sukcesów w schemacie n prób
Bernoulliego z prawdopodobieństwem sukcesu p.
10. Rzucono 10 razy kostka.
, Jakie jest prawdopodobieństwo tego, że w pierwszym rzucie otrzymano szóstke,
, jeśli wiadomo, że
a) otrzymano trzy szóstki?
b) w nastepnych
dziewieciu
rzutach otrzymano same szóstki?
,
,
11. Rzucamy kostka, aż do momentu gdy wyrzucimy piatk
trzy razy
, e, badź
,
szóstke, (lacznie,
niekoniecznie
pod
rz
ad).
Jakie
jest
prawdopodobieństwo,
że
rzucimy
,
,
dokladnie n razy?
k
12. Prawdopodobieństwo tego, że w urnie znajduje sie, k kostek, wynosi 2k! e−2 ,
k = 0, 1, 2, . . .. Losujemy kolejno bez zwracania wszystkie kostki z urny i wykonujemy rzuty każda, z nich. Jakie jest prawdopodobieństwo, że uzyskamy l szóstek?
13. Jakie jest prawdopodobieństwo tego, że liczba sukcesów w schemacie Bernoulliego n prób z p = 12 bedzie
podzielna
,
a) przez 3?
b) przez 4?
14. Niech (Ω, F, P) bedzie
przestrzenia, probabilistyczna, dla schematu n prób
,
Bernoulliego z prawdopodobieństwem sukcesu p. Dla dowolnego 0 ≤ k ≤ n, niech
Ak oznacza zdarzenie, iż jest dokladnie k sukcesów. Wykazać, że dla dowolnego
B ∈ F oraz każdego k, prawdopodobieństwo warunkowe P(B|Ak ) nie zależy od p.
15. Rzucamy nieskończenie wiele razy moneta,
, dla której prawdopodobieństwo
wypadniecia
or
la
wynosi
p
=
6
1/2.
Dla
n
=
2,
4, . . ., rozważmy zdarzenie An ,
do rzutu n wlacznie
wypad
lo
tyle
samo
or
lów
co
reszek. Udowodnić, że z praw,
dopodobieństwem 1 zajdzie skończenie wiele spośród zdarzeń A1 , A2 , . . ..
16. Rzucamy nieskończenie wiele razy moneta,
, dla której prawdopodobieństwo
wypadniecia
or
la
wynosi
p
∈
(0,
1].
Udowodnić,
że z prawdopodobieństwem 1
,
wystapi
nieskończenie
wiele
serii
z
lożonych
ze
100
or
lów pod rzad.
,
,
17. Dane sa, dwie miary probabilistyczne µ, ν na (R, B(R)).
a) Zalóżmy, że dla dowolnej liczby t > 0 mamy ν([−t, t]) = µ([−t, t]). Udowodnić,
że jeśli A ∈ B(R) jest symetryczny wzgledem
0, to µ(A) = ν(A).
,
b) Przypuśćmy, że K jest pewna, klasa, generujac
, a, B(R) (tzn. spelniajac
, a, σ(K) =
B(R)). Czy z tego, że µ(A) = ν(A) dla każdego A ∈ K, wynika, iż µ = ν?
18
ADAM OSEKOWSKI
,
5. Zmienne losowe i ich rozklady
Przechodzimy do kluczowego pojecia
rachunku prawdopodobieństwa.
,
Definicja 5.1. Zalóżmy, że (Ω, F, P) jest przestrzenia, probabilistyczna.
, Zmienna,
losowa, d-wymiarowa, (lub zmienna, losowa, o wartościach w Rd ) nazywamy dowolna,
d
mierzalna, funkcje, X : Ω → Rd (tzn. spelniajac
, a,
, dla dowolnego B ∈ B(R ),
−1
warunek {X ∈ B} := X (B) = {ω ∈ Ω : X(ω) ∈ B} ∈ F). W szczególności, dla
d = 1 bedziemy
mówić po prostu ,,zmienna losowa”.
,
Twierdzenie 5.1. Jeśli (Ω, F, P) jest przestrzenia, probabilistyczna,
, X jest d-wymiarowa, zmienna, losowa, oraz f : Rd → Rk jest funkcja, borelowska,
, to f (X) jest
k-wymiarowa, zmienna, losowa.
W szczególności teza zachodzi wiec
,
, lych
, dla ciag
funkcji f .
W szczególności, widzimy iż jeśli X = (X1 , X2 , . . . , Xd ), to X1 , X2 , . . ., Xd sa,
jednowymiarowymi zmiennymi losowymi.
Kolejnym ważnym pojeciem
jest tzw. rozklad zmiennej losowej. Zalóżmy, że
,
(Ω, F, P) jest przestrzenia, probabilistyczna,
, a X jest d-wymiarowa, zmienna, losowa.
,
Dla dowolnego B ∈ B(Rd ) określamy
PX (B) = P(X ∈ B) := P({ω ∈ Ω : X(ω) ∈ B})
(czyli PX jest obrazem miary P przy przeksztalceniu X). Jak latwo sprawdzić,
(Rd , B(Rd ), PX ) jest nowa, przestrzenia, probabilityczna.
,
Definicja 5.2. Miare, PX nazywamy rozkladem zmiennej X.
Definicja 5.3. Zalóżmy, że (Ω, F, P) jest przestrzenia, probabilistyczna,
, a X jest dwymiarowa, zmienna, losowa.
Dystrybuant
a
tej
zmiennej
losowej
nazywamy
funkcje,
,
,
FX : Rd → [0, 1] dana, wzorem
FX (x1 , x2 , . . . , xd ) = P(X1 ≤ x1 , X2 ≤ x2 , . . . , Xd ≤ xd )
= PX ((−∞, x1 ] × (−∞, x2 ] × . . . × (−∞, xd ]).
Dystrybuanta zależy tylko od rozkladu, a wiec
, jest sens mówić o dystrybuancie
rozkladu prawdopodobieństwa.
Przyklady:
1. Rzucamy raz symetryczna, moneta;
, Ω = {O, R}. Niech X(O) = 1, X(R) =
−1. Wówczas


jeśli t < −1,
0
FX (t) = P(X ≤ t) = 1/2 jeśli − 1 ≤ t < 1,


1
jeśli t ≥ 1.
z kola o promieniu R: mamy zatem (Ω, F, P) =
2. Wybieramy losowo punkt
|·|
odleglościa, wylosowanego
K(0, R), B(K(0, R)), πR2 . Niech X(ω) = ρ(ω, 0) bedzie
,
punktu od środka. Wówczas


jeśli t < 0,
0
FX (t) = P(X ≤ t) = t2 /R2 jeśli 0 ≤ t < R,


1
jeśli t ≥ R.
19
Twierdzenie 5.2 (Wlasności dystrybuanty). Zalóżmy, że X jest (jednowymiarowa)
, zmienna, losowa.
, Wówczas
a) FX jest niemalejaca.
,
b) limt→∞ FX (t) = 1, limt→−∞ FX (t) = 0.
c) F jest prawostronnie ciag
, la.
d) dla dowolnego t ∈ R istnieje lewostronna granica FX (t−) = lims↑t FX (s) i
FX (t−) = P(X < t) = P(X ∈ (−∞, t)).
e) FX jest nieciag
, la w punkcie t0 wtedy i tylko wtedy, gdy P(X = t0 ) > 0 (taka,
liczbe, t0 nazywamy wówczas atomem rozkladu). Ściślej, dla dowolnego t0 ∈ R mamy
P(X = t0 ) = FX (t0 ) − FX (t0 −).
f ) dla dowolnych a < b mamy
P(a ≤ X ≤ b) = P(X ∈ [a, b]) = FX (b) − FX (a−),
P(a < X ≤ b) = P(X ∈ (a, b]) = FX (b) − FX (a),
P(a ≤ X < b) = P(X ∈ [a, b)) = FX (b−) − FX (a−),
P(a < X < b) = P(X ∈ (a, b)) = FX (b−) − FX (a).
Dowód. a) Jeśli t1 < t2 , to (−∞, t1 ] ⊂ (−∞, t2 ], a wiec
, FX (t1 ) = PX ((−∞, t1 ]) ≤
PX ((−∞, t2 ]) = FX (t2 ).
b) Dla
(tn )n≥1 rosnacego
do nieskończoności zachodzi równość
,
,
S dowolnego ciagu
R = n (−∞, tn ] i przedzialy pod suma, sa, wstepuj
ace.
Zatem, korzystajac
,
, z
,
twierdzenia o ciag
, lości,
1 = PX (R) = lim PX ((−∞, tn ]) = lim FX (tn ).
n→∞
n→∞
Analogicznie dowodzimy druga, cześć.
,
c) WeźmyTt ∈ R oraz ciag
do t. Ciag
, (tn )n≥1 malejacy
,
, przedzialów (t, tn ] jest
zstepuj
acy
i n (t, tn ] = ∅, a wiec
,
,
,
!
\
0 = PX
(t, tn ] = lim PX ((t, tn ]) = lim PX ((−∞, tn ] \ (−∞, t])
n
n→∞
n→∞
h
i
= lim PX ((−∞, tn ]) − PX ((−∞, t]) = lim (FX (tn ) − FX (t)).
n→∞
n→∞
d) Rozumujemy podobnie jak w c).
e) Wynika to wprost z d) oraz równości P(X = t0 ) = P(X ≤ t0 ) − P(X < t0 ).
f) Udowodnimy tylko pierwsza, równość, pozostale wykazuje sie, analogicznie:
P(a ≤ X ≤ b) = PX ([a, b]) = PX ((−∞, b]) − PX ((−∞, a)) = FX (b) − FX (a−). Uwaga: Jeśli funkcja F spelnia warunki a), b) oraz c) z powyższego twierdzenia,
to jest dystrybuanta, pewnego rozkladu (dowód pozostawiamy jako ćwiczenie).
Twierdzenie 5.3 (O jednoznaczności). Dystrybuanta zmiennej losowej d-wymiarowej wyznacza rozklad jednoznacznie.
Dowód: Zalóżmy, że X, Y sa, zmiennymi losowymi posiadajacymi
te, sama, dystry,
buante.
Chcemy
wykazać,
że
P
=
P
,
czyli
X
Y
,
(∗)
PX (B) = PY (B)
20
ADAM OSEKOWSKI
,
dla dowolnego podzbioru borelowskiego Rd . Klasa wszystkich zbiorów B spelniajacych
(*) tworzy λ-uklad. Z drugiej strony, równość dystrybuant daje, iż
,
PX ((−∞, x1 ] × (−∞, x2 ] × . . . × (−∞, xd ]) = FX (x) = FY (x)
= PY ((−∞, x1 ] × (−∞, x2 ] × . . . × (−∞, xd ]),
a zatem (*) zachodzi dla zbiorów postaci (−∞, x1 ] × (−∞, x2 ] × . . . (−∞, xd ], które
tworza, π-uklad generujacy
B(Rd ). Teza twierdzenia wynika wiec
,
, natychmiast z
lematu o π − λ ukladach.
Definicja 5.4. Zalóżmy, że X = (X1 , X2 , . . . , Xd ) jest d-wymiarowa, zmienna,
losowa, oraz 1 ≤ i1 < i2 < . . . < ik ≤ d (k < d). Wówczas (Xi1 , Xi2 , . . . , Xik )
też jest zmienna, losowa, i jej rozklad nazywamy k-wymiarowym rozkladem brzegowym rozkladu X.
Uwaga: Rozklady brzegowe nie wyznaczaja, na ogól rozkladu lacznego.
Rozważ,
my nastepuj
acy
przyk
lad:
,
,
I - rzucamy trzy razy moneta, i niech X1 bedzie
liczba, reszek przed pojawieniem
,
sie, pierwszego orla, a X2 oznacza laczn
a
liczb
e
or
lów.
,
,
,
II - rzucamy dwie serie po trzy razy moneta, i niech X10 bedzie
liczba, reszek przed
,
pojawieniem sie, pierwszego orla w pierwszej serii, a X20 oznacza laczn
a, liczbe, orlów
,
w drugiej serii.
Jest oczywiste, że zmienne X1 oraz X10 maja, ten sam rozklad; tak samo, X2 oraz
0
X2 maja, ten sam rozklad. Z drugiej strony, zmienne (X1 , X2 ) oraz (X10 , X20 ) nie
maja, tego samego rozkladu: istotnie,
P(X1 ,X2 ) ({(3, 3)}) = 0
oraz
P(X10 ,X20 ) ({(3, 3)}) = 2−6 .
0
0
Tak wiec
, rozklady brzegowe zmiennych (X1 , X2 ) oraz (X1 , X2 ) sa, identyczne, ale
rozklady laczne
s
a
różne.
,
,
W dalszej cześci
wykladu bedziemy
stosować nastepuj
ace
oznaczenie: jeśli X jest
,
,
,
,
d-wymiarowa, zmienna, losowa,
, to
σ(X) := {{X ∈ B} : B ∈ B(Rd )}
jest σ-cialem zdarzeń generowanym przez X.
, a {Xi }i∈I
jest rodzina, zmiennych losowych, przy czym Xi przyjmuje wartości w Rdi . Mówimy,
że zmienne te sa, niezależne, jeśli σ-ciala generowane przez te zmienne sa, niezależne.
Innymi slowy, zmienne {Xi }i∈I sa, niezależne wtedy i tylko wtedy, gdy dla każdego
n, dowolnych parami różnych i1 , i2 , . . . , in ∈ I oraz dowolnych B1 ∈ B(Rdi1 ), . . .,
Bn ∈ B(Rdin ),
P(Xi1 ∈ B1 , Xi2 ∈ B2 , . . . , Xin ∈ Bn ) = P(Xi1 ∈ B1 )P(Xi2 ∈ B2 ) . . . P(Xin ∈ Bn ).
Przyklady:
1. Zdarzenia A1 , A2 , . . ., An sa, niezależne wtedy i tylko wtedy, gdy 1A1 , 1A2 ,
. . ., 1An sa, niezależne. Istotnie, wynika to natytchmiast z faktu, iż dla dowolnego
21
zdarzenia A oraz dowolnego podzbioru borelowskiego prostej mamy

A jeśli 0 ∈
/ B, 1 ∈ B,



A0 jeśli 0 ∈ B, 1 ∈
/ B,
{1A ∈ B} =

∅
jeśli 0, 1 ∈
/ B,



Ω jeśli 0, 1 ∈ B.
2. W schemacie n prób Bernoulliego określmy
Xi (ω) = Xi (ω1 , ω2 , . . . , ωn )
(
1 jeśli w i-tej próbie byl sukces,
:= ωi =
0 jeśli w i-tej próbie byla porażka.
Wówczas X1 , X2 , . . ., Xn sa, niezależnymi zmiennymi losowymi. Wyniknie to latwo
z faktów, które przytoczymy w dalszej cześci
wykladu.
,
Omówimy teraz pewne warunki które sa, równoważne niezależności zmiennych
losowych. Dla prostoty, skupimy sie, na przypadku jednowymiarowym, ale poniższe
twierdzenie pozostaje w mocy także w sytuacji gdy zmienne przyjmuja, wartości
wektorowe.
Twierdzenie 5.4. Zalóżmy, że X1 , X2 , . . ., Xn sa, zmiennymi losowymi. Nastepu,
jace
warunki sa, równoważne.
,
1) X1 , X2 , . . ., Xn sa, niezależne.
2) Dla dowolnych B1 , B2 , . . ., Bn ∈ B(R) zdarzenia {X1 ∈ B1 }, {X2 ∈ B2 },
. . ., {Xn ∈ Bn } sa, niezależne.
3) P(X1 ,X2 ,...,Xn ) = PX1 ⊗ PX2 ⊗ . . . ⊗ PXn ,
4) Dla dowolnego x = (x1 , x2 , . . . , xn ) ∈ Rn ,
F(X1 ,X2 ,...,Xn ) (x1 , x2 , . . . , xn ) = FX1 (x1 )FX2 (x2 ) . . . FXn (xn ).
Dowód. Wiemy już, iż warunki 1) oraz 2) sa, równoważne.
2)⇒4). Mamy
F(X1 ,X2 ,...,Xn ) (x1 , x2 , . . . , xn ) = P(X1 ≤ x1 , X2 ≤ x2 , . . . , Xn ≤ xn )
= P(X1 ≤ x1 )P(X2 ≤ x2 ) . . . P(Xn ≤ xn ) = FX1 (x1 )FX2 (x2 ) . . . FXn (xn ).
4)⇒3) Niech X 0 bedzie
n-wymiarowa, zmienna, losowa, o rozkladzie PX1 ⊗ PX2 ⊗
,
. . . ⊗ PXn . Dla dowolnego x = (x1 , x2 , . . . , xn ) mamy
FX 0 (x1 , x2 , . . . , xn ) = PX1 ⊗ . . . ⊗ PXn (−∞, x1 ] × (−∞, x2 ] × . . . × (−∞, xn ]
= FX1 (x1 )FX2 (x2 ) . . . FXn (xn ) = F(X1 ,X2 ,...,Xn ) (x1 , x2 , . . . , xn ).
0
Na mocy twierdzenia o jednoznaczności, wynika stad
, PX = P(X1 ,X2 ,...,Xn ) .
3)⇒1) Dla dowolnych podzbiorów borelowskich B1 , B2 , . . ., Bn prostej rzeczywstej mamy
P(X1 ∈ B1 , X2 ∈ B2 , . . . , Xn ∈ Bn ) = P(X1 ,X2 ,...,Xn ) (B1 × B2 × . . . × Bn )
= PX1 (B1 )PX2 (B2 ) . . . PXn (Bn ) = P(X1 ∈ B1 )P(X2 ∈ B2 ) . . . P(Xn ∈ Bn ).
Dowód jest zakończony.
Przechodzimy teraz do bardziej szczególowego omówienia typów i przykladów
rozkladów prawdopodobieństwa w Rd .
22
ADAM OSEKOWSKI
,
Definicja 5.6. Mówimy, że d-wymiarowa zmienna losowa X ma dyskretny (skokowy,
atomowy) rozklad, jeśli P(X ∈ SX ) = 1, gdzie
SX = {x ∈ Rd : P(X = x) > 0}
jest zbiorem atomów rozkladu.
Uwagi:
1) Dla dowolnej zmiennej d-wyiarowej X zbiór SX jest co najwyżej przeliczalny,
gdyż
[
SX =
{x ∈ Rd : P(X = x) > 1/n},
n≥1
i każdy ze zbiorów wystepuj
acych
pod suma, jest skończony.
,
,
2) Rozklad dyskretny jest jednoznacznie wyznaczony przez
P co najwyżej przeliczalny zbiór S ⊂ Rd oraz funkcje, p : S → [0, 1] taka,
że
x∈S p(x) = 1. Istotnie,
,
wówczas
X
P (B) =
p(x).
x∈S∩B
Odnotujmy bardzo prosty fakt.
Twierdzenie 5.5. Zmienne losowe X1 , X2 , . . ., Xn maja, rozklad skokowy wtedy
i tylko wtedy, gdy zmienna (X1 , X2 , . . . , Xn ) ma rozklad skokowy.
W przypadku gdy mamy do czynienia ze skończona, rodzina, zmiennych dyskretnych, warunek niezależności może być badany za pomoca, nastepuj
acego
prostego
,
,
kryterium.
Twierdzenie 5.6. Zmienne losowe X1 , X2 , . . ., Xn majace
rozklady dyskretne
,
sa, niezależne wtedy i tylko wtedy, gdy dla dowolnych x1 ∈ SX1 , x2 ∈ SX2 , . . .,
xn ∈ SXn zachodzi
P(X1 = x1 , X2 = x2 , . . . , Xn = xn ) = P(X1 = x1 )P(X2 = x2 ) . . . P(Xn = xn ).
Dowód. ⇒ Oczywiste: postulowana równość jest szczególnym przypadkiem warunku
wystepuj
acego
w definicji niezależności.
,
,
⇐ Dla ulatwienia zapisu, przeprowadzimy dowód tylko dla n = 2; przypadek
n ≥ 3 rozpatruje sie, analogicznie. Mamy
P(X1 ∈ B1 , X2 ∈ B2 ) = P(X1 ∈ SX1 ∩ B1 , X2 ∈ SX2 ∩ B2 )
X
=
P(X1 = x1 , X2 = x2 )
x1 ∈SX1 ∩B1 ,x2 ∈SX2 ∩B2
=
X
X
P(X1 = x1 )P(X2 = x2 ) = P(X1 ∈ B1 )P(X2 ∈ B2 ).
x1 ∈SX1 ∩B1 x2 ∈SX2 ∩B2
Przyklady:
1) Rozklad skupiony w punkcie a ∈ Rd , ozn. δa . Zmienna X ma rozklad skupiony
w a, jeśli P(X = a) = 1; SX = {a}.
2) Rozklad dwupunktowy skupiony w a, b ∈ Rd , a 6= b. Zmienna X ma rozklad
dwupunktowy skupiony na {a, b} jeśli P(X = a) = p oraz P(X = b) = 1 − p dla
pewnego p ∈ (0, 1).
3) Rozklad Bernoulliego (rozklad dwumianowy) z parametrami n, p (n = 1, 2,
. . ., p ∈ (0, 1)), ozn. B(n, p). Zmienna X ma rozklad B(n, p), jeśli P(X = k) =
n
k
23
pk (1−p)n−k , k ∈ SX = {0, 1, 2, . . . , n}. Innymi slowy, jeśli mamy dany schemat
Bernoulliego skladajacy
sie, z n prób o prawdopodobieństwie sukcesu p, to laczna
,
,
liczba sukcesów ma rozklad Bernoulliego B(n, p).
Dygresja. Zalóżmy, że zmienne X1 , X2 , . . ., Xn zadane sa, wzorem
(
1 jeśli w i-tej próbie byl sukces,
(∗)
Xi =
0 w przeciwnym przypadku.
Wówczas jak latwo sprawdzić korzystajac
, z Twierdzenia 5.6, zmienne X1 , X2 , . . .,
Xn sa, niezależne. Z drugiej strony, X1 + X2 + . . . + Xn jest laczn
a, liczba, sukcesów.
,
Otrzymaliśmy wiec
nast
epuj
acy
fakt:
,
,
,
Zalóżmy, że X1 , X2 , . . ., Xn sa, niezależnymi zmiennymi losowymi o tym samym
rozkladzie (czasami te dwie wlasności bedziemy
w skrócie oznaczać przez i.i.d.)
,
zadanym przez P(Xi = 1) = p = 1 − P(Xi = 0). Wówczas zmienna X1 + X2 + . . . +
Xn ma rozklad B(n, p).
Skorzystaliśmy tu z nastepuj
acej
prostej obserwacji:
,
,
Twierdzenie 5.7. Jeśli d-wymiarowe zmienne X, Y maja, ten sam rozklad oraz
f : Rd → Rk jest funkcja, borelowska,
, to f (X) oraz f (Y ) maja, ten sam rozklad.
4) Rozklad geometryczny z parametrem p (0 < p < 1), ozn. Geom(p). Zmienna
X ma taki rozklad, jeśli
P(X = k) = (1 − p)k p,
k ∈ SX = {0, 1, 2, . . .}.
Interpretacja: zalóżmy, iż dany jest schemat Bernoulliego o nieskończonej liczbie
prób i prawdopodobieństwie sukcesu p. Niech X oznacza liczbe, porażek poprzedzajacych
pojawienie sie, pierwszego sukcesu. Wówczas X ma rozklad geometryczny
,
z parametrem p. Istotnie, wprowadzajac
, zmienne X1 , X2 , . . . jak w poprzednim
przykladzie, możemy zapisać
P(X = k) = P(X1 = 0, X2 = 0, . . . , Xk = 0, Xk+1 = 1)
= P(X1 = 0)P(X2 = 0) . . . P(Xk = 0)P(Xk+1 = 1) = (1 − p)k p.
Czasami w literaturze rozklad geometryczny jest definiowany nieco inaczej: mianowicie, Y ∼Geom(p) jeśli dla dowolnej k ∈ SY = {1, 2, . . .}, mamy P(Y =
k) = (1 − p)k−1 p. Wówczas zmienna ta ma interpretacje, jako czas oczekiwania na
pierwszy sukces w nieskończonym schemacie Bernoulliego o prawdopodobieństwie
sukcesu p. Jest ona zwiazana
z poprzednia, zmienna, zależnościa, Y = X + 1.
,
5) Rozklad Poissona z parametrem λ (λ > 0), ozn. Pois(λ). Zmienna X ma taki
rozklad, jeśli
λk −λ
e ,
k ∈ SX = {0, 1, 2, . . .}.
k!
Rozklad Poissona powstaje przez odpowiednie przejście graniczne dla rozkladów
Bernoulliego. Ściślej, zachodzi nastepuj
acy
fakt (który pozostawiamy bez dowodu).
,
,
P(X = k) =
Twierdzenie 5.8 (Poissona). Zalóżmy, że (pn )n≥1 jest ciagiem
liczb z przedzialu
,
(0, 1) spelniajacym
warunek
lim
np
=
λ
>
0.
Wówczas
dla
dowolnej liczby
n→∞
n
,
k ∈ {0, 1, 2, . . .},
n k
λk −λ
lim
pn (1 − pn )n−k =
e .
n→∞ k
k!
24
ADAM OSEKOWSKI
,
Innymi slowy, jeśli Xn ma rozklad B(n, p), X ma rozklad Pois(λ) i np ≈ λ, to
rozklady Xn oraz X sa, bliskie.
Przechodzimy do kolejnej ważnej rozdziny rozkladów.
Definicja 5.7. Mówimy, że zmienna losowa d-wymiarowa X ma rozklad ciag
, ly,
jeśli istnieje funkcja borelowska g : Rd → [0, ∞) taka, że dla dowolnego podzbioru
borelowskiego B ⊆ Rd ,
Z
P(X ∈ B) = PX (B) =
g(x)dx.
B
Funkcje, g nazywamy wówczas gestości
a, rozkladu.
,
Uwagi:
1. Jeśli PX jest ciag
, ly, to SX = ∅, ale nie na odwrót (warunkiem koniecznym i
dostatecznym jest równość P(X ∈ B) = 0 dla dowolnego B ⊂ Rd o zerowej mierze
Lebesgue’a).
2. Jeśli g : Rd → [0, ∞) jest gestości
a, pewnego rozkladu µ oraz g̃ : Rd → [0, ∞)
,
jest funkcja, borelowska,
a, µ wtedy i tylko wtedy, gdy g = g̃ p.w..
, to g̃ jest gestości
,
Istotnie, implikacja ⇐ jest oczywista:
Z
Z
µ(A) =
g(x)dx =
g̃(x)dx.
A
A
R
R
Przechodzimy do implikacji ⇒: mamy B g = B g̃ dla dowolnego zbioru borelowskiego
B. Zalóżmy, że teza nie zachodzi; wówczas jeden ze zbiorów {g > g̃}, {g < g̃} ma
dodatnia, miare.
lóżmy, że
, Bez straty ogólności zaR
R jest to pierwszy zbiór, i oznaczmy
go przez B. Jest to zbiór borelowski, i B g > B g̃, sprzeczność.
R
3. Każda funkcja borelowska g : Rd → [0, ∞) taka,
że Rd g(x)dx = 1 jest
R
gestości
a, pewnego rozkladu, zadanego przez µ(B) = B g(x)dx dla B ∈ B(Rd ).
,
4. Zmienna X ma rozklad ciag
, ly wtedy i tylko wtedy, gdy istnieje funkcja
borelowska g : Rd → [0, ∞) taka, że
Z x1 Z x2
Z xd
FX (x1 , x2 , . . . , xd ) =
...
g(y1 , y2 , . . . , yd )dyd dyd−1 . . . dy1 .
−∞
−∞
−∞
Istotnie:
⇒ Mamy F (x1 , . . . , xd ) = P((X1 , . . . , Xd ) ∈ (−∞, x1 ] × . . . × (−∞, xd ]) i wystarczy skorzystać z definicji gestości.
,
R
⇐ Zbiegajac
, z x1 , x2 , . . ., xd do nieskończoności widzimy, że Rd g(x)dx = 1.
Niech µ bedzie
rozkladem prawdopodobieństwa w Rd , zadanym przez gestość
g
,
,
(patrz Uwaga 3 powyżej). Wówczas, na mocy poprzedniej implikacji mamy FX =
Fµ , a zatem, z twierdzenia o jednoznaczności, PX = µ.
5. Jako wniosek z poprzedniej uwagi, otrzymujemy nastepuj
acy
fakt.
,
,
Twierdzenie 5.9. Zalóżmy, że X jest d-wymiarowa, zmienna, losowa, o dystrybuancie F i niech
g(x1 , x2 , . . . , xd ) =
Wówczas jeśli
Przyklad:
R
Rd
∂dF
(x1 , x2 , . . . , xd )
∂x1 ∂x2 . . . ∂xd
p.w..
g = 1, to X ma rozklad ciag
a, jest funkcja g.
, ly i jego gestości
,
Losujemy punkt z kola o promieniu R.
środka kola. Wówczas, jak już wiemy,


0
FX (t) = t2 /R2


1
25
Niech X oznacza odleglość punktu od
dla t < 0,
dla 0 ≤ t < R,
dla t ≥ R.
Różniczkujac,
, dostajemy
(
g(t) =
Latwo sprawdzić, że
R
R
0
2t/R2
dla t < 0 lub t ≥ R,
dla 0 ≤ t < R.
g = 1, a wiec
a, rozkladu zmiennej X.
, g jest gestości
,
Twierdzenie 5.10. Jeśli zmienna X = (X1 , X2 , . . . , Xd ) ma rozklad ciag
, ly, to jej
rozklady brzegowe też sa, ciag
le.
Ponadto
,
Z
gXi (x) =
g(x1 , x2 , . . . , xi−1 , x, xi+1 , . . . , xd )dx1 . . . dxi−1 dxi+1 . . . dxd .
Rd−1
Ogólniej, aby otrzymać gestość
wektora (Xi1 , Xi2 , . . . , Xik ), musimy odcalkować
,
gestość
X po wszystkich xi dla i ∈
/ {i1 , i2 , . . . , ik }.
,
Dowód. Mamy
i−1
d−i
Z
P(Xi ∈ B) = P((X1 , X2 , . . . , Xd ) ∈ R
×B×R )=
g
Ri−1 ×B×Rd−i
Z
Z
=
g(x)dx1 . . . dxi−1 dxi+1 . . . dxn dxi .
B
Ri−1 ×Rd−i
W przypadku gdy rozklad brzegowy jest wielowymiarowy, rozumowanie jest analogiczne.
Uwaga: Implikacja w druga, strone, nie zachodzi: wystarczy wziać
, dowolna, jednowymiarowa, zmienna, losowa, X o rozkladzie ciag
, lym i rozważyć wektor (X, X)
(który rozkladu ciag
, lego już nie posiada, gdyż jest skoncentrowany na zbiorze
{(x, x) : x ∈ R}, który ma zerowa, miare, Lebesgue’a).
Ważne przyklady rozkladów ciag
, lych
1) Rozklad jednostajny (równomierny) na zbiorze D, ozn. U(D). Zalóżmy, że
D ∈ B(Rd ) spelnia warunek 0 < |D| < ∞. Zmienna losowa X ma rozklad jednostajny na D, jeśli ma gestość
,
(
1/|D| dla x ∈ D,
1
1D (x) =
g(x) =
|D|
0
dla x ∈
/ D.
R
Dla dowolnego B ∈ B(Rd ) mamy wówczas P(X ∈ B) = B g(x)dx = |B∩D|
|D| .
W szczególności, jeśli d = 1 oraz D = [a, b], dostajemy rozklad o gestości
g(x) =
,
1
1
(x)
i
dystrybuancie
b−a [a,b]


dla x < a,
Z x
0
g(s)ds = (x − a)/(b − a) dla a ≤ x < b,
FX (x) =

−∞

1
dla x ≥ b.
26
ADAM OSEKOWSKI
,
2) Rozklad wykladniczy z parametrem λ (λ > 0), ozn. Exp(λ). Zmienna losowa
X ma taki rozklad, jeśli ma gestość
,
(
0
dla x < 0,
g(x) = λe−λx 1[0,∞) (x) =
−λx
λe
dla x ≥ 0.
Jak latwo policzyć, wówczas
(
0
FX (x) =
1 − e−λx
dla x < 0,
dla x ≥ 0.
Rozklad wykladniczy sluży do modelowania czasu oczekiwania na zjawisko calkowicie losowe. Zalóżmy, że nieujemna zmienna losowa X oznacza taki czas oczekiwania, a calkowita, losowość zapisujemy poprzez wlasność braku pamieci
, :
P(X > t + s|X > s) = P(X > t)
dla wszystkich s, t ≥ 0.
Oznaczajac
, f (t) = P(X > t), widzimy, iż powyższe równanie jest równoważne
f (t + s) = f (t)f (s). Dodatkowo, f jest nierosnaca,
prawostronnie ciag
,
, la oraz
−λx
spelnia f (0) = 1, limt→∞ f (t) = 0, skad
już
wynika,
że
f
(t)
=
e
dla
pewnego
,
λ > 0, a zatem X ma rozklad wykladniczy.
3) Rozklad Gaussa (rozklad normalny). Zalóżmy, że m jest ustalonym wektorem
w Rd , a A jest symetryczna, i dodatnio określona, macierza, d × d. Zmienna losowa
X ma rozklad normalny (z parametrami m i A), jeśli jej gestość
wynosi
,
√
1
detA
g(x) =
exp − hA(x − m), x − mi
2
(2π)d/2
(h·, ·i oznacza iloczyn skalarny w Rd ). Sprawdźmy, że funkcja g istotnie calkuje
sie, do 1. Z algebry liniowej wiadomo, że istnieje izometria (macierz ortogonalna)
B : Rd → Rd taka, że B t AB ma postać diagonalna:
,


a1 0 . . . 0
 0 a2 . . . 0 
.
B t AB = 


...
0 0 . . . ad
Podstawiajac
, x − m = By, dostajemy
√
Z
Z
detA
1
g(x)dx =
exp − hABy, Byi |detB|dy
2
(2π)d/2 Rd
Rd
√
Z
detA
1 −1
=
exp
−
hB
ABy,
yi
dy
2
(2π)d/2 Rd
!
√
Z
d
detA
1X
2
=
exp −
ak yk dy
2
(2π)d/2 Rd
k=1
√
d Z
2
detA Y
=
e−ak yk /2 dyk
d/2
(2π)
k=1 R
√
Z
d Y
2
detA
1
−zk
/2
√
=√
e
dzk = 1,
a1 a2 . . . ad
2π R
k=1
27
√
gdzie w przedostatnim kroku dokonaliśmy podstawienia zk = ak yk , a w ostatnim
skorzystaliśmy z równości
Z
2
1
detA = a1 a2 . . . ad oraz √
e−x /2 dx = 1.
2π R
W szczególnym przypadku d = 1, jeśli m ∈ R i σ > 0 (i za macierz A weźmiemy
[σ −2 ]), otrzymujemy gestość
,
(x − m)2
1
exp −
,
x ∈ R.
g(x) = √
2σ 2
2πσ
Rozklad ten oznaczamy N (m, σ 2 ). W szczególności, rozklad N (0, 1) nazywamy
standardowym rozkladem normalnym (standardowym rozkladem Gaussa).
W przypadku zmiennych o rozkladzie ciag
ace
kryterium
, lym, mamy nastepuj
,
,
niezależności.
Twierdzenie 5.11. Zalóżmy, że g1 , g2 , . . ., gn sa, gestościami.
Wówczas zmienne
,
losowe X1 , X2 , . . ., Xn o rozkladach z gestościami
g1 , g2 , . . ., gn sa, niezależne
,
wtedy i tylko wtedy, gdy zmienna (X1 , X2 , . . . , Xn ) ma gestość
g(x1 , x2 , . . . , xn ) =
,
g1 (x1 )g2 (x2 ) . . . gn (xn ).
Dowód. ⇒ Mamy, na mocy niezależności zmiennych,
F(X1 ,X2 ,...,Xn ) (x1 , x2 , . . . , xn )
= FX1 (x1 )FX2 (x2 ) . . . FXn (xn )
Z x1
Z x2
Z xn
=
g1 (y1 )dy1
g2 (y2 )dy2 . . .
gn (yn )dyn
−∞
−∞
Z−∞
=
g1 (y1 )g2 (y2 ) . . . gn (yn )dy1 dy2 . . . dyn ,
(−∞,x1 ]×...×(−∞,xn ]
skad
, natychmiast wynika teza.
⇐ Piszemy ten sam ciag
, równości, zaczynajac
, od końca.
Przyklad: Zmienne X1 , X2 , . . ., Xn o rozkladach jednostajnych na D1 , D2 , . . .,
Dn sa, niezależne wtedy i tylko wtedy, gdy (X1 , X2 , . . . , Xn ) ma rozklad jednostajny na D1 × D2 × . . . × Dn . Wynika to natychmiast z tego, że gestość
rozkladu
,
jednostajnego na D1 × D2 × . . . × Dn wynosi
1D1 ×D2 ×...×Dn (x1 , x2 , . . . , xn )
1D1 (x1 ) 1D2 (x2 )
1D (xn )
=
·
· ... · n
,
|D1 × D2 × . . . × Dn |
|D1 |
|D2 |
|Dn |
a czynniki po prawej stronie to gestości
rozkladów jednostajnych na D1 , D2 , . . .,
,
Dn , odpowiednio.
W przypadku gdy zmienne losowe sa, niezależne i maja, rozklady ciag
, le, istnieje
efektywna metoda liczenia rozkladu ich sumy. Zachodzi nastepuj
acy
fakt.
,
,
Twierdzenie 5.12. Zalóżmy, że X1 , X2 sa, niezależnymi, jednowymiarowymi zmiennymi losowymi o rozkladach z gestościami
g1 oraz g2 , odpowiednio. Wówczas
,
zmienna X1 + X2 ma rozklad z gestości
a
,
Z ,
g1 ∗ g2 (x) =
g1 (x − y)g2 (y)dy.
R
Widzimy wiec,
że g1 ∗ g2 to splot gestości
g1 i g2 .
,
,
28
ADAM OSEKOWSKI
,
Dowód. Dla dowolnego B ∈ B(R) mamy
P(X1 + X2 ∈ B) = P(X1 ,X2 ) ({(x, y) : x + y ∈ B})
ZZ
=
g(X1 ,X2 ) (x, y)dxdy
{(x,y):x+y∈B}
ZZ
=
g1 (x)g2 (y)dxdy
{(x,y):x+y∈B}
ZZ
=
1B (x + y)g1 (x)g2 (y)dxdy
2
Z RZ
=
1B (x + y)g1 (x)dx g2 (y)dy
R
R
Z Z
=
1B (z)g1 (z − y)dz g2 (y)dy
R
R
Z Z
=
g1 (z − y)g2 (y)dy dz
R
ZB
=
g1 ∗ g2 (z)dz.
B
Przyklady:
1) Jeśli X1 , X2 sa, niezależnymi zmiennymi losowymi o rozkladzie jednostajnym
na [0, 1], to g1 (x) = g2 (x) = 1[0,1] (x), a wiec
, X1 + X2 ma gestość
,
Z
g1 ∗ g2 (x) =
1[0,1] (x − y)1[0,1] (y)dy
R
Z
=
1[x−1,x] (y)1[0,1] (y)dy
R

0
dla x < 0,



x
dla 0 ≤ x < 1,
= [x − 1, x] ∩ [0, 1] =

2
−
x
dla 1 ≤ x < 2,



0
dla x ≥ 2.
2) Zalóżmy, że X1 , X2 sa, niezależnymi zmiennymi losowymi o rozkladach N (m1 , σ12 ),
N (m2 , σ22 ): zatem
(x − mi )2
1
exp −
,
i = 1, 2.
gi (x) = √
2σi2
2πσi
Wówczas X1 + X2 ma gestość
,
Z
1
(x − y − m1 )2
(y − m2 )2
g1 ∗ g2 (x) =
exp −
−
dy
2πσ1 σ2 R
2σ12
2σ22
1
(x − m1 − m2 )2
=p
exp
−
2(σ12 + σ22 )
2π(σ12 + σ22 )
(dowód ostatniej równości pozostawiamy jako ćwiczenie). Zatem X1 +X2 ∼ N (m1 +
m2 , σ12 + σ22 ). I ogólniej, przez indukcje:
jeśli X1 , X2 , . . ., Xn sa, niezależnymi
,
zmiennymi losowymi o rozkladach N (m1 , σ12 ), N (m2 , σ22 ), . . ., N (mn , σn2 ), to X1 +
X2 + . . . + Xn ma rozklad N (m1 + m2 + . . . + mn , σ12 + σ22 + . . . + σn2 ).
29
6. Zadania
1. Rzucamy moneta,
orla wynosi
, dla której prawdopodobieństwo wypadniecia
,
p ∈ (0, 1], aż do momentu wyrzucenia k orlów (lacznie,
niekoniecznie
pod rzad).
,
,
Niech X oznacza liczbe, rzutów. Wyznaczyć rozklad zmiennej X.
, Niech X, Y oznaczaja, minimum oraz maksimum
z uzyskanych liczb oczek, odpowiednio. Wyznaczyć rozklady zmiennych X, Y oraz
sprawdzić, że zmienne X i 7 − Y maja, ten sam rozklad.
3. Na skrzyżowaniu ulic na pewnym kierunku światlo czerwone świeci sie, minute,
,
a światlo zielone - pól minuty (zakladamy, że nie ma żóltego światla). Samochód
dojeżdża do skrzyżowania (w danym kierunku) w losowym momencie czasowym.
Niech X oznacza czas spedzony
na skrzyżowaniu; zakladamy, że nie ma korka.
,
a) Wyznaczyć rozklad zmiennej X.
b) Zalóżmy, że po 20 sekundach samochód wciaż
, nie przejechal skrzyżowania;
jakie jest prawdopodobieństwo, że opuści je w przeciagu
najbliższych 10 sekund?
,
4. Dystrybuanta zmiennej losowej X dana jest wzorem

0
dla t < −1,



 1 (t + 1) dla − 1 ≤ t < 0,
FX (t) = 23

dla 0 ≤ t < 4,


4
1
dla t ≥ 4.
Obliczyć P(X = −5), P(2 < X ≤ 5), P(X = 4), P(−1 < X < 0).
5. Zmienna losowa X ma rozklad o dystrybuancie


dla t < 0,
0
F (t) = t/2 dla 0 ≤ t < 2, .


1
dla t ≥ 2.
Wyznaczyć dystrybuante, zmiennych Y = max(X, 1) oraz Z = min(X, X 2 ).
6. Niech F : R → [0, 1] bedzie
funkcja, prawostronnie ciag
, la,
, niemalejac
, a,
, taka, że
,
limt→∞ F (t) = 1 oraz limt→−∞ F (t) = 0. Wykazać, że F jest dystrybuanta, pewnej
zmiennej losowej w pewnej przestrzeni probabilistycznej.
7. Z talii 52 kart losujemy ze zwracaniem pieć
, razy po jednej karcie. Niech X
oznacza liczbe, wyciagni
etych
pików,
Y
liczb
e
wyci
agni
etych
kierów, a Z - liczbe,
,
,
,
,
,
wyciagni
etych
waletów.
Czy
zmienne
X,
Y
s
a
niezależne?
Czy
zmienne X, Z sa,
,
,
,
niezależne?
8. Zmienne losowe X1 , X2 , . . ., Xn (n ≥ 6) sa, niezależne i maja, ten sam rozklad,
zadany wzorem P(Xi = −1) = P(Xi = 1) = 1/2, i = 1, 2, . . . , n.
a) Czy zmienne X1 + X2 , X1 X2 sa, niezależne?
b) Czy zmienne X1 + X2 , X3 , X4 + X5 X6 sa, niezależne?
c) Czy zmienne X1 , X1 X2 , . . ., X1 X2 . . . Xn sa, niezależne?
9. Zmienne losowe X, Y sa, niezależne, przy czym dla n = 1, 2, . . . mamy
P(X = n) = (1 − p)n−1 p oraz P(Y = n) = (1 − q)n−1 q. Obliczyć P(X ≤ Y ).
10. Dla dowolnej liczby ω ∈ [0, 1], niech Xn (ω) oznacza n-ta, cyfre, rozwiniecia
,
dwójkowego ω, n = 1, 2, . . . (jeśli ω posiada dwa różne rozwiniecia,
to bierzemy to,
,
które zawiera skończona, liczbe, jedynek). Wykazać, że X1 , X2 , . . . sa, niezależnymi
zmiennymi losowymi na przestrzeni probabilistycznej ([0, 1], B([0, 1]), | · |).
30
ADAM OSEKOWSKI
,
11. Zmienne X, Y sa, niezależne, przy czym X nie ma atomów. Udowodnić, że
P(X = Y ) = 0.
12. Zmienne losowe X1 , X2 , . . ., Xn sa, niezależne i maja, rozklady Poissona z
parametrami λ1 , λ2 , . . ., λn . Udowodnić, że X1 +X2 +. . .+Xn ma rozklad Poissona
z parametrem λ1 + λ2 + . . . + λn .
13. Zmienna losowa X jest niezależna od siebie samej. Udowodnić, że istnieje c
takie, że P(X = c) = 1.
14. Zmienna losowa X ma rozklad wykladniczy z parametrem 1.
a) Wyznaczyć rozklady zmiennych [X] oraz {X}.
b) Czy zmienne te sa, niezależne?
Uwaga: [x], {x} oznaczaja, cześć
calkowita, i cześć
ulamkowa, liczby x ∈ R, odpowied,
,
nio.
15. Zmienna losowa X ma rozklad jednostajny na przedziale [0, 1]. Wyznaczyć
rozklad zmiennej Y = − ln X.
16. Zmienna losowa X ma rozklad normalny N (0, 1). Wyznaczyć gestości
zmi,
ennych Y = eX , Z = X 2 .
17. Tekst broszury zawiera n = 100000 znaków. W trakcie pisania (na komputerze) każdy znak może zostać blednie
wprowadzony z prawdopodobieństwem
,
0, 001. Z kolei redaktor znajduje każdy z bledów
z prawdopodobieństwem 0, 9, po
,
czym tekst wraca do autora, który znajduje każdy z pozostalych bledów
z praw,
dopodobieństwem 0, 5. Oszacować prawdopodobieństwo tego, że po obu korektach
broszura bedzie
zawierala nie wiecej
niż 3 bledy.
,
,
,
18. Zmienne losowe X1 , X2 , . . ., Xn sa, niezależne i maja, rozklady wykladnicze
z parametrami λ1 , λ2 , . . ., λn , odpowiednio. Wyznaczyć rozklad zmiennej Y =
max(X1 , X2 , . . . , Xn ).
19. Zmienna losowa (X, Y ) ma rozklad z gestości
a,
,
g(x, y) = Cxy1{0≤x≤y≤1} .
a) Wyznaczyć C.
b) Obliczyć P(X + Y ≤ 1).
c) Wyznaczyć rozklad zmiennej X/Y .
d) Czy X, Y sa, niezależne?
e) Czy X/Y , Y sa, niezależne?
20. Zmienne X, Y sa, niezależne i maja, rozklad jednostajny na przedziale [−1, 1].
Obliczyć P(X 2 + Y 2 ≤ 1).
21. Zmienna losowa X ma rozklad Cauchy’ego, tzn. z gestości
a,
,
1 1
.
g(x) =
π 1 + x2
Udowodnić, że zmienne X, 1/X maja, ten sam rozklad.
R∞
22. Niech Γ(r) = 0 xr−1 e−x dx, r > 0. Mówimy, że zmienna X ma rozklad
gamma z parametrami λ, r (ozn. Γ(λ, r)), jeśli ma gestość
,
gλ,r (x) =
1 r r−1 −λx
λ x e
1[0,∞) (x).
Γ(r)
a) Udowodnić, że jeśli X, Y sa, niezależnymi zmiennymi losowymi, X ∼ Γ(λ, r),
Y ∼ Γ(λ, s), to X + Y ∼ Γ(λ, r + s).
31
b) Udowodnić, że jeśli X1 , X2 , . . ., Xn sa, niezależnymi zmiennymi losowymi o
rozkladzie Exp(λ), to X1 + X2 + . . . + Xn ma rozklad Γ(λ, n).
c) Udowodnić, że jeśli X1 , X2 , . . ., Xn sa, niezależnymi zmiennymi losowymi o
rozkladzie N (0, 1), to X12 + X22 + . . . + Xn2 ma rozklad Γ(1/2, n/2) (jest to tzw.
rozklad chi kwadrat o n stopniach swobody.
23. Zmienne losowe X, Y sa, niezależne i maja, rozklad wykladniczy z parametrem 1. Udowodnić, że zmienne X/Y oraz X + Y sa, niezależne.
32
ADAM OSEKOWSKI
,
7. Parametry rozkladu zmiennej losowej (wartość oczekiwana i
wariancja)
Definicja 7.1. (i) Zalóżmy, że X jest jednowymiarowa, zmienna, losowa, na przestrzeni
probabilistycznej
(Ω, F, P). Mówimy, że X ma wartość oczekiwana,
, jeśli istnieje
R
calka Ω X(ω)dP(ω). Calke, te, nazywamy wartościa, oczekiwana, (średnia)
, zmiennej
X i oznaczamy symbolem EX.
(ii) Jeśli E|X| < ∞, to mówimy, że X jest calkowalna i oznaczamy to przez
X ∈ L1 (Ω, F, P).
p
(iii) Analogicznie, zalóżmy, że p jest pewna, dodatnia, liczba.
, Jeśli E|X| < ∞, to
p
mówimy że X jest calkowalna z p-ta, poteg
a
i
oznaczamy
to
przez
X
∈
L
(Ω, F, P).
, ,
(iv) Mówimy, że zmienna losowa X jest ograniczona, jeśli istnieje liczba u taka,
że P(|X| ≥ u) = 0. Oznaczenie: X ∈ L∞ (Ω, F, P).
Uwaga: Powyższe definicje maja, także sens gdy X jest zmienna, wielowymiarowa:
o tym mowa w dalszej cześci
wykladu.
, bedzie
,
,
Odnotujmy dwie ważne nierówności:
1) Nierówność Minkowskiego. Jeśli X, Y sa, zmiennymi losowymi oraz 1 ≤ p <
∞, to
(E|X + Y |p )1/p ≤ (E|X|p )1/p + (E|Y |p )1/p .
Istnieje wersja tej nierówności dla p = ∞: mianowicie,
ess sup |X + Y | ≤ ess sup |X| + ess sup |Y |,
gdzie ess sup ξ = inf{u : P(ξ ≥ u) = 0} to tzw. istotne supremum zmiennej ξ.
2) Nierówność Höldera. Zalóżmy, że X, Y sa, zmiennymi losowymi oraz p, q ∈
(1, ∞) sa, liczbami harmonicznie sprzeżonymi,
tzn. spelniajacymi
równość p1 + 1q = 1.
,
,
Wówczas
E|XY | ≤ (E|X|p )1/p (E|Y |q )1/q .
Uwaga: Bezpośrednio z definicji widzimy, że wartość oczekiwana jest operatorem liniowym: ściślej, jeśli X1 , X2 , . . . , Xn sa, calkowalnymi zmiennymi losowymi
oraz a1 , a2 , . . . , an ∈ R, to zmienna a1 X1 + a2 X2 + . . . + an Xn jest calkowalna oraz
E(a1 X1 + a2 X2 + . . . + an Xn ) = a1 EX1 + a2 EX2 + . . . + an EXn .
Z analizy znamy nastepuj
ace
trzy twierdzenia o przechodzeniu do granicy pod
,
,
znakiem calki.
Twierdzenie 7.1 (Lebesgue’a o monotonicznym przechodzeniu do granicy). Zalóżmy,
że X1 , X2 , . . . sa, nieujemnymi i calkowalnymi zmiennymi losowymi, przy czym
Xn (ω) ≤ Xn+1 (ω), n = 1, 2, . . .. Wówczas
E lim Xn = lim EXn .
n→∞
n→∞
W szczególności, zmienna limn→∞ Xn jest calkowalna wtedy i tylko wtedy, gdy
limn→∞ EXn < ∞.
Twierdzenie 7.2 (Lebesgue’a o zbieżności zmajoryzowanej). Zalóżmy, że X1 , X2 ,
. . . sa, zmiennymi losowymi majoryzowanymi przez pewna, zmienna, calkowalna, η:
|Xn | ≤ η dla n = 1, 2, . . .. Jeśli istnieje granica X(ω) = limn→∞ Xn (ω) dla prawie
wszystkich ω (prawie wszystkich w sensie miary P), to limn→∞ EXn = EX.
33
Twierdzenie 7.3 (Lemat Fatou). Zalóżmy, że X1 , X2 , . . . sa, nieujemnymi zmiennymi losowymi. Wówczas E lim inf n→∞ Xn ≤ lim inf n→∞ EXn .
Dygresja: Zalóżmy, że X, Y sa, zmiennymi losowymi. Mówimy, że X i Y
sa, równe prawie na pewno, jeśli zachodzi równość P(X 6= Y ) = 0. Zalóżmy, że
p ∈ [1, ∞] i określmy
(
(E|X|p )1/p dla 1 ≤ p < ∞,
||X||p =
ess sup |X| dla p = ∞.
Jeśli utożsamimy zmienne losowe równe p.n., to || · ||p jest norma, na Lp (Ω, F, P).
Co wiecej,
przestrzeń Lp (Ω, F, P) wraz z ta, norma, jest liniowa i zupelna (czyli jest
,
przestrzenia, Banacha).
Uwaga: Na mocy nierówności Höldera, mamy ||X||p ≤ ||X||p0 jeśli p < p0 .
p0
p
Dostajemy stad
, inkluzje, L (Ω, F, P) ⊂ L (Ω, F, P).
Definicja 7.2. Dla p ∈ (0, ∞), liczbe, E|X|p nazywamy p-tym momentem zmiennej
X.
Twierdzenie 7.4 (Nierówność Czebyszewa). Zalóżmy, że X jest zmienna, losowa,
oraz f : [0, ∞) → [0, ∞) jest funkcja, niemalejac
, a, taka,
, że f (x) > 0 dla x > 0.
Wówczas dla dowolnej liczby λ > 0,
Ef (|X|)
.
P(|X| ≥ λ) ≤
f (λ)
p
W szczególności, biorac
, f (x) = x , p > 0, dostajemy
P(|X| ≥ λ) ≤
E|X|p
.
λp
Dowód. Mamy
Ef (|X|) ≥ Ef (|X|)1{|X|≥λ} ≥ Ef (λ)1{|X|≥λ} = f (λ)P(|X| ≥ λ). Definicja 7.3. Zalóżmy, że X jest jednowymiarowa, zmienna, losowa, calkowalna,
z kwadratem (tzn. X ∈ L2 ). Liczbe, VarX = E(X − EX)2 nazywamy wariancja,
zmiennej X.
Jak latwo sprawdzić, wariancja posiada nastepuj
ace
wlasności. Przy zalożeniu,
,
,
że X ∈ L2 , mamy:
(a) VarX = EX 2 − (EX)2 ,
(b) VarX ≥ 0, przy czym VarX = 0 wtedy i tylko wtedy, gdy X ma rozklad
jednopunktowy.
(c) Var(aX + b) = a2 VarX dla dowolnych liczb rzeczywistych a, b.
(d) Z nierówności Czebyszewa, dla dowolnej liczby λ > 0,
Var X
.
P(|X − EX| ≥ λ) ≤
λ2
Odnotujmy kolejny ogólny fakt.
Twierdzenie 7.5 (O zamianie zmiennych). Zalóżmy, że X jest d-wymiarowa, zmienna, losowa, na (Ω, F, P), a f : Rd → R jest funkcja, borelowska.
, Wówczas
Z
Ef (X) =
f (x)PX (dx),
Rd
o ile jedna z tych calek istnieje.
34
ADAM OSEKOWSKI
,
Dowód. Stosujemy metode, komplikacji funkcji.
(i) Najpierw zalóżmy, że f jest funkcja, charakterystyczna, pewnego zbioru B:
f = 1B . Wówczas dowodzona tożsamość przyjmuje postać P(X ∈ B) = PX (B),
która oczywiście jest prawdziwa.
(ii) Jeśli f jest funkcja, prosta,
, tzn. kombinacja, liniowa, funkcji charakterystycznych, to badana równość zachodzi, gdyż jej obie strony zależa, od f w sposób
liniowy.
(iii) Zalóżmy, że f ≥ 0. Wówczas f jest granica, punktowa, pewnego niemalejacego
,
ciagu
(fn )n≥0 nieujemnych funkcji prostych. Na mocy (ii), mamy
,
Z
Efn (X) =
fn (x)PX (dx),
n = 1, 2, . . . ,
Rd
a wiec
, wystarczy zbiec z n → ∞ oraz skorzystać z twierdzenia Lebesgue’a o monotonicznym przejściu do granicy.
(iv) Jeśli f jest dowolna, to rozbijamy ja, na różnice, dwóch nieujemnych funkcji
borelowskich: f = f+ − f− = f 1{f ≥0} + f 1{f <0} , stosujemy (iii) do funkcji f+ i f− ,
a nastepnie
odejmujemy stronami uzyskane dwie tożsamości. Stad
, teza.
,
Z powyższego faktu wynikaja, nastepuj
ace
,
,
Wnioski:
R
1) Jeśli X jest zmienna, losowa,
, to EX = R xPX (dx) oraz
Z
Z
Var X = (x − EX)2 PX (dx) =
x2 PX (dx) − (EX)2
R
R
(o ile te wielkości istnieja).
,
2) Wartość oczekiwana i wariancja zależa, tylko od rozkladu.
Jak latwo widać z powyższego twierdzenia, jeśli X jest d-wymiarowa, zmienna, o
rozkladzie dyskretnym, a f : Rd → R jest funkcja, borelowska,
, to
Z
X
X
Ef (X) =
f (x)PX (dx) =
f (x)PX ({x}) =
f (x)P(X = x),
Rd
x∈SX
x∈SX
o ile wartość oczekiwana istnieje. Tak wiec,
w szczególności, dla d = 1 mamy
,
X
X
EX =
xPX ({x}) =
xP(X = x),
x∈SX
Var X = EX 2 − (EX)2 =
X
x∈SX
x2 PX ({x}) − (EX)2 =
x∈SX
X
x2 P(X = x) − (EX)2 .
x∈SX
W przypadku gdy zmienna ma rozklad ciag
, ly, jej parametry wyznaczamy przy
użyciu nastepuj
acego
faktu.
,
,
Twierdzenie 7.6. Zalóżmy, że d-wymiarowa zmienna losowa X ma rozklad z
gestości
a, g. Wówczas dla dowolnej funkcji borelowskiej f : Rd → R mamy
,
Z
Z
Ef (X) =
f (x)PX (dx) =
f (x)g(x)dx,
Rd
Rd
o ile wartość oczekiwana istnieje.
Dowód. Tak jak wyżej, stosujemy metode, komplikacji funkcji.
35
Wobec tego, jeśli X jest jednowymiarowa, zmienna, losowa, o rozkladzie z gestości
a,
,
g, to
Z
Z
EX =
xg(x)dx,
x2 g(x)dx − (EX)2 .
Var X =
R
R
Przyklady:
1) Zalóżmy, że PX = δa , a ∈ R. Wówczas EX = a · 1 = a, Var X = EX 2 −
(EX)2 = a2 − a2 = 0.
2) Przypuśćmy, że PX to rozklad dwupunktowy, skupiony w {a, b}, taki że
PX ({a}) = p, PX ({b}) = 1 − p, 0 < p < 1. Wówczas
EX = a · p + b · (1 − p),
Var X = a2 · p + b2 · (1 − p) − (ap + b(1 − p))2 = (a − b)2 p(1 − p).
3) Zalóżmy teraz, że PX = B(n, p): PX ({k}) = nk pk (1−p)n−k , k = 0, 1, . . . , n.
Wówczas, jak za chwile, policzymy,
EX = np
oraz Var X = np(1 − p).
Podejście wprost z definicji jest niewygodne: na przyklad, mamy
n
X
n k
EX =
k
p (1 − p)n−k
k
k=0
i trzeba ,,zwinać”
te, sume.
,
, rachunków, rozważmy niezależne zmienne
, Aby uniknać
losowe X1 , X2 , . . ., Xn o tym samym rozkladzie dwupunktowym zadanym przez
P(Xi = 1) = p = 1 − P(Xi = 0). Wówczas, jak już wiemy, X1 + X2 + . . . + Xn ma
rozklad B(n, p), a zatem, z liniowości wartości oczekiwanej,
EX = E(X1 + X2 + . . . + Xn ) = EX1 + EX2 + . . . + EXn = np.
Ponadto,
EX 2 = E(X1 + X2 + . . . + Xn )2 =
n
X
k=1
EXk2 + 2
X
EXk X` .
k<`
Dla dowolnych różnych k, `, zmienna Xk X` ma rozklad dwupunktowy skoncentrowany na {0, 1}, przy czym
P(Xk X` = 1) = P(Xk = 1, X` = 1) = P(Xk = 1)P(X` = 1) = p2 ,
na mocy niezależności Xk oraz X` . Zatem
n 2
2
EX = n · p + 2
p = np + n(n − 1)p2
2
i w konsekwencji,
Var X = EX 2 − (EX)2 = np − np2 = np(1 − p).
4) Zalóżmy nastepnie,
że zmienna X ma rozklad Poissona z parametrem λ > 0:
,
k
PX ({k}) = e−λ λk! , k = 0, 1, 2, . . .. Wówczas
EX =
∞
X
k=0
∞
k · e−λ
X λk−1
λk
= λe−λ
= λ.
k!
(k − 1)!
k=1
36
ADAM OSEKOWSKI
,
Podobnie obliczamy, iż
Var X =
∞
X
k 2 · e−λ
k=0
5) Zalóżmy, że PX = U([a, b]): g(x) =
Z
EX =
xg(x)dx =
R
oraz
1
Var X =
b−a
Z
1
b−a 1[a,b] (x).
1
b−a
b
2
x dx −
a
λk
− (EX)2 = λ.
k!
Z
Wtedy
b
xdx =
a
a+b
2
2
=
a+b
2
(b − a)2
.
12
6) Dalej, przypuśćmy, że X ∼ Exp(λ), λ > 0, tzn. X ma rozklad z gestości
a,
,
g(x) = λe−λx 1[0,∞) (x). Calkujac
dostajemy
, przez cześci,
,
Z ∞
∞ Z ∞
1
EX =
x · λe−λx dx = −xe−λx +
e−λx dx =
λ
0
0
0
1
oraz, wykonujac
, analogiczne obliczenia, otrzymujemy Var X = λ2 .
7) Wreszcie, przypuśćmy, że PX = N (m, σ 2 ), gdzie m ∈ R oraz σ > 0. Wówczas
gestość
X dana jest wzorem
,
(x − m)2
1
.
exp −
g(x) = √
2σ 2
2πσ
Dokonujac
, podstawienia y = (x − m)/σ, obliczamy, iż
Z
1
(x − m)2
dx
EX = √
x · exp −
2σ 2
2πσ R
Z
2
1
=√
(σy + m)e−y /2 dy
2π R
Z
Z
2
2
m
σ
ye−y /2 dy + √
e−y /2 dy = m.
=√
2π R
2π R
Ponadto, ponownie stosujac
, powyższe podstawienie, otrzymujemy
Z
2
2
1
Var X = √
(x − m)2 e−(x−m) /(2σ ) dx
2πσ R
Z
2
σ2
y 2 e−y /2 dy
=√
2π R
Z
∞
2
2
σ2
σ2
=√
− ye−y /2 e−y /2 dy = σ 2 .
+√
−∞
2π
2π R
Podkreślmy: zatem parametry m i σ 2 pojawiajace
sie, w oznaczeniu rozkladu nor,
malnego, to odpowiednio jego średnia i wariancja.
8) Warto tu jeszcze podać jeden przyklad. Zalóżmy, że X ma rozklad Cauchy’ego,
tzn. rozklad z gestości
a,
,
1 1
,
x ∈ R.
g(x) =
π 1 + x2
Wówczas zmienna X nie jest calkowalna: mamy
Z
1 1
dx = ∞.
E|X| =
|x| ·
π
1 + x2
R
37
Co wiecej,
wartość oczekiwana X nie istnieje: mamy
,
Z
Z ∞
1 x
EX + =
x+ g(x)dx =
dx = ∞
π
1 + x2
0
R
i podobnie EX − = ∞.
Przechodzimy teraz do zwiazków
wartości oczekiwanej i wariancji z niezależnościa,
,
zmiennych.
Twierdzenie 7.7. Zalóżmy, że X1 , X2 , . . ., Xn to calkowalne i niezależne zmienne
losowe. Wówczas zmienna X1 X2 . . . Xn jest calkowalna i zachodzi równość
EX1 X2 . . . Xn = EX1 EX2 . . . EXn .
Dowód. Wiemy, że P(X1 ,X2 ,...,Xn ) = PX1 ⊗PX2 ⊗. . .⊗PXn . Wobec tego, korzystajac
,
z twierdzenia o zamianie zmiennych,
Z
E|X1 X2 . . . Xn | =
|x1 x2 . . . xn |P(X1 ,...,Xn ) (dx1 . . . dxn )
=
Rn
n
YZ
i=1
|xi |PXi (dxi ) < ∞,
R
1
a wiec
,
, X1 X2 . . . Xn ∈ L (Ω, F, P). Wystarczy teraz powtórzyć powyższy ciag
równości bez modulów (który ma sens, gdyż, jak wlaśnie udowodniliśmy, wszystkie wartości oczekiwane istnieja).
,
Uwaga: Twierdzenie odwrotne nie zachodzi. Przykladowo, weźmy zmienne η1 ,
η2 o tym samym rozkladzie calkowalnym z kwadratem i polóżmy X1 = η1 + η2 ,
X2 = η1 − η2 . Wówczas EX2 = 0, a wiec
, EX1 EX2 = 0; ponadto, EX1 X2 =
Eη12 − Eη22 = 0, na mocy równości rozkladów. Na ogól zmienne X1 oraz X2 nie
sa, jednak niezależne: przykladowo, rozważmy dwukrotny rzut kostka, i niech ηi
oznacza liczbe, oczek w i-tym rzucie, i = 1, 2. Wówczas X1 , X2 sa, zależne - maja,
te, sama, parzystość.
Przechodzimy do sytuacji wielowymiarowej.
losowa, o calkowalnych wspólrzednych
(tzn. E|Xi | < ∞ dla i = 1, 2, . . . , n).
,
Wartościa, oczekiwana, X nazywamy wektor (EX1 , EX2 , . . . , EXd ).
Uwagi:
1) Jeśli X, Y sa, d-wymiarowymi zmiennymi losowymi majacymi
wartość oczeki,
wana, oraz α, β ∈ R, to αX + βY także posiada wartość oczekiwana.
,
2) Zmienna d-wymiarowa X ma wartość oczekiwana, wtedy i tylko wtedy, gdy
E|X| < ∞ (gdzie | · | oznacza tu norme, euklidesowa).
Wynika to natychmiast z
,
oszacowania
d
X
|Xj | ≤ |X| ≤
|Xi |,
j = 1, 2, . . . , d.
i=1
3) Jeśli d-wymiarowa zmienna X ma skończona, wartość oczekiwana,
, to |EX| ≤
E|X|. Istotnie, dla dowolnego wektora a ∈ Rd o dlugości 1 mamy
hEX, ai =
d
X
j=1
EXj · aj = EhX, ai ≤ E|X||a| = E|X|
38
ADAM OSEKOWSKI
,
i biorac
alternatywnie, kladac
, supremum po a (badź,
,
, a = EX/|EX|), dostajemy
żadan
a
nierówność.
,
,
Definicja 7.5. Zalóżmy, że X1 , X2 sa, zmiennymi losowymi calkowalnymi z kwadratem.
Liczbe,
Cov (X, Y ) = E (X − EX)(Y − EY )
nazywamy kowariancja, zmiennych X i Y . W przypadku gdy Cov (X, Y ) = 0,
mówimy, że zmienne X, Y sa, nieskorelowane.
Jak latwo sprawdzić, kowariancja posiada nastepuj
ace
wlasności:
,
,
(a) Przede wszystkim, jest ona dobrze określona, na mocy nierówności Schwarza.
(b) Zachodzi równość Cov (X, Y ) = EXY − EXEY .
(c) Dla dowolnej zmiennej X ∈ L2 , Cov (X, X) = Var X.
(d) Zachodzi równość Cov (X, Y ) = Cov (Y, X).
(e) Kowariancja jest operatorem dwuliniowym: jeśli X, Y, Z ∈ L2 , to
Cov (X + Y, Z) = Cov (X, Z) + Cov (Y, Z).
Ponadto, jeśli X ∈ L2 oraz a ∈ R, to Cov (X, a) = 0.
2
Uwaga: Powyższe rozważania pokazuja,
, że jeśli X, Y ∈ L sa, niezależne, to sa,
nieskorelowane, ale nie na odwrót.
Twierdzenie 7.8. Zmienne X1 , X2 , . . ., Xn sa, calkowalne z kwadratem. Wówczas
n
X
X
Var (X1 + X2 + . . . + Xn ) =
Var Xk + 2
Cov (Xk , X` ).
k=1
k<`
W szczególności, jeśli zmienne X1 , X2 , . . ., Xn sa, nieskorelowane, to
Var (X1 + X2 + . . . + Xn ) = Var X1 + Var X2 + . . . + Var Xn .
Dowód. Przeksztalcamy:


2
n
n
X
X
Var (X1 + X2 + . . . + Xn ) = E 
Xj − E 
Xj 
j=1
j=1

2
n
X
= E  (Xj − EXj )
j=1
=
=
n
X
j=1
n
X
j=1
E(Xj − EXj )2 + 2
X
E(Xi − EXi )(Xj − EXj )
i<j
Var Xj + 2
X
Cov (Xi , Xj ).
i<j
Dowodzi to pierwszej cześci
twierdzenia. Jeśli teraz zmienne sa, nieskorelowane, to
,
wszystkie kowariancje pojawiajace
sie, w drugiej sumie sie, zeruja.
,
, Stad
, teza.
Porównujac
, przypadek jedno- i wielowymiarowy widzimy, iż wartość oczekiwana
jednowymiarowej zmiennej losowej jest liczba,
, a wartościa, oczekiwana, wielowymiarowej zmiennej jest wektor. Powstaje naturalne pytanie dotyczace
uogólnienia
,
wariancji na przypadek wielowymiarowy. Okazuje sie,
iż
tym
uogólnieniem
jest
,
tzw. macierz kowariancji.
39
losowa, o wspólrzednych
calkowalnych z kwadratem. Macierz
,


Cov (X1 , X1 ) Cov (X1 , X2 ) . . . Cov (X1 , Xd )
 Cov (X2 , X1 ) Cov (X2 , X2 ) . . . Cov (X2 , Xd ) 

Λ=


...
Cov (Xd , X1 ) Cov (Xd , X2 ) . . . Cov (Xd , Xd )
nazywamy macierza, kowariancji zmiennej X.
Uwaga: Wartość oczekiwana i macierz kowariancji zmiennej losowej d-wymiarowej
zależa, tylko od rozkladu.
Twierdzenie 7.9 (Wlasności macierzy kowariancji). Macierz kowariancji zmiennej X = (X1 , X2 , . . . , Xd ) jest symetryczna i nieujemnie określona.
Dowód. Symetryczność wynika wprost z wlasności (d) kowariancji. Aby udowodnić
nieujemna, określoność, niech mi = EXi oraz weźmy dowolny ciag
, liczb rzeczywistych t1 , t2 , . . ., td . Rozważmy jednowymiarowa, zmienna, losowa, η = t1 X1 +
t2 X2 + . . . + td Xd , która jest calkowalna z kwadratem (gdyż wlasność te, maja, też
zmienne X1 , X2 , . . ., Xd ). Mamy
0 ≤ Var η

2
d
X
= E
tj (Xj − EXj )
j=1
=
d
X
E ti (Xi − EXi ) · tj (Xj − EXj )
i,j=1
=
d
X
ti tj Cov (Xi , Xj ),
i,j=1
co oznacza teze.
,
Poczyńmy jeszcze jedna, przydatna, obserwacje.
, Przypuśćmy, iż macierz kowariancji nie jest dodatnio określona, tzn. dla pewnych t1 , t2 , . . ., td mamy
X
ti tj Cov (Xi , Xj ) = 0.
i,j
Oznacza to, iż η = t1 X1 +t2 X2 +. . .+td Xd ma rozklad jednopunktowy, tzn. istnieje
c ∈ R takie, że
P (t1 X1 + t2 X2 + . . . + td Xd = c) = 1,
a zatem z prawdopodobieństwem 1 zmienna X przyjmuje wartości w pewnej d − 1wymiarowej podprzestrzeni afinicznej.
Odnotujmy pożyteczny
Wniosek: Zmienna X = (X1 , X2 , . . . , Xd ) ma parami nieskorelowane wspólrzedne
,
wtedy i tylko wtedy, gdy macierz kowariancji jest diagonalna. W szczególności, jeśli
wspólrzedne
X1 , X2 , . . ., Xd sa, niezależne, to X ma diagonalna, macierz kowariancji
,
(ale nie na odwrót!).
40
ADAM OSEKOWSKI
,
Przyklad: Rozważmy wielowymiarowy rozklad normalny. Niech m ∈ Rd , niech
A bedzie
symetryczna,
, dodatnio określona, macierza, d × d oraz zalóżmy, że X =
,
(X1 , X2 , . . . , Xd ) ma rozklad z gestości
a,
,
√
det A
1
g(x) =
exp
−
hA(x
−
m),
(x
−
m)i
.
2
(2π)d/2
Twierdzenie 7.10. Mamy EX = m, a macierz kowariancji X jest równa A−1 .
Pozostawiamy dowód tego twierdzenia jako ćwiczenie.
Twierdzenie 7.11. Zalóżmy, że X = (X1 , X2 , . . . , Xd ) ma d-wymiarowy rozklad
normalny. Wówczas zmienne X1 , X2 , . . ., Xd sa, niezależne wtedy i tylko wtedy,
gdy sa, nieskorelowane.
Dowód. ⇒ W te, strone, implikacja zachodzi dla dowolnych zmiennych losowych.
⇐ Jeśli wspólrzedne
sa, nieskorelowane, to, jak wiemy, macierz kowariancji jest
,
przekatniowa:
,
 2

σ1 0 . . . 0
 0 σ22 . . . 0 
.
Λ=


...
0
0 . . . σd2
Zatem A = Λ−1 także jest diagonalna i jej wyrazy na glównej przekatnej
to 1/σ12 ,
,
2
2
1/σ2 , . . ., 1/σd . Wobec tego
q


d
σ1−2 σ2−2 . . . σd−2
X
1
exp −
(xj − mj ) · σj−2 
g(x) =
2 j=1
(2π)d/2
!
d
Y
1
−(xj −mj )2 /(2σj2 )
√
=
e
2πσj
j=1
= g1 (x1 )g2 (x2 ) . . . gd (xd ),
gdzie gj to gestość
rozkladu N (mj , σj2 ). Stad
, niezależność.
,
Rozważymy teraz tzw. zagadnienie regresji liniowej, grajace
ważna, role, w statystyce.
,
Problem możermy sformulować nastepuj
aco.
Zalóżmy, że mamy zmienne losowe X,
,
,
Y calkowalne z kwadratem i znamy ich laczny
rozklad. Ponadto, przypuśćmy, iż
,
obserwujemy wartości zmiennej X, a zmienna Y jest trudniejsza - badź
niemożliwa
,
- do zmierzenia. Powstaje wiec
zagadnienie optymalnego przybliżania
,
, interesujace
zmiennej Y za pomoca, zmiennej X. Oczywiście, musimy odpowiednio postawić
ten problem; bedziemy
szukać optymalnego przybliżenia liniowego, tzn. postaci
,
aX + b, a, b ∈ R, a blad
mierzyć w sensie średniokwadratowym. Innymi
, bedziemy
,
slowy, szukamy stalych a, b ∈ R, dla których wielkość f (a, b) = E(Y − aX − b)2 jest
najmniejsza.
Aby rozwiazać
ten problem, zauważmy, iż przy ustalonym a, funkcja b 7→ f (a, b)
,
jest trójmianem kwadratowym, który przyjmuje swoja, najmniejsza, wartość w punkcie
E(Y − aX). Wystarczy wiec
, wyznaczyć najmniejsza, wartość funkcji
h(a) = f (a, E(Y −aX)) = E(Y −EY −a(X−EX))2 = a2 VarX−2aCov(X, Y )+VarY.
Jeśli zmienna X jest stala p.n. (czyli VarX=0), to wówczas h jest funkcja, stala, i
widać, że optymalnym liniowym estymatorem zmiennej Y jest jej średnia: aX +b =
41
aX + (EY − aEX) = EY . Jeśli zaś VarX 6= 0, to h jest trójmianem kwadratowym
zmiennej a, przyjmujacym
swoja, najmniejsza, wartość w punkcie
,
Cov(X, Y )
a=
VarX
i wówczas
Cov(X, Y )
.
b = EY − EX ·
VarX
Uwagi:
1) Widać, że do powyższych obliczeń nie potrzebowaliśmy calej wiedzy o rozkladzie lacznym
zmiennych (X, Y ). Wystarczy nam znajomość średnich i wariancji
,
zmiennych X, Y oraz ich kowariancji.
2) Zalóżmy, że wariancje X oraz Y sa, niezerowe. Dla powyższych (optymalnych)
a, b obliczamy, iż
f (a, b) = Var X(1 − ρ2 (X, Y )),
gdzie
Cov (X, Y )
ρ(X, Y ) = √
Var X VarY
to tzw. wspólczynnik korelacji. Wspólczynnik ten posiada nastepuj
ace
wlasności:
,
,
(a) Zachodzi nierówność −1 ≤ ρ(X, Y ) ≤ 1,
(b) Mamy ρ(X, Y ) = ρ(Y, X) oraz, dla dowolnych a, b ∈ R, ρ(aX + b, Y ) =
ρ(X, Y ).
(c) Jeśli |ρ(X, Y )| = 1, to X = αY + β dla pewnych α, β ∈ R; innymi slowy,
miedzy
X a Y jest zależność liniowa.
,
(d) Równość ρ(X, Y ) = 0 zachodzi wtedy i tylko wtedy, gdy X, Y sa, nieskorelowane. Wówczas najlepszym przybliżeniem Y jest EX.
42
ADAM OSEKOWSKI
,
8. Zadania
1. Dana jest zmienna losowa X taka, że P(X = 0) = P(X = 1) =
1
−3) = 12 . Obliczyć EX, E X+2
, E cos(πX) oraz Var X.
1
4,
P(X =
2. Zmienna losowa X ma rozklad Poissona z parametrem 2. Obliczyć E6X .
3. Zmienna losowa X ma rozklad z gestości
a,
,
3 2
g(x) = x 1[0,2] .
8
1
2
oraz
Var
X
.
Obliczyć EX, E 1+x
3
4. Zmienna losowa X ma rozklad z dystrybuanta,

0
jeśli t < 0,



t/2 jeśli 0 ≤ t < 1,
F (t) =

3/4 jeśli 1 ≤ t < 5,



1
jeśli t ≥ 5.
Wyznaczyć E(2X + 1).
5. W urnie znajduje sie, 50 bialych kul. Losujemy ze zwracaniem po jednej
kuli, przy czym wyciagni
et
,
, a, kule, malujemy na czerwono, jeśli jest biala. Niech X
oznacza liczbe, czerwonych kul w urnie po 20 losowaniach. Wyznaczyć EX oraz
Var X.
6. Każdy bok i każda, przekatn
foremnego malujemy losowo na
, a, sześciokata
,
jeden z trzech kolorów. Wybór każdego koloru jest jednakowo prawdopodobny,
kolorowania różnych odcinków sa, niezależne. Niech X oznacza liczbe, jednobarwnych trójkatów
o wierzcholkach bed
wierzcholkami sześciokata.
Obliczyć
,
,
,
, acych
EX.
7. Rzucamy kostka, aż do momentu, gdy wyrzucimy wszystkie liczby oczek.
Obliczyć wartość oczekiwana, i wariancje, liczby rzutów.
8. Udowodnić, że dla dowolnej zmiennej losowej nieujemnej X oraz p > 0
zachodzi wzór
Z ∞
Z ∞
EX p = p
tp−1 P(X ≥ t)dt = p
tp−1 P(X > t)dt.
0
0
Wywnioskować stad,
że jeśli zmienna X ma rozklad dyskretny skoncentrowany na
,
liczbach calkowitych nieujemnych, to
EX =
∞
X
k=1
P(X ≥ k) =
∞
X
P(X > k).
k=0
9. Liczby 1, 2, . . . , n ustawiono losowo w ciag
, (a1 , a2 , . . . , an ). Niech N oznacza
najwieksz
a, taka, liczbe,
,
, że ak > ak−1 dla k ≤ N . Obliczyć EN .
10. Dany jest ciag
, niezależnych zmiennych losowych X0 , X1 , X2 , . . . o tym
samym rozkladzie posiadajacym
ciag
,
, la, dystrybuante.
, Niech η = inf{n : Xn > X0 }.
Wyznaczyć rozklad zmiennej η oraz obliczyć Eη.
11. Kij o dlugości 1 zlamano w punkcie wybranym losowo, z prawdopodobieństwem
rozlożonym równomiernie. Obliczyć wartość oczekiwana, stosunku
a) dlugości kawalka lewego do dlugości kawalka prawego.
b) dlugości kawalka krótszego do dlugości kawalka dluższego.
43
12. Zmienne losowe X, Y spelniaja, warunki VarX = 3, Cov(X, Y ) = −1,
VarY = 2. Obliczyć Var(4X − 3Y ) oraz Cov(5X − Y, 2X + Y ).
13. Zmienna losowa X ma wariancje, σ 2 < ∞. Udowodnić, że
1
P(|X − EX| > 3σ) ≤ .
9
14. Zmienne losowe ε1 , ε2 , . . . , εn sa, niezależne i maja, ten sam rozklad P(εk =
1) = P(εk = −1) = 1/2,
ciagiem
liczb
,
,
Pnk = 1, 2, . . . , n. Niech a1 , a2 , . . . , an bedzie
rzeczywistych i A = ( k=1 a2k )1/2 . Udowodnić, że
!
n
X
P ak εk > t ≤ 2 exp(−t2 /2A2 ).
k=1
15. Zmienne ε1 , ε2 , . . . sa, niezależne i maja, ten sam rozklad P(εk = 1) = P(εk =
−1) = 1/2, k = 1, 2, . . . . Niech Sn = ε1 + ε2 + . . . + εn , n = 1, 2, . . .. Udowodnić,
że
Sn
lim sup √
≤1
p.n.
2n log n
oraz
Sn
lim inf √
≥ −1
p.n..
2n log n
16. Zmienna losowa X ma nastepuj
ac
, a, wlasność: dla n = 1, 2, . . . mamy
,
2n
E|X|n ≤
.
n
Udowodnić, że X ∈ L∞ (tzn. istnieje taka liczba M , że P(|X| ≤ M ) = 1).
17. Zmienna losowa X ma rozklad normalny w Rd , o średniej m i macierzy
kowariancji Λ. Niech T bedzie
przeksztalceniem afinicznym Rd na Rk , k ≤ d.
,
Udowodnić, że T X ma rozklad normalny w Rk . Wyznaczyć jego średnia, oraz
macierz kowariancji.
18. Zmienna losowa X ma d-wymiarowy rozklad normalny o gestości
,
√
det A
1
g(x) =
exp − hA(x − m), (x − m)i .
2
(2π)d/2
Udowodnić, że EX = m oraz Λ = A−1 (Λ oznacza tu macierz kowariancji X).
19. Zmienna losowa (X, Y ) ma dwuwymiarowy rozklad normalny o średniej
(0, 0) i macierzy kowariancji
2 1
Λ=
.
1 1
a) Napisać gestość
zmiennej (X, Y ).
,
b) Wyznaczyć rozklad zmiennej X + 3Y .
c) Wyznaczyć taka, liczbe, a ∈ R, by zmienne X + Y , X + aY byly niezależne.
20. Nadajnik wysyla sygnal ξ, a odbiornik odbiera sygnal η = aξ + ζ, gdzie
a ∈ R+ jest wspólczynnikiem wzmocnienia, zaś ζ jest zaklóceniem. Zakladamy,
że ξ i ζ sa, niezależnymi zmiennymi losowymi, przy czym Eξ = m, Var ξ = 1,
Eζ = 0, Var ζ = σ 2 . Wyznaczyć wspólczynnik korelacji ξ i η oraz regresje, liniowa,
ξ wzgledem
η (tzn. najlepsze liniowe przybliżenie ξ za pomoca, η).
,
44
ADAM OSEKOWSKI
,
9. Różne rodzaje zbieżności zmiennych losowych
Zajmiemy sie, teraz zachowaniem granicznym ciagów
zmiennych losowych. Za,
cznijmy jednak od pewnego pożytecznego faktu.
Definicja 9.1. Zalóżmy, że (Ω, F, P) jest przestrzenia, probabilistyczna, oraz F1 ,
F2 , . . . ⊆ F jest ciagiem
σ-cial. Wówczas σ-cialo
,
∞
\
σ(Fn , Fn+1 , Fn+2 , . . .)
n=1
nazywamy σ-cialem resztkowym.
Przyklad: Zalóżmy, że X1 , X2 , . . . jest ciagiem
zmiennych losowych i niech
,
Fn = σ(Xn ) bedzie
σ-cia
lem
generowanym
przez
zmienn
a, Xn , n = 1, 2, . . ..
,
Wówczas każde ze zdarzeń
)
(∞
X
Xn jest zbieżny
{(Xn )n≥1 jest zbieżny}, {sup |Xn | < ∞},
n
n=1
należy do σ-ciala resztkowego.
Twierdzenie 9.1 (Prawo 0−1 Kolmogorowa). Zalóżmy, że (Ω, F, P) jest przestrzenia,
probabilistyczn
a, oraz σ-ciala F1 , F2 , . . . ⊆ F sa, niezależne. Wówczas dla każdego
T∞
A ∈ n=1 σ(Fn , Fn+1 , . . .) mamy P(A) = 0 lub P(A) = 1.
Lemat 9.1. Zalóżmy, że G1 ⊆ G2 ⊆ . . . ⊆ F jest wstepuj
acym
ciagiem
σ-cial
,
,
,
oraz niech G = σ(G1 , G2 , . . .). Wówczas dla dowolnego A ∈ G istnieje ciag
, (An )n≥1
takich zdarzeń, że An ∈ Gn dla każdego n oraz limn→∞ P(A∆An ) = 0 (∆ oznacza
tu różnice, symetryczna, zbiorów).
Dowód. Wprowadźmy klase, zbiorów
K = {A ∈ G : istnieje ciag
, (An )n≥1 jak w sformulowaniu lematu}.
S
Oczywiście n≥1 Gn ⊂ K, ponadto suma po lewej stronie zawierania jest π-ukladem.
Wystarczy wiec
, wykazać, że K jest λ-ukladem. Sprawdzamy:
(i) Ω ∈ K - jest to oczywiste.
(ii) Zalóżmy, że A, B ∈ K spelniaja, warunek A ⊆ B i niech (An )n≥1 , (Bn )n≥1
bed
przybliżajacymi.
Wykażemy, zgodnie z intuicja,
,
,
, że ciag
,
, a, odpowiednimi ciagami
(Bn \ An )n≥1 przybliża B \ A. Oczywiście Bn \ An ∈ Gn dla każdego n. Ponadto,
korzystajac
, z tożsamości P(A∆B) = E|1A − 1B |, mamy
P (Bn \ An )∆(B \ A) = E1Bn \An − 1B\A = E1B − 1A ∩B − 1B + 1A n
n
n
≤ E|1Bn − 1B | + E|1A − 1An 1Bn |.
Pierwszy skladnik jest równy P(Bn ∆B), a wiec
, zbiega do 0 gdy n → ∞. Ponadto,
E|1A − 1An 1Bn | = E1A − (1An − 1A + 1A )(1Bn − 1B + 1B )
≤ E|1A − 1A 1B | + E1A |1Bn − 1B |
+ E1B |1An − 1A | + E|1An − 1A ||1Bn − 1B |
≤ 0 + P(B∆Bn ) + P(A∆An ) + 2P(A∆An )
także zbiega do zera gdy n daży
do nieskończoności. Udowodniliśmy zatem, że
,
B \ A ∈ K.
45
S∞
(iii) Jeśli A1 , A2 , . . . jest wstepuj
ciagiem
elementów z K, to n=1 An
,
,
,S acym
∞
także należy do K. Istotnie, sume, n=1 An możemy dowolnie dokladnie przybliżyć
SN
za pomoca, sumy cześciowej
zbiór AN przybliżamy
n=1 An = AN , a nastepnie
,
,
odpowiednim ciagiem
zdarzeń
z
σ-cia
l
G
.
n
,
Dowód twierdzenia Kolmogorowa. Rozważmy wstepuj
acy
ciag
,
, σ-cial dany przez
,
Gn = σ(F1 , F2 , . . . , Fn ),
n = 1, 2, . . . .
Weźmy zdarzenie A należace
do σ-ciala resztkowego. Oczywiście należy ono także
,
do σ-ciala
σ(F1 , F2 , . . .) = σ(G1 , G2 , . . .),
a zatem, na mocy powyższego lematu, możemy wskazać ciag
, (An )n≥1 taki, że An ∈
Gn oraz P(A∆An ) → 0 gdy n → ∞. Ponieważ P(A∆An ) = P(A \ An ) + P(An \ A),
to każde z tych dwóch prawdopodobieństw także zbiega do 0. Ale
P(A \ An ) = P(A) − P(A ∩ An ),
zatem P(A ∩ An ) → P(A). Ponadto,
P(An \ A) = P(An ) − P(A ∩ An ),
a wiec,
w polaczeniu
z poprzednia, zbieżnościa,
,
, P(An ) → P(A). Wreszcie, dla
,
dowolnego n mamy
A ∈ σ(Fn+1 , Fn+2 , . . .),
An ∈ Gn ,
i te σ-ciala sa, niezależne. Wobec tego A oraz An także sa, niezależne, P(A ∩ An ) =
P(A)P(An ), i lewa strona daży
do P(A), a prawa do P(A)2 . Stad
,
, P(A) ∈ {0, 1}. Przechodzimy teraz do zbieżności zmiennych losowych.
Definicja 9.2. Zalóżmy, że (Xn )n≥1 jest ciagiem
zmiennych losowych o wartościach
,
w Rd . Mówimy, że
(i) Xn zbiega do X prawie na pewno, jeśli P(limn→∞ Xn = X) = 1. Oznaczenie:
Xn → X p.n.
(ii) (p ≥ 1, d = 1) Xn zbiega do X w Lp jeśli X1 , X2 , . . . ∈ Lp oraz limn→∞ ||Xn −
X||p = 0 (przypomnijmy: ||ξ||p = (E|ξ|p )1/p dla p < ∞, ||ξ||∞ = esssup |ξ|). Oznaczenie: Xn → X w Lp .
(iii) Xn zbiega do X wedlug prawdopodobieństwa, jeśli dla każdego ε > 0,
P
limn→∞ P(|Xn − X| > ε) = 0. Oznaczenie: Xn −
→ X.
P
Twierdzenie 9.2. Jeśli Xn → X p.n., to Xn −
→ X. Implikacja przeciwna nie
zachodzi.
Dowód. Z definicji, ciag
, (Xn )n≥1 zbiega do X prawie na pewno, jeśli


∞ \
\ [
P
{ω : |Xn (ω) − X(ω)| < ε} = 1.
ε>0 N =1 n≥N
Jest to równoważne warunkowi, że dla każdego ε > 0,


∞ \
[
P
{ω : |Xn (ω) − X(ω)| < ε} = 1.
N =1 n≥N
46
ADAM OSEKOWSKI
,
Ale ciag
, zdarzeń
T
n≥N {|Xn
− X| < ε}
N ≥1
jest wstepuj
acy;
na mocy twierdzenia
,
,
o ciag
, lości, powyższa równość oznacza, iż dla dowolnego ε > 0,


\
lim P 
{ω : |Xn (ω) − X(ω)| < ε} = 1.
N →∞
n≥N
Wobec tego tym bardziej
lim P ({ω : |XN (ω) − X(ω)| < ε}) = 1,
N →∞
czyli, po przejściu do zdarzenia przeciwnego, P(|XN − X| ≥ ε) → 0.
Aby udowodnić, że implikacja przeciwna nie zachodzi, rozważmy nastepuj
acy
,
,
przyklad. Zalóżmy, że przestrzeń probabilistyczna to przedzial [0, 1] wraz ze swoimi
podzbiorami borelowskimi oraz miara, Lebesgue’a. Niech
X1 = 1[0,1) ,
X2 = 1[0,1/2) ,
X3 = 1[1/2,1) ,
X4 = 1[0,1/4) ,
X5 = 1[1/4,1/2) ,
X6 = 1[1/2,3/4) ,
X7 = 1[3/4,1) ,
...
Wówczas ciag
, (Xn )n≥0 zbiega do 0 wedlug prawdopodobieństwa: dla dowolnego ε,
P(|Xn − 0| > ε) jest poteg
, a, dwójki z coraz mniejszym calkowitym wykladnikiem. Z
drugiej strony, dla dowolnego ω ∈ [0, 1), liczbowy ciag
, (Xn (ω))n≥1 nie jest zbieżny;
jest to ciag
zawieraj
acy
nieskończenie
wiele
zer
oraz
nieskończenie
wiele jedynek. ,
,
P
Twierdzenie 9.3. Jeśli Xn → X w Lp , to Xn −
→ X. Implikacja w druga, strone,
nie zachodzi.
Dowód. Na mocy nierówności Czebyszewa, dla dowolnego ε mamy
E|Xn − X|p n→∞
−−−−→ 0.
εp
Wykażemy, że implikacja w druga, strone, nie zachodzi. Rozpatrzymy tylko p < ∞,
przypadek p = ∞ pozostawiamy czytelnikowi. Rozważmy przestrzeń probabilistyczna, ([0, 1], B(0, 1), | · |) oraz ciag
, (Xn )n≥1 zmiennych zadanych wzorem
P(|Xn − X| ≥ ε) ≤
Xn (ω) = n1/p 1[0,1/n] (ω).
P
Wówczas Xn −
→ 0: dla dowolnego ε mamy
P(|Xn − 0| > ε) ≤ 1/n → 0.
p
Zatem, gdyby ciag
, (Xn )n≥1 zbiegal w L , to do zmiennej skoncentrowanej w zerze
(na mocy implikacji która, wlaśnie udowodniliśmy). Ale
E|Xn − 0|p = E|Xn |p = 1 6→ 0. 0
Twierdzenie 9.4. Jeśli p < p0 oraz Xn → X w Lp , to Xn → X w Lp .
Dowód. Wynika to natychmiast z nierówności Höldera: mamy
n→∞
||Xn − X||p ≤ ||Xn − X||p0 −−−−→ 0. WYKLAD Z RACHUNKU PRAWDOPODOBIEŃSTWA I
47
Twierdzenie 9.5. a) Ciag
, (Xn )n≥1 jest zbieżny wedlug prawdopodobieństwa wtedy
i tylko wtedy, gdy spelnia warunek Cauchy’ego wedlug prawdopodobieństwa:
∀δ>0 ∀ε>0 ∃N ∀m,n≥N P(|Xn − Xm | > ε) < δ.
b) Jeśli Xn zbiega do X wedlug prawdopodobieństwa, to istnieje podciag
, (nk )k≥1
taki, że ciag
(X
)
zbiega
p.n.
do
X.
nk k≥1
,
Definicja 9.3. Zalóżmy, że {Xi }i∈I jest rodzina, calkowalnych zmiennych losowych.
Mówimy, że ta rodzina jest jednostajnie (jednakowo) calkowalna, jeśli
Z
r→∞
sup
|Xi |dP −−−→ 0.
i∈I
{|Xi |≥r}
Przyklady:
1) Zalóżmy, że istnieje nieujemna calkowalna zmienna η taka, że |Xi | ≤ η dla
wszystkich i ∈ I. Wówczas {Xi }i∈I jest rodzina, jednakowo calkowalna.
, Istotnie,
Z
Z
r→∞
sup
|Xi |dP ≤
|η|dP −−−→ 0,
i∈I
{|Xi |≥r}
{η≥r}
na mocy twierdzenia Lebesgue’a o zmajoryzowanym przejściu do granicy.
2) Każda skończona rodzina zmiennych calkowalnych P
jest jednakowo calkowalna:
wystarczy wykorzystać poprzedni przyklad, biorac
i∈I |Xi |.
, η =
3) Dowolna jednostajnie calkowalna rodzina zmiennych losowych, po dodaniu do
niej skończonej liczby zmiennych calkowalnych, pozostaje jednostajnie calkowalna.
4) Rozważmy przestrzeń probabilistyczna, ([0, 1], B([0, 1]), |·|) oraz ciag
, zmiennych
X1 , X2 , . . . zadanych przez Xn (ω) = n2 1[0,1/n] (ω). Rodzina ta nie jest jednostajnie
calkowalna: mamy
(
∅
dla n < m,
2
2
2
{|Xn | ≥ m } = {n 1[0,1/n] ≥ m } =
[0, 1/n] dla n ≥ m,
a wiec
,
(
Z
|Xn |dP =
{|Xn |≥m2 }
0
dla n < m,
2
n · 1/n dla n ≥ m,
R
a wiec
, dla każdego r, supn {|Xn |≥r} |Xn |dP = ∞.
√
Z drugiej strony, rodzina zmiennych {Yn }n≥1 = { n1[0,1/n] }n≥1 jest jednostajnie
calkowalna. Powtarzajac
, powyższe rozumowanie widzimy, że
(
√
Z
0
dla n < r,
|Xn |dP = √
√
n · 1/n dla n ≥ r.
{|Xn |≥r}
Zatem dla ustalonego r,
Z
|Xn |dP ≤ 1/r,
sup
n
{|Xn |≥r}
co zbiega do 0 gdy r → ∞.
Udowodnimy teraz pewien równoważny warunek na jednakowa, calkowalność.
Twierdzenie 9.6. Rodzina {Xi }i∈I jest jednakowo calkowalna wtedy i tylko wtedy,
gdy zachodza, nastepuj
ace
dwa warunki:
,
,
1◦ supi∈I E|Xi | < ∞,
48
ADAM OSEKOWSKI
,
2◦ Dla każdego ε > 0 istnieje δ > 0 taka, że jeśli zdarzenie A spelnia P(A) < δ,
to
Z
|Xi |dP < ε,
i ∈ I.
A
Dowód. ⇒ Zacznijmy od warunku 2◦ . Dla każdego A ∈ F oraz i ∈ I mamy
Z
Z
Z
Z
|Xi |dP =
|Xi |dP+
|Xi |dP ≤ sup
|Xi |dP+rP(A).
A∩{|Xi |≥r}
A
A∩{|Xi |<r}
i∈I
{|Xi |≥r}
Zatem, przy ustalonym ε > 0, bierzemy r takie, by pierwszy skladnik byl mniejszy
niż ε/2 (jest to możliwe na mocy definicji jednakowej calkowalności); nastepnie,
,
bierzemy δ = ε/(2r): wówczas drugi skladnik także jest mniejszy niż ε/2. Ponadto,
biorac
, wyżej A = Ω, dostajemy, iż dla każdego r,
Z
sup E|Xi | ≤ sup
|Xi |dP + r < ∞,
i∈I
i∈I
{|Xi |≥r}
◦
co jest żadanym
warunkiem 1 .
,
⇐ Dla dowolnego i ∈ I mamy, z nierówności Czebyszewa oraz 1◦ ,
P(|Xi | ≥ r) ≤
E|Xi |
≤ sup E|Xi |/r < ∞.
r
i∈I
Nastepnie,
dla dowolnego ε > 0 dobieramy δ z warunku 2◦ . Powyższy rachunek
,
daje, iż dla dostatecznie dużych r mamy supi∈I P(|Xi | ≥ r) < δ, a zatem z 2◦ ,
Z
sup
|Xi |dP < ε.
i∈I
{|Xi |≥r}
Oznacza to, iż jest spelniony warunek definiujacy
jednakowa, calkowalność.
,
Twierdzenie 9.7. Niech p ≥ 1 bedzie
ustalona, liczba.
, Ciag
, (Xn )n≥1 jest zbieżny
,
w Lp wtedy i tylko wtedy, gdy jest zbieżny wedlug prawdopodobieństwa oraz rodzina
{|Xn |p }n≥1 jest jednostajnie calkowalna.
Dowód. ⇒ Zbieżność wedlug prawdopodobieństwa mamy za darmo; pozostaje wykazać
jednostajna, calkowalność. Dla dowolnego A ∈ F,
Z
1/p
p
(∗)
|Xn | dP
= ||Xn 1A ||p ≤ ||X1A ||p + ||(X − Xn )1A ||p .
A
Dla A = Ω, nierówność (∗) daje ||Xn ||p ≤ ||X||p +||Xn −X||p , a wiec
, supn ||Xn ||p <
◦
∞, co pociaga
za
sob
a
warunek
1
z
poprzedniego
twierdzenia.
Aby dowieść 2◦ ,
,
,
p
ustalmy ε > 0. Z definicji zbieżności w L , istnieje N takie, że ||Xn − X||p < ε/2
dla n ≥ N . Rodzina {|X|p , |X1 − X|p , . . . , |XN − X|p } jest skończona i zawiera calkowalne zmienne losowe, jest wiec
, jednakowo calkowalna (por. Przyklad
2 powyżej) i spelnia warunek 2◦ : istnieje δ taka, że jeśli P(A) < δ, to
Z
1/p
Z
1/p
p
p
|X| dP
< ε/2,
|Xi − X| dP
< ε/2, i = 1, 2, . . . , N.
A
A
Wystarczy teraz polaczyć
wszystkie powyższe rozważania i (*): jeśli P(A) < δ, to
,
Z
sup
|Xn |p dP ≤ εp .
n
A
49
⇐ Ponieważ Xn → X wedlug prawdopodobieństwa, to możemy wybrać podciag
,
(Xnk )k≥1 zbieżny do X prawie na pewno. Z lematu Fatou, X ∈ Lp :
E|X|p = E lim |Xnk |p ≤ lim inf E|Xnk |p ≤ sup E|Xn |p < ∞.
k→∞
k→∞
n
Dalej, mamy
||Xn − X||p ≤ ||(Xn − X)1{|Xn −X|≥α} ||p + ||(Xn − X)1{|Xn −X|<α} ||p
!1/p
!1/p
Z
Z
p
p
≤
|Xn | dP
+
|X| dP
{|Xn −X|≥α}
Z
+
{|Xn −X|≥α}
!1/p
|Xn − X|p dP
.
{|Xn −X|<α}
Nastepnie,
wybierzmy dowolne ε > 0 i polóżmy α = ε/3. Z warunku 2◦ dostajemy
,
istnienie takiej δ, że jeśli P(A) < δ, to
Z
Z
p
sup
|Xn |p dP < (ε/3) ,
|X|p < (ε/3)p .
n
A
A
Ponadto, z definicji zbieżności wedlug prawdopodobieństwa, istnieje N takie, że dla
n ≥ N , P(|Xn − X| ≥ α) < δ. Stad
, wynika teza, gdyż dwa pierwsze skladniki w
powyższym oszacowaniu sa, mniejsze niż ε/3 oraz
!1/p
!1/p
Z
Z
p
p
|Xn − X| dP
≤
α dP
≤ α = ε/3. {|Xn −X|<α}
{|Xn −X|<α}
50
ADAM OSEKOWSKI
,
10. Zadania
1. Zmienne (Xn )n≥1 sa, niezależnymi zmiennymi Rademachera. Udowodnić, że
(Xn )n≥1 nie jest zbieżny p.n.. Czy (Xn )n≥1 jest zbieżny wedlug prawdopodobieństwa?
P∞ −n
2. Dany jest ciag
Xn
n=1 2
, (Xn )n≥1 jak poprzednio. Udowodnić, że szereg
jest zbieżny p.n. i wyznaczyć rozklad graniczny.
3. Dane sa, ciagi
(Xn )n≥1 , (Yn )n≥1 zbieżne wedlug prawdopodobieństwa do X,
,
Y , odpowiednio. Udowodnić, że
a) (Xn + Yn )n≥1 zbiega do X + Y wedlug prawdopodobieństwa.
b) (Xn Yn )n≥1 zbiega wedlug prawdopodobieństwa do XY .
4. Dana jest calkowalna zmienna losowa X. Niech dla n ≥ 1,


jeśli X(ω) < −n,
−n
Xn (ω) = X(ω) jeśli |X(ω)| ≤ n,


n
jeśli X(ω) > n.
Czy (Xn )n≥1 zbiega do X p.n.? Czy zbiega w L1 ?
5. Dane sa, ciagi
, (Xn )n≥1 , (Yn )n≥1 zbieżne p.n. do zmiennych X, Y . Udowodnić,
że jeśli dla każdego n zmienne Xn oraz Yn maja, ten sam rozklad, to X i Y też maja,
ten sam rozklad.
6. Zmienne X1 , X2 , . . . sa, niezależnymi zmiennymi losowymi o rozkladzie
wykladniczym z parametrem λ.
(a) Udowodnić, że jeśli λ > 1, to z prawdopodobieństwem 1 mamy {Xn < log n}
dla dostatecznie dużych n, natomiast jeśli λ ≥ 1, to z prawdopodobieństwem 1
mamy Xn ≥ log n dla nieskończenie wielu n.
(b) Zbadać zbieżność p.n. ciagu
(Xn / log n)n≥2 .
,
7. Zmienne X1 , P
X2 , . . . sa, niezależne, nieujemne i maja, ten sam rozklad, różny
∞
od δ0 . Dowieść, że n=1 Xn = ∞ z prawdopodobieństwem 1.
8. Zmienne losowe X1 , X2 , . . . sa, niezależne, maja, ten sam rozklad i spelniaja,
warunek P(|Xi | < 1) = 1. Udowodnić, że limn→∞ X1 X2 . . . Xn = 0 p.n.
9. Zmienne X1 , X2 , . . . sa, niezależne i maja, ten sam rozklad.
(a) Udowodnić, że ciag
, średnich
X1 + X2 + . . . + Xn
,
n = 1, 2, . . .
n
jest albo zbieżny p.n., albo rozbieżny z prawdopodobieństwem 1.
(b) Udowodnić, że jeśli ten ciag
, jest zbieżny p.n., to jego granica ma rozklad
jednopunktowy.
10. Dany jest ciag
, (Xn )n≥1 niezależnych zmiennych losowych takich, że dla
n ≥ 1 Xn ma rozklad Poissona z parametrem 1/n. Czy (Xn )n≥1 jest zbieżny
wedlug prawdopodobieństwa? Czy jest zbieżny p.n.? Czy jest zbieżny w L2 ? Czy
jest zbieżny w L3/2 ?
11. Dany sa, ciagi
zmiennych (Xn )n≥1 , (Yn )n≥1 , przy czym Xn → X w Lp
,
q
oraz Yn → Y w L , gdzie p, q > 1 spelniaja, warunek 1/p + 1/q = 1. Dowieść, że
(Xn Yn )n≥1 zbiega w L1 do XY .
12. Jakie warunki musi spelniać niepusty zbiór Λ ⊆ (0, ∞), aby rodzina zmiennych losowych (Xλ )λ∈Λ , gdzie
51
(a) Xλ ∼ U([0, λ]),
(b) Xλ ∼ Exp (λ),
byla jednostajnie calkowalna?
13. Dana jest funkcja G : [0, ∞) → [0, ∞) taka, że limt→∞ G(t)
t = ∞. Zalóżmy,
że (Xi )i∈I jest rodzina, zmiennych losowych takich, że supi∈I EG(|Xi |) < ∞. Udowodnić,
że rodzina ta jest jednostajnie calkowalna.
52
ADAM OSEKOWSKI
,
11. Prawa wielkich liczb
Prawa wielkich liczb mówia, o zachowaniu granicznym ciagu
średnich arytmety,
cznych
X1 + X2 + . . . + Xn
,
n = 1, 2, . . . ,
n
przy rozmaitych zalożeniach dotyczacych
zmiennych. Zacznijmy od slabego prawa
,
wielkich liczb (SPWL): termin ,,slabe” bierze sie, stad,
iż badana jest zbieżność
,
wedlug prawdopodobieństwa.
Twierdzenie 11.1. Zalóżmy, że X1 , X2 , . . . sa, zmiennymi losowymi calkowalnymi
z kwadratem. Jeśli zmienne te sa, nieskorelowane oraz maja, wspólnie ograniczona,
wariancje,
, to
X1 + X2 + . . . + Xn − E(X1 + X2 + . . . + Xn )
→0
n
wedlug prawdopodobieństwa. W szczególności, jeśli zmienne Xi posiadaja, te, sama,
wartość oczekiwana,
, to
X1 + X2 + . . . + Xn P
−
→ EX1 .
n
Dowód. Zauważmy, iż
X1 + X2 + . . . + Xn − E(X1 + X2 + . . . + Xn ) 2
E n
X1 + X2 + . . . + Xn − E(X1 + X2 + . . . + Xn )
= Var
n
!
n
X
1
Xk
= 2 Var
n
k=1
n
supk≥1 Var Xk
1 X
Var Xk ≤
.
= 2
n
n
k=1
Wobec tego dla ustalonego ε > 0 mamy, na mocy nierówności Czebyszewa,
X1 + X2 + . . . + Xn − E(X1 + X2 + . . . + Xn ) P ≥ε
n
supk≥1 Var Xk
.
nε2
Wystarczy zauważyć, że ostatnie wyrażenie zbiega do 0 gdy n → ∞. Wynika stad
,
żadana
zbieżność wedlug prawdopodobieństwa.
,
≤
Jako przypadek szczególny, dostajemy tzw. slabe prawo wielkich liczb Bernoulliego. Mianowicie, rozważmy ciag
, (ξn )n≥1 zmiennych losowych (niekoniecznie niezależnych), przy czym dla n ≥ 1, zmienna ξn ma rozklad B(n, p), gdzie p ∈ (0, 1)
jest ustalonym parametrem. Wówczas
ξn P
−
→ p.
n
Istotnie, wystarczy wziać
, ciag
, (Xn )n≥1 niezależnych (a wiec
, w szczególności nieskorelowanych) zmiennych losowych o tym samym rozkladzie dwupunktowym P(Xi =
53
1) = p = 1 − P(Xi = 0). Wówczas ξn ∼ X1 + X2 + . . . + Xn , a wiec
, dla ε > 0,
ξn
X1 + X2 + . . . + Xn
lim P − p > ε = lim P − p > ε = 0.
n→∞
n→∞
n
n
Glównym wynikiem tego rozdzialu jest tzw. mocne prawo wielkich liczb (MPWL)
(Twierdzenie 11.4 poniżej), które mówi o zbieżności prawie na pewno. Zacznijmy
od kilku przygotowawczych faktów.
Twierdzenie 11.2 (Nierówność Kolmogorowa). Zalóżmy, że X1 , X2 , . . ., Xn
sa, niezależnymi i scentrowanymi zmiennymi losowymi calkowalnymi z kwadratem.
Wówczas dla dowolnego α > 0,
1
P( max |X1 + X2 + . . . + Xk | ≥ α) ≤ 2 Var (X1 + X2 + . . . + Xn ).
1≤k≤n
α
Dowód. Wprowadźmy oznaczenie S0 = 0 oraz Sk = X1 + X2 + . . . + Xk dla k =
1, 2, . . . , n. Rozważmy zdarzenia
Ak = {|Sj | < α dla j < k oraz |Sk | ≥ α},
k = 1, 2, . . . , n. Jak widać, dla dowolnego k mamy Ak ∈ σ(X1 , X2 , . . . , Xk ).
Ponadto, zdarzenia A1 , A2 , . . ., An sa, parami rozlaczne
i daja, w sumie B :=
,
{max1≤k≤n |Sk | ≥ α}. Dalej,
Var Sn = ESn2
Z
Z
=
Sn2 dP +
Sn2 dP
B
B0
Z
≥
Sn2 dP
B
=
n Z
X
Sn2 dP
Ak
=
=
≥
k=1
n Z
X
(Sk + Sn − Sk )2 dP
k=1 Ak
n Z
X
Ak
k=1
Z
n
X
k=1
Sk2 dP
Z
Z
(Sn − Sk )Sk dP +
+2
Ak
Sk2 dP
Z
+2
Ak
2
(Sn − Sk ) dP
Ak
(Sn − Sk )Sk 1Ak dP .
Ω
Ale dla dowolnego k zmienne Sn − Sk oraz Sk 1Ak sa, niezależne (pierwsza z nich
to Xk+1 + Xk+2 + . . . + Xn , a druga z nich zależy wylacznie
od X1 , X2 , . . . , Xk ).
,
Stad
,
Z
(Sn − Sk )Sk 1Ak dP = E(Sn − Sk )Sk 1Ak = E(Sn − Sk )ESk 1Ak = 0.
Ω
Zatem, kontynuujac,
,
Var Sn ≥
n Z
X
k=1
Ak
Dowód jest zakończony.
Sk2 dP ≥
n Z
X
k=1
Ak
α2 dP = α2
n
X
P(Ak ) = α2 P(B).
k=1
54
ADAM OSEKOWSKI
,
Twierdzenie 11.3. Zalóżmy, że X1 , X2 , . . . jest ciagiem
niezależnych,
scen,
P∞
Var
X
trowanych
zmiennych
losowych
ca
lkowalnych
z
kwadratem.
Jeśli
n <
n=1
P∞
∞, to n=1 Xn jest zbieżny p.n.
Dowód. Jak latwo sprawdzić, mamy
P
∞
X
!
Xn jest rozbieżny
n=1
1
= P ∃γ∈N+ ∀n sup |Xn + Xn+1 + . . . + Xn+k | >
γ
k≥0


[
1
∀n sup |Xn + Xn+1 + . . . + Xn+k | >  .
= P
γ
k≥0
γ∈N+
Wystarczy wiec
, wykazać, że dla każdego γ ∈ N+ ,
1
= 0.
(∗)
P ∀n sup |Xn + Xn+1 + . . . + Xn+k | >
γ
k≥0
Ale dla każdego n, powyższe prawdopodobieństwo szacuje sie, z góry przez
1
P sup |Xn + Xn+1 + . . . + Xn+k | >
γ
k≥0
1
= lim P
sup |Xn + Xn+1 + . . . + Xn+k | >
m→∞
γ
0≤k≤m
m
∞
X
X
≤ lim sup γ 2
Var Xn+k = γ 2
Var Xk .
m→∞
k=0
k=n
Jeśli teraz wziać
, n → ∞, to z zalożenia powyższe wyrażenie zbiega do 0. Tak wiec
,
prawdopodobieństwo (*) musi wynosić 0.
LematP11.1 (Kronecker). Zalóżmy, że (an )n≥1 jest ciagiem
liczbowym takim, że
,
∞
szereg n=1 an /n jest zbieżny. Wówczas (a1 + a2 + . . . + an )/n → 0.
Pn
Dowód. Oznaczmy Sn = k=1 ak /k. Wówczas an = n(Sn − Sn−1 ) dla wszystkich
n oraz
S1 + 2(S2 − S1 ) + . . . + n(Sn − Sn−1 )
a1 + a2 + . . . + an
=
n
n
nSn − S1 − S2 − . . . − Sn−1
→ 0.
=
n
Przechodzimy do glównego twierdzenia.
Twierdzenie 11.4 (MPWL Kolmogorowa). Zalóżmy, że X1 , X2 , . . . jest ciagiem
,
niezależnych zmiennych losowych o tym samym rozkladzie.
(a) Jeśli Xn ∈ L1 i m = EX1 , to
X1 + X2 + . . . + Xn
→m
n
p.n.
(b) Jeśli Xn ∈
/ L1 , to
X1 + X2 + . . . + Xn P lim sup = ∞ = 1.
n
n→∞
55
Dowód. (a) Przypuśćmy najpierw, że zmienne X1 , X2 , . . . sa, calkowalne z kwadratem.
Wówczas teza wynika z dwóch powyższych
pomocniczych faktów. Istotnie, korzysP∞ Xn −m
tajac
z
Twierdzenia
11.3,
szereg
jest zbieżny p.n., gdyż
n=1
,
n
Var
Xn − m
Var Xn
,
=
n
n2
i wystarczy skorzystać z lematu Kroneckera.
0
Rozważmy teraz przypadek ogólny. Wprowadźmy nowy ciag
, (Xn )n≥1 zmiennych
losowych, zadanych przez
Xn0 (ω)
(
Xn (ω)
= Xn (ω)1(−n,n) (Xn (ω)) =
0
jeśli |Xn (ω)| < n,
jeśli |Xn (ω)| ≥ n.
Wówczas X10 , X20 , . . . sa, niezależnymi zmiennymi losowymi calkowalnymi z kwadratem.
Możemy napisać
X1 + X2 + . . . + Xn
− m = In + IIn + IIIn ,
n
gdzie
X1 + X2 + . . . + Xn − (X10 + X20 + . . . + Xn0 )
,
n
X 0 + X20 + . . . + Xn0 − (EX10 + EX20 + . . . + EXn0 )
,
IIn = 1
n
EX10 + EX20 + . . . + EXn0
IIIn =
− m.
n
In =
Zbadajmy zachowanie każdego ze skladników In , IIn , IIIn gdy n → ∞. Na mocy
twierdzenia Lebesgue’a o zmajoryzowanym przejściu do granicy,
n→∞
EXn0 = EXn 1{|Xn |<n} = EX1 1{|X1 |<n} −−−−→ EX1 = m,
skad
zauważmy, że
, wynika, że IIIn → 0. Nastepnie,
,
∞
X
P(Xn 6= Xn0 ) =
n=1
=
∞
X
n=1
∞
X
P(|Xn | ≥ n)
P(|X1 | ≥ n)
n=1
Z ∞
≤
P(|X1 | ≥ t)dt = E|X1 | < ∞.
0
Zatem z lematu Borela-Cantelli, z prawdopodobieństwem 1 zajdzie tylko skończenie
wiele spośród zdarzeń {Xn 6= Xn0 }. Innymi slowy, dla prawie wszystkich ω, ciagi
,
(Xn (ω))n≥1 oraz (Xn0 (ω))n≥1 pokrywaja, sie, od pewnego miejsca. Stad
, In → 0 p.n.
Pozostalo już tylko pokazać,P
że IIn → 0 p.n. Na mocy lematu Kroneckera,
∞
wystarczy udowodnić, że szereg n=1 (Xn0 − EXn0 )/n jest zbieżny prawie na pewno.
56
ADAM OSEKOWSKI
,
Skorzystamy z Twierdzenia 11.3. Otóż
0
Xn − EXn0
1
Var
= 2 (E(Xn0 )2 − (EXn0 )2 )
n
n
1
≤ 2 E(Xn0 )2
n
∞ Z
1 X
= 2
|Xn0 |2 dP
n
0 |<k}
{k−1≤|X
n
k=1
n Z
X
1
|Xn0 |2 dP
= 2
n
0
k=1 {k−1≤|Xn |<k}
n Z
1 X
|X1 |2 dP
= 2
n
{k−1≤|X
|<k}
1
k=1
Z
n
1 X
≤ 2
k
|X1 |dP.
n
{k−1≤|X1 |<k}
k=1
Wobec tego,
∞
X
Var
n=1
Xn0 − EXn0
n
≤
∞ X
n
X
k
E|X1 |1{k−1≤|X1 |<k}
2
n
n=1
k=1
∞
∞ X
X
k
E|X1 |1{k−1≤|X1 |<k}
=
n2
=
k=1 n=k
∞
X
kE|X1 |1{k−1≤|X1 |<k} ·
k=1
Ale
∞
X
1
.
n2
n=k
Z ∞
∞
∞
X
X
1
1
1
1
1
2
=
+
≤
+
dx = .
2
n2
k2
n2
k
x
k
k
n=k
n=k+1
Wobec tego, uwzgledniaj
ac
, to w powyższych rozważaniach, dostajemy
,
0
∞
∞
X
X
Xn − EXn0
Var
≤2
E|X1 |1{k−1≤|X1 |<k} = 2E|X1 | < ∞.
n
n=1
k=1
Stad
, teza (a).
(b) Mamy
X1 + X2 + . . . + Xn
n − 1 X1 + X2 + . . . + Xn−1
Xn
=
−
.
n
n
n
n−1
Wynika stad,
że jeśli ciag
,
, ((X1 (ω) + X2 (ω) + . . . + Xn (ω))/n)n≥1 jest ograniczony
dla pewnego ω, to ciag
(X
n (ω)/n)n≥1 także ma te, wlasność. Wobec tego, wystarczy
,
wykazać, że
!
Xn
P ciag
jest nieograniczony = 1.
,
n n≥1
Mamy
Xn
P
nieograniczony = P
n
!
\ |Xn |
> M dla nieskończenie wielu n
,
n
M ∈N
57
a wiec
zachodzić, jeśli udowodnimy, że dla każdego M ∈ N,
, teza bedzie
,
|Xn |
P
> M dla nieskończenie wielu n = 1.
n
Zauważmy, że zdarzenia {|Xn |/n > M }, n = 1, 2, . . ., sa, niezależne; ponadto
∞
X
P(|Xn |/n > M ) =
n=1
=
∞
X
P(|X1 | > nM )
n=1
∞ X
∞
X
P (kM < |X1 | ≤ (k + 1)M )
n=1 k=n
=
=
∞ X
k
X
P (kM < |X1 | ≤ (k + 1)M )
k=1 n=1
∞
X
kP(kM < |X1 | ≤ (k + 1)M )
k=1
∞
1 X
(k + 1)M P (kM < |X1 | ≤ (k + 1)M )
M
k=1
∞ Z
1 X
≥ −1 +
|X1 |dP
M
{kM <|X1 |≤(k+1)M }
≥ −1 +
k=1
1
E|X1 |1{|X1 |>M } = ∞.
= −1 +
M
Zatem, z lematu Borela-Cantelli wynika teza.
Omówimy teraz jedno z zastosowań mocnego prawa wielkich liczb, zwiazane
z
,
tzw. dystrybuanta, empiryczna.
,
Definicja 11.1. Zalóżmy, że X1 , X2 , . . . sa, niezależnymi zmiennymi o tym samym
rozkladzie z dystrybuanta, F . Wówczas n-ta, dystrybuanta, empiryczna, nazywamy
1{X1 ≤t} + 1{X2 ≤t} + . . . + 1{Xn ≤t}
n
1(−∞,t] (X1 ) + 1(−∞,t] (X2 ) + . . . + 1(−∞,t] (Xn )
=
.
n
Fn (t) =
Zauważmy, że dla każdego ω ∈ Ω, funkcja Fn jest dystrybuanta, (jako funkcja
zmiennej t). Poniższe twierdzenie jest jednym z podstawowych wyników statystyki
matematycznej.
Twierdzenie 11.5 (Gliwienko-Cantelli). Jeśli X1 , X2 , . . ., F , Fn sa, jak wyżej, to
n→∞
sup |Fn (t) − F (t)| −−−−→ 0
t∈R
prawie na pewno.
W dowodzie wykorzystamy nastepuj
acy
lemat (bez dowodu: pozostawiamy to
,
,
jako ćwiczenie).
58
ADAM OSEKOWSKI
,
Lemat 11.2. Zalóżmy, że F , F1 , F2 , . . . sa, dystrybuantami oraz S jest zbiorem
punktów nieciag
przeliczalnym podzbiorem
, lości funkcji F . Zalóżmy, że Q jest gestym,
,
R takim, że limn→∞ Fn (t) = F (t) dla każdego t ∈ Q. Wówczas jeśli dla każdego
t ∈ S mamy Fn (t) − Fn (t−) → F (t) − F (t−), to
n→∞
sup |Fn (t) − F (t)| −−−−→ 0.
t∈R
Dowód twierdzenia Gliwienki-Cantelli’ego przy zalożeniu lematu. Ustalmy dowolny
gesty
przeliczalny podzbiór Q ⊂ R i niech S bedzie
zbiorem punktów nieciag
, lości
,
,
F . Na mocy MPWL, dla każdego t ∈ Q mamy
n→∞
Fn (t) −−−−→ F (t)
prawie na pewno,
gdyż E1(−∞,t] (X1 ) = P(X1 ≤ t) = F (t). Podobnie, dla dowolnego t ∈ S,
1{t} (X1 ) + 1{t} (X2 ) + . . . + 1{t} (Xn )
n
n→∞
−−−−→ E1{t} (X1 ) = P(X1 = t) = F (t) − F (t−).
Fn (t) − Fn (t−) =
Zatem zbiór
Ω0 =
\
{Fn (t) → F (t)} ∩
t∈Q
\
{Fn (t) − Fn (t−) → F (t) − F (t−)}
t∈S
jest pelnej miary, jako przeliczalne przeciecie
zbiorów pelnej miary.
,
lematu, dla każdego ω ∈ Ω0 mamy zbieżność jednostajna, Fn → F .
Zatem, z
Na zakończenie tego rozdzialu, omówimy wstepne
wyniki zwiazane
ze zbieżnościa,
,
,
szeregów niezależnych zmiennych losowych. Zacznijmy od nastepuj
acego
faktu.
,
,
Twierdzenie 11.6. Zalóżmy, że X1 , X2 , . . . sa, niezależnymi, wspólnie ograniczonymi zmiennymi losowymi (tzn. istnieje takie aP> 0, że |Xn | ≤ a z praw∞
dopodobieństwem 1 dla n = 1, 2, . . .). Jeśli szereg
n=1 Xn jest zbieżny prawie
p
na pewno, to jest on także zbieżny w L dla dowolnego p ≥ 1.
Lemat 11.3 (Nierówność Hoffmana-Joergensena). Zalóżmy, że X1 , X2 , . . . sa,
niezależnymi zmiennymi losowymi (być może o wartościach w Rd , badź
ogólniej, o
,
wartościach w przestrzeni Banacha) i zdefiniujmy S0 = 0, Sn = X1 +X2 +. . .+Xn ,
n ≥ 1. Wówczas dla dowolnych s, t, a ≥ 0,
P( max |Sk | > s + t + a)
1≤k≤n
≤ P( max |Xk | > a) + P( max |Sk | > s)P( max |Sn − Sk | > t/2).
1≤k≤n
1≤k≤n
1≤k≤n
Dowód. Niech τ = inf{k ≥ 1 : |Sk | > s} (przyjmujemy inf ∅ = ∞). Zauważmy, że
{ max |Sk | > s + t + a}
1≤k≤n
⊆ { max |Xk | > a} ∪
1≤k≤n
= { max |Xk | > a} ∪
1≤k≤n
n [
j=1
n
[
j=1
{ max |Xk | ≤ a} ∩ {τ = j} ∩ { max |Sk | > s + t + a}
1≤k≤n
Aj .
1≤k≤n
59
Ustalmy ω ∈ Aj . Mamy Sj (ω) > s; ponadto, |Sj−1 (ω)| ≤ s oraz |Xj (ω)| ≤ a,
skad
iż |Sj | ≤ s + a. Nastepnie,
mamy
, wynika, na mocy nierówności trójkata,
,
,
|S` (ω)| > s + t + a dla pewnego ` > j. Możemy wiec
napisać
,
s + t + a < |S` |
≤ |Sj | + |S` − Sj |
≤ s + a + |Sn − S` | + |Sn − Sj |
≤ s + a + 2 max |Sn − Sk |.
j≤k≤n
Wnioskujemy stad,
że maxj≤k≤n |Sn − Sk | > t/2. Wobec tego
,
Aj ⊂ {τ = j} ∩ { max |Sn − Sk | > t/2}
j≤k≤n
i przecinane zdarzenia sa, niezależne: istotnie, pierwsze z nich zależy tylko od zmiennych X1 , X2 , . . ., Xj , podczas gdy drugie zapisuje sie, w terminach pozostalych
zmiennych. Zbierajac
, wszystkie powyższe fakty dostajemy iż
n
X
P( max |Sk | > s+t+a) ≤ P( max |Xk | > a)+
P(τ = j)P( max |Sn −Sk | > t/2)
1≤k≤n
1≤k≤n
j=1
1≤k≤n
i wystarczy już tylko zauważyć, że
n
X
P(τ = j) = P(τ < ∞) = P( max |Sk | > s). 1≤k≤n
j=1
Dowód Twierdzenia 11.6. Niech, jak wyżej, Sn = X1 + X2 + . . . + Xn , n = 1, 2, . . ..
na mocy zalożeń, (Sn )n≥1 jest zbieżny p.n., a wiec
, dla każdego ε ∈ (0, 1) istnieje m
takie, że
P( max |Sn − Sk | > ε/2) < ε
m≤k≤n
o ile tylko n > m. Mamy
Z ∞
E|Sn − Sm |p = p
αp−1 P(|Sn − Sm | > α)dα
0
Z
∞
X
=
p
(r+1)(ε+a)>α>r(ε+a)
r=0
Z
ε+a
=p
0
Z
∞
X
+
p
r=1
αp−1 P(|Sn − Sm | > r(ε + a))dα.
(r+1)(ε+a)>α>r(ε+a)
Ale Sn − Sm = Xm+1 + Xm+2 + . . . + Xn , wiec
, nierówność Hoffmana, stosujac
Joergensena do tych zmiennych, z parametrami s = (r − 1)(ε + a), t = ε oraz a = a,
dostajemy
P( max |Sk − Sm | > r(ε + a)) ≤ 0 + P( max |Sk − Sm | > (r − 1)(ε + a))×
m<k≤n
m<k≤n
× P( max |Sn − Sk | > ε/2).
m<k≤n
Drugi czynnik szacuje sie, przez ε, a zatem, przez prosta, indukcje,
, dostajemy, że
P(|Sn − Sm | > r(ε + a)) ≤ P( max |Sn − Sm | > r(ε + a)) ≤ εr .
m<k≤n
60
ADAM OSEKOWSKI
,
Wobec tego
Z
p
ε
E|Sn − Sm | ≤ p
+
α
0
∞
X
p−1
Z
αp−1 P(|Sn − Sm | > ε)dα
dα + p
ε
(r+1)(ε+a)
αp−1 εr dα
p
r=1
ε+a
Z
r(ε+a)
≤ εp + (ε + a)p · ε + ε
∞
X
εr−1 ((r + 1)p − rp )(ε + a)p
r=1
≤ ε · C,
gdzie C jest pewna, stala, zależac
, a, tylko od p i a. Wobec tego (Sn )m≥0 spelnia
p
warunek Cauchy’ego w Lp , a wiec
, jest zbieżny w L .
Wprowadźmy nastepuj
ace
oznaczenie:
,
,


a
a
X (ω) = X(ω)


−a
dla zmiennej losowej X oraz a > 0, niech
dla X(ω) > a,
dla |X(ω)| ≤ a,
dla X(ω) < −a.
Twierdzenie 11.7 (Kolmogorowa o trzech szeregach). Zalóżmy, że X1 , X2 , . . . sa,
niezależnymi
, Wówczas
P∞ zmiennymi losowymi oraz a jest ustalona, liczba, dodatnia.
szereg n=0 Xn jest zbieżny p.n. wtedy i tylko wtedy, gdy zbieżne sa, szeregi liczbowe
∞
X
EXna ,
∞
X
Var Xna ,
P(|Xn | > a).
n=1
n=1
n=1
∞
X
W dowodzie wykorzystamy nastepuj
acy
prosty fakt.
,
,
Lemat
11.4. Zalóżmy, że X1 , X2 , . . . sa, zmiennymi losowymiP
spelniajacymi
warunek
,
P∞
∞
P(|X
|
>
a)
<
∞
dla
pewnego
a
>
0.
Wówczas
szereg
X
jest
zbieżny
n
n
n=1
n=1
P∞
p.n. wtedy i tylko wtedy, gdy szereg n=1 Xna jest zbieżny p.n.
Dowód. Na mocy lematu Borela-Cantelli, dla prawie wszystkich ω ciagi
Xn (ω),
,
natychmiast
wynika
teza.
Xna (ω) pokrywaja, sie, od pewnego miejsca. Stad
,
DowódP
twierdzenia o trzech szeregach. ⇐ Na mocy lematu, wystarczy wykazać, że
∞
szereg n=1 Xna jest zbieżny p.n. Zmienne Xna − EXna sa, scentrowane, niezależne,
ograniczone oraz
∞
∞
X
X
a
a
Var (Xn − EXn ) =
Var Xna < ∞,
n=1
n=1
P∞
a wiec
11.3 szereg n=1 (Xna −EXna ) jest zbieżny p.n. Ponieważ
, na mocy Twierdzenia
P∞
a
szereg liczbowy n=1 EXn także jestPzbieżny, wynika stad
, teza.
∞
⇒ Przypuśćmy, wbrew tezie, że n=1 P(|Xn | > a) = ∞. Wówczas na mocy
lematu Borela-Cantelli, z prawdopodobieństwem 1 P
zachodzi nieskończenie wiele
∞
nierówności
|X
|
>
a,
co
wyklucza
zbieżność
szeregu
n , sprzeczność. Zatem
n
n=1 XP
P∞
∞
a
P(|X
|
>
a)
<
∞,
a
wi
ec
z
powyższego
lematu
szereg
n
n=1
,
P∞ n=1 aXn jest zbieżny
p.n. Korzystajac
n=1 Xn jest zbieżny w
, z Twierdzenia 11.6, dostajemy, że szereg
L1 oraz L2 . Zatem, w szczególności, ciag
liczbowy
,
!
!
N
N
X
X
a
a
E
Xn
=
EXn
n=1
N ≥1
n=1
N ≥1
jest zbieżny. Ponadto, to samo jest prawda, dla

!2 
!!
N
N
X
X
a
a
a

E
= Var
Xn
(Xn − EXn )
n=1
n=1
N ≥1
=
N ≥1
N
X
61
!
Var Xna
n=1
.
N ≥1
To zaś oznacza teze.
,
Przyklad: Zalóżmy, że X1 , X2 , . . . jest ciagiem
niezależnych zmiennych losowych
,
takich, że Xn ma rozklad wykladniczy z paramtrem λn . Wyznaczymy warunek
na
P∞
ciag
n=1 Xn .
, (λn )n≥0 który jest równoważny zbieżności prawie na pewno szeregu
Na mocy twierdzenia Kolmogorowa, zbieżność p.n. ma miejsce wtedy i tylko
wtedy, gdy
∞
∞
X
X
1
(1)
P(|Xn | > 1) < ∞, czyli
e−λn < ∞,
n=1
∞
X
(2)
n=1
EXn1 < ∞,
(3)
n=1
Var Xn1
∞ X
1 − e−λn
n=1
n=1
∞
X
czyli
< ∞,
czyli
λn
− e−λn
< ∞,
∞ X
(1 + λn )2 −2λn
1
−λn
−e
−
e
< ∞.
λ2n
λ2n
n=1
P∞
Zalóżmy teraz, że szereg n=1 Xn jest zbieżny p.n.
z (1) mamy λn →
P∞ Wówczas
1
∞, co w polaczeniu
z
(2)
prowadzi
to
wniosku,
iż
<
∞.
n=1 λn
,
P∞ 1
<
∞
jest
dostateczny.
Istotnie, wynika z
Wykażemy, że warunek
P∞n=1 1λn
<
∞
(gdyż
dla
dostatecznie
dużych n mamy
niego, że λn → ∞, a stad
n=1 λ2n
,
1
1
1
1
1
−λn
−2λn
≤ 1+λn ≤ λn oraz e
≤ λ2 , skad
, wynika już
λ2n ≤ λn ). Dalej, mamy e
n
zbieżność wszystkich trzech szeregów w (1), (2) oraz (3).
62
ADAM OSEKOWSKI
,
12. Zadania
1. Dany jest ciag
, (Xn )n≥1 niezależnych zmiennych losowych o rozkladzie Poissona z parametrem 2. Udowodnić, że ciag
,
X1 X2 + X2 X3 + . . . + Xn Xn+1
,
n + 2009
n = 1, 2, . . . ,
jest zbieżny p.n. i wyznaczyć jego granice.
,
2. Dany jest ciag
(X
)
niezależnych
zmiennych losowych, przy czym dla
n
n≥1
,
n ≥ 1 zmienna Xn ma rozklad jednostajny na przedziale (1/n, 1]. Udowodnić, że
ciag
,
X1 + X2 + . . . + Xn
,
n = 1, 2, . . . ,
n
jest zbieżny p.n. i wyznaczyć jego granice.
,
3. Dany jest ciag
(X
)
niezależnych
nieujemnych zmiennych losowych o tym
n n≥1
,
samym rozkladzie. Udowodnić, że jeśli EX1 = ∞, to
X1 + X2 + . . . + Xn
→∞
n
prawie na pewno.
4. Dany jest ciag
, (An )n≥1 niezależnych zdarzeń, pn = P(An ). Udowodnić, że
p1 + p2 + . . . + pn
1A1 + 1A2 + . . . + 1An
−
→0
n
n
wedlug prawdopodobieństwa.
5. Dany jest ciag
, (Xn )n≥1 niezależnych calkowalnych zmiennych losowych o tym
samym rozkladzie. Udowodnić, że ciag
,
X1 + X2 + . . . + Xn
,
n
n ≥ 1,
zbiega w L1 do EX1 .
6. Dany jest ciag
, (Nn )n≥1 zmiennych losowych (niekoniecznie niezależnych),
przy czym dla n ≥ 1 zmienna Nn ma rozklad Poissona z parametrem n. Wykazać,
że Nn /n → 1 w L1 .
7. Zmienne X1 , X2 , . . . sa, niezależne i maja, rozklad jednostajny na [−1, 1]. Czy
ciag
,
X1 + X22 + . . . + Xnn
,
n = 1, 2, . . . ,
n
jest zbieżny p.n.?
8. Obliczyć granice
Z 1Z 1
Z 1 2
1
x1 + x22 + x33 + x44 + . . . + xnn
lim n
...
dx1 dx2 . . . dxn
n→∞ 2
x21 + x22 + . . . + x2n
−1 −1
−1
oraz
Z
1
Z
lim
n→∞
1
Z
...
0
0
1
√
f ( n x1 x2 . . . xn )dx1 dx2 . . . dxn ,
0
gdzie f : [0, 1] → R jest ustalona, funkcja, ciag
, la.
,
63
9. Zmienne losowe X1 , X2 , . . . sa, niezależne, przy czym dla n ≥ 1 rozklad Xn
zadany jest nastepuj
aco:
,
,
1
1
P(Xn = 0) = 1/2, P(Xn = 1) = 1/2 − 2 , P(Xn = n) = 2 .
4n
4n
Udowodnić, że ciag
,
X1 + X2 + . . . + Xn
n
jest zbieżny prawie na pewno i wyznaczyć jego granice.
,
10. Zmienne ε1 , ε2 , . . . sa, niezależne i maja, rozklad Rademachera. Dowieść, że
dla α > 1/2, ciag
,
ε1 + ε2 + . . . + εn
,
n = 1, 2, . . .
nα
jest zbieżny p.n.
11. Udowodnić nastepuj
ace
twierdzenie o dwóch szeregach: jeśli (Xn )n≥1 jest
,
,
ciagiem
takich
niezależnych
zmiennych
losowych calkowalnych z kwadratem, że sz,
eregi liczbowe
∞
∞
X
X
EXn ,
Var Xn
n=1
P∞ n=1
sa, zbieżne, to szereg n=1 Xn jest zbieżny p.n.
12. Dany jest ciag
, (Xn )n≥1 niezależnych zmiennych losowych takich, że
2
1
P(Xn = −n) = P(Xn = n) = 3 , P(Xn = 0) = 1 − 3 .
n
n
P∞
Udowodnić, że n=1 Xn jest zbieżny p.n.
13. Dany jest ciag
, (εn )n≥1 niezależnych
P∞ zmiennych Rademachera. Jaki warunek
musi spelniać ciag
(a
)
,
by
szereg
n n≥1
n=1 an εn byl zbieżny p.n.?
,
14. Dany jest ciag
, (Xn ) niezależnych zmiennych losowych takich, że dla n ≥
1 zmienna Xn ma rozklad jednostajny na odcinku [−n, n]. Dla jakich wartości
parametru p > 0 szereg
∞
X
Xn
np
n=1
jest zbieżny p.n.?
64
ADAM OSEKOWSKI
,
13. Twierdzenie de Moivre’a-Laplace’a
Zajmiemy sie, teraz niezwykle ważnym i użytecznym faktem, pozwalajacym
przy,
bliżać rozklad Bernoulliego B(n, p) przez rozklad normalny. Znaczne uogólnienie
poniższych wyników bedzie
podane na wykladzie z Rachunku Prawdopodobieństwa
,
II, przy okazji tzw. Centralnego Twierdzenia Granicznego.
Zalóżmy, że Φ : R → [0, 1] jest dystrybuanta,
a,
, a g jest gestości
, standardowego
,
rozkladu normalnego:
Z t
2
1
g(x)dx.
g(x) = √ e−x /2 , Φ(t) =
2π
−∞
Ponadto, bedziemy
zakladać, że p jest ustalona, liczba, z przedzialu (0, 1), q = 1 − p
,
oraz Sn jest zmienna, losowa, o rozkladzie B(n, p).
Twierdzenie 13.1. Zalóżmy, że k jest liczba, calkowita, taka,
, że
|k − np| ·
(∗)
Wówczas
P(Sn = k) = √
max(p, q)
≤ 1/2.
npq
(k − np)2
1
exp −
+ R(n, k) ,
2npq
2πnpq
gdzie
R(n, k) ≤
3|k − np| |k − np|3
1
+
+
.
4npq
3n2 p2 q 2
3npq
Dowód. Stosujac
, wzór Stirlinga
√
n! = 2πnnn e−n+θn /(12n) ,
0 < θn < 1,
dostajemy
np k nq n−k
n
θn
θk
θn−k
·
· exp
−
−
2kπ(n − k)
k
n−k
12n 12k 12(n − k)
= I · II · III.
r
P(Sn = k) =
Zbadajmy po kolei czynniki I, II oraz III. Mamy
−1/2 −1/2
1
k − np
k − np
1
I=√
· 1+
·q
1−
·p
=√
· eR1 (n,k) .
npq
npq
2πnpq
2πnpq
Dla dowolnego x ≥ −1/2 zachodzi oszacowanie
| log(1 + x) − x| ≤ x2 ,
skad
, wynika, że
1
k − np
k − np
log 1 +
· q + log 1 −
·p
2
npq
npq
1 (p − q)(k − np)
=
+ R10 (n, k),
2
npq
R1 (n, k) = −
gdzie |R10 (n, k)| ≤ 12 (p2 +q 2 )(k−np)2 /(n2 p2 q 2 ) ≤ |k−np|/(4npq), na mocy zalożenia
(*). W konsekwencji,
3|k − np|
|R1 (n, k)| ≤
.
4npq
65
Nastepnie,
mamy
,
nq
log II = k log
+ (n − k) log
k
n−k
k
k
n−k
n−k
= −np ·
log
− nq ·
log
np
np
nq
nq
k − np
k − np
= −np · 1 +
log 1 +
np
np
k − np
k − np
− nq · 1 −
log 1 −
.
nq
nq
np Korzystamy teraz z nierówności
2
(1 + x) log(1 + x) − x − x ≤ 1 |x|3 ,
2 3
prawdziwej dla x ≥ −1/2: jeśli (*) jest spelniona, to
2 !
k − np 1 k − np
log II = −np
+
np
2
np
2 !
k − np 1 k − np
+
+ R20 (n, k)
− nq −
nq
2
nq
=−
1 (k − np)2
+ R20 (n, k),
2 npq
gdzie
|R20 (n, k)|
1
≤
3
!
k − np 3
k − np 3
|k − np|3 2
|k − np|3
+ nq np =
(p + q 2 ) ≤
.
2
2
2
np
nq
3n p q
3n2 p2 q 2
Wreszcie, mamy III = eR3 (n,k) , gdzie
1
1
1
−
+
< R3 (n, k) <
.
12k 12(n − k)
12n
Równoważnie,
−
1
12npq
−1 −1
k − np
k − np
1
1+
·q
1−
·p
< R3 (n, k) <
,
npq
npq
12n
skad,
na mocy (*), wynika oszacowanie
,
|R3 (n, k)| ≤
1
.
3npq
Lacz
, ac
, otrzymane wyżej nierówności dla Ri (n, k), dostajemy teze.
,
Kolejne twierdzenie, tzw. integralne twierdzenie de Moivre’a-Laplace’a, pozwala
przybliżać prawdopodobieństwo, że liczba sukcesów należy do ustalonego przedzialu.
Twierdzenie 13.2. Zalóżmy, że a, b ≥ 0 spelniaja, warunek
(∗)
|a − np| ·
max(p, q)
≤ 1/2,
npq
|b − np| ·
max(p, q)
≤ 1/2.
npq
66
ADAM OSEKOWSKI
,
Wówczas
b − np + 21
a − np − 21
P (a ≤ Sn ≤ b) = Φ
−Φ
eD(n,a,b) ,
√
√
npq
npq
gdzie
|D(n, a, b)| ≤ max
k∈{a,b}
1
5 |k − np| 1 |k − np|3
1
+
+
+
.
4 npq
3 n2 p 2 q 2
3npq 8npq
Dowód. Przypomnijmy, że g oznacza gestość
standardowego rozkladu normalnego.
,
Oznaczmy
k − np
1
xk = √
,
h= √
.
npq
npq
Z twierdzenia o wartości średniej mamy, iż
Φ (xk + h/2) − Φ (xk − h/2) = hg(ξk ),
gdzie ξk ∈ (xk − h/2, xk + h/2). Innymi slowy, mamy
hg (xk )
1 2
= exp
(ξk − x2k ) Φ (xk + h/2) − Φ (xk − h/2) .
2
2
2
Dalej, |ξk − xk | = |ξk + xk | · |ξk − xk | ≤ 21 h 2|xk | + 12 h = h|xk | + 14 h2 , a zatem
hg(xk ) = erk [Φ(xk + h/2) − Φ(xk − h/2)] ,
gdzie |rk | ≤ 21 h|xk | + 18 h2 . W polaczeniu
z poprzednim twierdzeniem, otrzymujemy
,
zatem
P(Sn = k) = erk +R(n,k) [Φ(xk + h/2) − Φ(xk − h/2)] .
Niech d = maxk∈{a,a+1,...,b} |rk + R(n, k)|; dostajemy zatem
e−d [Φ(xk + h/2) − Φ(xk − h/2)] ≤ P(Sn = k) ≤ ed [Φ(xk + h/2) − Φ(xk − h/2)] .
Piszac
, te nierówności dla k = a, a + 1, . . . , b i sumujac,
, dostajemy teze.
,
Na zakończenie, sformulujemy (bez dowodu) fakt, który zawiera wygodne oszacowanie na blad
, przybliżenia w twierdzeniu de Moivre’a-Laplace’a.
Twierdzenie 13.3. Przy oznaczeniach jak wyżej, mamy
p2 + q 2
Sn − np
sup P
≤ t − Φ(t) ≤ √
.
√
npq
npq
t∈R
67
14. Zadania
1. Prawdopodobieństwo urodzenia chlopca wynosi 0, 517. Jakie jest prawdopodobieństwo tego, że wśród n = 10000 noworodków liczba chlopców nie przewyższy
liczby dziewczat?
,
2. Rzucamy symetryczna, moneta, aż do momentu, gdy wyrzucimy 200 orlów
(lacznie,
niekoniecznie pod rzad).
Jakie jest przybliżone prawdopodobieństwo tego,
,
,
że rzucimy wiecej
niż
440
razy?
,
3. Do sklepu meblowego przywieziono 150 biurek I rodzaju oraz 75 biurek II
rodzaju. Wiadomo, że biurka I rodzaju ciesza, sie, dwukrotnie wiekszym
powodze,
niem (tzn. prawdopodobieństwo tego, że klient kupujacy
biurko
zdecyduje
sie, na
,
biurko I rodzaju, wynosi 2/3). Jakie jest przybliżone prawdopodobieństwo tego, że
któryś z pierwszych 200 klientów kupujacych
biurka nie dostanie takiego modelu,
,
jaki chce?
4. Stwierdzono, iż przecietnie
30% spośród ogólnej liczby studentów przyjetych
,
,
na studia kończy je w terminie. Ile osób trzeba przyjać
, na pierwszy rok, aby z
prawdopodobieństwem co najmniej 0, 9 co najmniej 50 osób skończylo studia w
terminie?
5. W pewnym doświadczeniu prawdopodobieństwo zajścia zdarzenia A wynosi
0, 7. Ile razy trzeba powtórzyć to doświadczenie, żeby z prawdopodobieństwem 0, 9
czestość
zajścia zdarzenia A nie różnila sie, od 0, 7 o wiecej
niż 0, 1? Czy można
,
,
coś powiedzieć o potrzebnej liczbie powtórzeń, jeśli nie znamy prawdopodobieństwa
zdarzenia A?
6. a) Rzucamy 4500 razy kostka,
, dla której prawdopodobieństwo wypadniecia
,
szóstki wynosi 1/6. Obliczyć przybliżone prawdopodobieństwo tego, że liczba wyrzuconych szóstek przekroczy 450.
b) Zalóżmy, że prawdopodobieństwo wypadniecia
szóstki wynosi 1/1000. Jakie
,
jest przybliżone prawdopodobieństwo tego, że liczba wyrzuconych szóstek przekroczy
2?
7. Dany jest ciag
, (εn )n≥1 niezależnych zmiennych losowych Rademachera. Dowieść,
że ciag
,
ε1 + ε2 + . . . + εn
√
,
n = 1, 2, . . . ,
n
nie jest zbieżny prawie na pewno.
68
ADAM OSEKOWSKI
,
15. Warunkowa wartość oczekiwana
Warunkowa wartość oczekiwana jest jednym z kluczowych pojeć
, w teorii prawdopodobieństwa. Zacznijmy od sytuacji gdy warunkujemy wzgledem
zdarzenia.
,
Definicja 15.1. Zalóżmy, że (Ω, F, P) jest przestrzenia, probabilistyczna, oraz B jest
zdarzeniem o dodatnim prawdopodobieństwie. Niech X bedzie
calkowalna, zmienna,
,
losowa.
Warunkow
a
wartości
a
oczekiwan
a
X
pod
warunkiem
B
nazywamy liczbe,
,
,
,
Z ,
E(X|B) =
X(ω)P(dω|B).
Ω
Twierdzenie 15.1. Przy zalożeniach jak wyżej,
Z
1
XdP.
(∗)
E(X|B) =
P(B) B
Dowód: Stosujemy standardowa, metode, komplikacji zmiennej X.
1. Zalóżmy najpierw, że X = 1A , gdzie A ∈ F. Wówczas
Z
P(A ∩ B)
1
E(X|B) = P(A|B) =
=
1A dP.
P(B)
P(B) B
2. Z liniowości, dowodzona równość zachodzi także dla zmiennych prostych (kombinacji liniowych indykatorów zdarzeń).
3. Teraz jeśli X jest nieujemna, zmienna, losowa,
ciag
, to bierzemy niemalejacy
,
,
(Xn )n≥1 zmiennych prostych zbieżny prawie na pewno do X. Piszac
(*)
dla
Xn
,
i zbiegajac
, z n → ∞ dostajemy (*) dla X, na mocy twierdzenia Lebesgue’a o
monotonicznym przejściu do granicy pod znakiem calki.
4. Jeśli X jest dowolna, zmienna, losowa,
, to rozważamy rozbicie X = X+ − X− i
stosujemy (*) dla X+ oraz X− ; po odjeciu
stronami dostajemy (*) dla X.
,
Rozważmy teraz nastepuj
acy
przyklad. Przypuśćmy, że {Bi }i=1,2,...,n jest rozbi,
,
ciem Ω na zdarzenia o dodatniej mierze. Niech X bedzie
calkowalna, zmienna, losowa,
,
i zdefiniujmy zmienna, η wzorem η(ω) = E(X|Bi ) jeśli ω ∈ Bi , i = 1, 2, . . . , n.
Zmienna, η interpretujemy jako średnia, wartość X jeśli wiemy wszystko o zdarzeniach z σ-ciala generowanego przez rozbicie {Bi }. Zmienna η posiada nastepuj
ace
,
,
wlasności:
1) η jest mierzalna wzgledem
σ(B1 , B2 , . . . , Bn ) - gdyż jest stala na dowolnym
,
zdarzeniu Bi ,
2) Dla każdego i = 1, 2, . . . , n mamy
Z
Z
ηdP = E(X|Bi ) · P(Bi ) =
XdP,
Bi
skad
, wynika, iż
Bi
Z
Z
ηdP =
B
XdP
B
dla dowolnego B ∈ σ(B1 , B2 , . . . , Bn ).
Prowadzi to do definicji warunkowej wartości oczekiwanej wzgledem
σ-ciala.
,
, M jest
pod-σ-cialem F, a X jest calkowalna, zmienna, losowa.
Warunkow
a
wartości
a, oczeki,
,
wana, X pod warunkiem M nazywamy taka, zmienna, losowa, η, że sa, spelnione
nastepuj
ace
dwa warunki.
,
,
1) η jest mierzalna wzgledem
M.
,
69
2) Dla każdego B ∈ M,
Z
Z
ηdP =
B
XdP.
B
Oznaczenie: E(X|M).
W szczególności gdy X = 1A , A ∈ F, to definiujemy prawdopodobieństwo
warunkowe zdarzenia A pod warunkiem M poprzez P(A|M) = E(1A |M).
Twierdzenie 15.2. Zalóżmy, że X jest calkowalna, zmienna, losowa,
, a M jest podσ-cialem F. Wówczas warunkowa wartość oczekiwana istnieje i jest wyznaczona
jednoznacznie z dokladnościa, do równości p.n.
R
Dowód: Dla dowolnego B ∈ M definiujemy ν(B) = B XdP. Funkcja ν : M → R
jest przeliczalnie addytywna, funkcja, zbioru. Ponadto jeśli P(B) = 0, to ν(B) = 0
(jest to tzw. absolutna ciag
P). Na mocy twierdzenia Radona, lość ν wzgledem
,
Nikodyma istnieje M-mierzalna zmienna losowa η bed
gestości
a, ν wzgledem
P,
,
, aca
,
,
tzn. taka, że dla wszystkich B ∈ M,
Z
Z
XdP = ν(B) =
ηdP.
B
B
Jednoznaczność jest oczywista: jeśli η1 , η2 sa, zmiennymi
losowymi
spelniajacymi
1)
,
R
R
oraz 2), to w szczególności, dla każdego B ∈ M, B η1 dP = B η2 dP, skad
, η1 = η2
p.n.
Przechodzimy do pojecia
warunkowej wartości oczekiwanej wzgledem
zmiennej
,
,
losowej. Bedziemy
potrzebować
nast
epuj
acego
pomocniczego
faktu.
,
,
,
Lemat 15.1. Zalóżmy, że Y jest zmienna, losowa.
, Wówczas każda zmienna losowa
X mierzalna wzgledem
σ(Y
)
ma
postać
f
(Y
)
dla
pewnej funkcji borelowskiej f .
,
Dowód: Ponownie stosujemy metode, komplikacji zmiennej.
1. Zalóżmy, że X = 1A , gdzie A ∈ σ(Y ). Wówczas A = {Y ∈ B} dla pewnego
B, skad
, X = 1B (Y ), czyli jako f możemy wziać
, indykator 1B .
2. Jeśli X jest zmienna, prosta,
to
jako
f
bierzemy
kombinacje, liniowa, odpowied,
nich indykatorów (patrz poprzedni punkt).
3. Zalóżmy, że X jest nieujemna, zmienna, losowa.
ciag
, Istnieje niemalejacy
,
, (Xn )
prostych, σ(Y )-mierzalnych zmiennych losowych zbieżny do X. Na mocy 2), mamy
Xn = fn (Y ) dla pewnego ciagu
funkcyjnego (fn ). Jak latwo sprawdzić, wystarczy
,
wziać
,
(
limn→∞ fn (x) jeśli granica istnieje,
f (x) =
0
jeśli granica nie istnieje.
4. Jeśli teraz X jest dowolna, zmienna, losowa,
, to mamy X = X+ − X− =
f+ (Y ) − f− (Y ) = f (Y ), gdzie f+ , f− to funkcje borelowskie odpowiadajace
σ(Y ),
mierzalnym X+ oraz X− .
Definicja 15.3. Zalóżmy, że X, Y sa, zmiennymi losowymi, przy czym X jest
calkowalna. Definiujemy warunkowa, wartość oczekiwana, X pod warunkiem Y jako
E(X|Y ) = E(X|σ(Y )).
Uwaga: Na mocy lematu mamy E(X|Y ) = f (Y ) dla pewnej funkcji borelowskiej
f . Liczbe, f (y) możemy interpretować jako E(X|Y = y).
70
ADAM OSEKOWSKI
,
Przyklady:
1. Zalóżmy, że X, Y posiadaja, rozklady skokowe. Oznaczmy
PY (y) = P(Y = y) oraz P(X,Y ) (x, y) = P(X = x, Y = y).
1
Jeśli h jest dowolna, funkcja, borelowska, taka,
, że h(X) ∈ L , to
X
E(h(X)|Y ) =
h(x)
x∈SX
P(X,Y ) (x, Y )
.
PY (Y )
Aby to wykazać, należy sprawdzić, iż prawa strona (oznaczana dalej przez η) spelnia
wlasności 1) i 2) z definicji E(h(X)|σ(Y )). Pierwszy warunek jest jasny - η, jako
funkcja Y , jest σ(Y )-mierzalna. Zajmijmy sie, zatem drugim warunkiem. Niech
B ∈ σ(Y ). Ponieważ Y ma rozklad dyskretny, B jest co najwyżej przeliczalna, suma,
zdarzeń postaci {Y = y} oraz zdarzenia o prawdopodobieństwie 0. Wystarczy wiec
,
sprawdzić 2) dla zbiorów B postaci {Y = y}. Mamy
Z
Z
X
X
PX,Y (x, y)
dP =
h(x)PX,Y (x, y)
ηdP =
h(x)
PY (y)
{Y =y}
{Y =y}
x∈SX
x∈SX
oraz
Z
X
h(X)dP =
{Y =y}
x∈SX
Z
h(x)
1{X=x} dP =
{Y =y}
X
h(x)PX,Y (x, y).
x∈SX
2. Konkretny przyklad. Zalóżmy, że X, Y sa, niezależnymi zmiennymi losowymi
o rozkladzie Poissona z parametrami λ, µ, odpowiednio. Wyznaczymy E(X|X +Y ).
Wiadomo, że X + Y ma rozklad Poissona z parametrem λ + µ. Stad
,
PX+Y (k) =
(λ + µ)k −(λ+µ)
e
,
k!
k = 0, 1, 2, . . . .
Ponadto, jeśli k ≥ ` ≥ 0, to
PX,X+Y (`, k) = P(X = `, X + Y = k) = P(X = `)P(Y = k − `)
=
λ` −λ µk−` −µ
e ·
e
`!
(k − `)!
i
PX,X+Y (`, k)
k!λ` µk−`
=
=
PX+Y (k)
`!(k − `)!(λ + µ)k
` k−`
k
λ
λ
1−
.
`
λ+µ
λ+µ
Stad
,
E(X|X + Y ) =
λ
(X + Y ).
λ+µ
3. Zalóżmy, że (X, Y ) ma rozklad z gestości
a, g i niech gY (y) =
,
bedzie
g
estości
a
zmiennej
Y
.
Zdefiniujmy
g
estość
warunkowa, wzorem
,
,
,
,
(
g(x,y)
jeśli gY (y) 6= 0,
gX|Y (x|y) = gY (y)
0
jeśli gY (y) = 0.
R
R
g(x, y)dx
Wówczas dla dowolnej funkcji borelowskiej h : R → R takiej, że h(X) ∈ L1 mamy
Z
(∗)
E(h(X)|Y ) =
h(x)gX|Y (x|Y )dx.
R
71
Istotnie, sprawdzimy, że prawa strona spelnia warunki 1) i 2) z definicji E(h(X)|Y ).
Oczywiście warunek 1) jest spelniony - prawa strona jest funkcja, od Y . Przejdźmy
do 2). Dla dowolnego B ∈ σ(Y ) mamy, iż B = {Y ∈ A} dla pewnego A ∈ R oraz
Z
Z
Z
h(X)dP =
1{Y ∈A} h(X)dP =
1{y∈A} h(x)g(x, y)dxdy
B
R2
ZΩ
Z
Z Z
=
1{y∈A} gY (y) h(x)gX|Y (x|y)dxdy =
h(x)gX|Y (x|Y )dxdP.
R
B
R
R
4. Konkretny przyklad. Zalóżmy, że (X, Y ) ma rozklad jednostajny na trójkacie
,
D = {(x, y) : 0 ≤ x ≤ y ≤ 1}.
Obliczymy E(X|Y ) oraz P(X ≤ 1/2|Y ).
Mamy g(x, y) = 21{0≤x≤y≤1} oraz
Z
gY (y) =
g(x, y)dx = 2y1[0,1] (y).
R
Wobec tego, gestość
warunkowa gX|Y zadana jest wzorem
,
(
1
1[0,y] (x) jeśli y ∈ (0, 1],
gX|Y (x|y) = y
0
dla pozostalych y.
Stad
,
Z
1
E(X|Y ) =
xgX|Y (x|Y )dx =
Y
R
Z
Y
xdx =
0
Y
2
oraz
P(X ≤ 1/2|Y ) = E[1(−∞,1/2] (X)|Y ]
Z
=
1(−∞,1/2] (x)gX|Y (x|Y )dx
R
1
=
Y
(
=
Z
Y
1(−∞,1/2] (x)1[0,Y ] (x)dx
0
1
1/(2Y )
jeśli Y ≤ 1/2,
jeśli Y > 1/2.
Wlasności warunkowej wartości oczekiwanej
Zalóżmy, że (Ω, F, P) jest ustalona, przestrzenia, probabilistyczna, i niech M
bedzie
pewnym pod-σ-cialem F. Ponadto, o wszystkich zmiennych losowych warunk,
owanych zakladamy, że sa, calkowalne.
0. Mamy E(E(X|M)) = EX. Wynika to natychmiast z 2), jeśli weźmiemy
B = Ω.
Przyklad: Liczba wypadków danego dnia w pewnym mieście ma rozklad Poissona z parametrem 5. Wysokość szkody powstalej w wypadku ma rozklad jednostajny na przedziale [2, 10]. Niech X oznacza laczn
a, szkode, danego dnia. Wyznaczyć
,
EX.
Rozwiazanie:
Wprowadźmy zmienna, losowa, Y , zadana, jako liczbe, wypadków
,
danego dnia. Zmienna Y ma rozklad Poissona z parametrem 5, ponadto, z warunków
72
ADAM OSEKOWSKI
,
zadania, E(X|Y ) = 6Y . Istotnie, średnia wysokość szkody powstalej w pojedynczym wypadku wynosi 6, a wiec
, jeśli bylo Y wypadków, to średnia szkoda
wynosi 6Y . Zatem, korzystajac
z
w
lasności
0.,
,
EX = E(E(X|Y )) = E6Y = 30.
1. Niech α, β ∈ R. Wówczas
E(αX1 + βX2 |M) = αE(X1 |M) + βE(X2 |M).
Istotnie: sprawdzimy, że prawa strona (oznaczana dalej przez R) spelnia warunki 1)
i 2) z definicji E(αX1 + βX2 |M). Pierwszy warunek jest oczywisty. Aby sprawdzić
drugi zauważmy, że dla dowolnego B ∈ M,
Z
Z
Z
Z
Z
RdP = α
E(X1 |M)dP + β
E(X2 |M)dP = α
X1 dP + β
X2 dP
B
B
B
B
Z B
=
αX1 + βX2 dP.
B
2. Jeśli X jest nieujemna, zmienna, losowa,
, to E(X|M) ≥ 0 p.n. Istotnie, niech
B = {E(X|M) < 0}. Wówczas B ∈ M i
Z
Z
E(X|M)dP =
XdP.
B
B
Widzimy, że gdyby zdarzenie B mialo dodatnie prawdopodobieństwo, to lewa strona
bylaby ujemna, a prawa - nieujemna.
3. Mamy
|E(X|M)| ≤ E(|X||M)
(∗)
p.n.
Istotnie, na mocy 1. oraz 2. mamy, iż nierówność X ≤ Y p.n. pociaga
za soba,
,
E(X|M) ≤ E(Y |M). Stad,
z
prawdopodobieństwem
1,
,
E(X1 |M) ≤ E(|X1 ||M)
i
−E(X1 |M) ≤ E(|X1 ||M).
Uwaga: Biorac
wartość
oczekiwan
a, obu stron w (*) dostajemy, na mocy 0.,
,
E(|E(X|M)|) ≤ E|X|.
Innymi slowy, operator liniowy E(·|M) : L1 (Ω, F, P) → L1 (Ω, F, P) jest kontrakcja.
,
4. Warunkowa wersja twierdzenia Lebesgue’a o monotonicznym przejściu do
granicy. Zalóżmy, że Xn jest niemalejacym
ciagiem
nieujemnych zmiennych losowych
,
,
zbieżnych p.n. do X ∈ L1 . Wówczas E(Xn |M) ↑ E(X|M) p.n.
Aby to wykazać, zacznijmy od obserwacji iż na mocy 1. i 2., ciag
, (E(Xn |M)) jest
z prawdopodobieństwem 1 niemalejacy,
a
wi
ec
w
szczególności
zbieżny.
Oznaczmy
,
,
jego granice, przez η, E(X1 |M) ≤ η ≤ ∞. Niech teraz B ∈ M. Mamy, na mocy 2)
oraz bezwarunkowego twierdzenia Lebesgue’a,
Z
Z
Z
Z
X = lim
Xn = lim
E(Xn |M) =
η.
B
n→∞
B
n→∞
B
B
Ponieważ η jest M-mierzalna, to z powyższej równości wynika, iż η = E(X|M).
5. Analogicznie dowodzimy warunkowe wersje twierdzenia Lebesgue’a o zmajoryzowanym przejściu do granicy pod znakiem calki oraz lematu Fatou.
73
6. Zalóżmy, że X1 jest mierzalna wzgledem
M. Wówczas
,
E(X1 X2 |M) = X1 E(X2 |M)
(+)
p.n.
W szczególności, biorac
, X2 ≡ 1, dostajemy, iż E(X1 |M) = X1 .
Sprawdzamy, że prawa strona spelnia warunki 1) oraz 2) z definicji E(X1 X2 |M).
Warunek 1) jest oczywisty, pozostaje wiec
, sprawdzić drugi. Zastosujemy metode,
komplikacji zmiennej X1 .
a) Jeśli X1 = 1A , gdzie A ∈ M, to dla dowolnego B ∈ M,
Z
Z
Z
Z
X1 E(X2 |M)dP =
E(X2 |M)dP =
X2 dP =
X1 X2 dP.
B
A∩B
A∩B
B
b) Jeśli X1 jest zmienna, prosta,
, to wzór (+) dostajemy na mocy a) oraz liniowości
warunkowych wartości oczekiwanych.
c) Jeśli X1 jest nieujemna, zmienna, losowa,
ciag
, to istnieje niemalejacy
,
, (Yn ) Mmierzalnych zmiennych prostych, zbieżny p.n. do X1 . Rozbijmy X2 = X2+ − X2− i
zastosujmy b) do zmiennych Yn oraz X2+ :
E(Yn X2+ |M) = Yn E(X2+ |M).
Zbiegajac
, z n → ∞ i korzystajac
, z warunkowej wersji twierdzenia Lebesgue’a
(wlasność 4.), dostajemy
E(X1 X2+ |M) = X1 E(X2+ |M).
+
−
Zastepuj
ac
, X2 przez X2 i powtarzajac
, rozumowanie, dostajemy
,
E(X1 X2− |M) = X1 E(X2− |M)
i po odjeciu
stronami dostajemy (+).
,
+
−
d) Jeśli X1 jest dowolna, zmienna, losowa,
, to rozbijamy ja, na różnice, X1 − X1 ,
+
−
stosujemy c) do zmiennych X1 , X2 , oraz X1 , X2 , i odejmujemy stronami uzyskane
równości.
7. Jeśli M1 ⊂ M2 sa, pod-σ-cialami F, to
(=)
E(X|M1 ) = E(E(X|M2 )|M1 ) = E(E(X|M1 )|M2 ).
Zacznijmy od obserwacji, iż wyrażenia stojace
po skrajnych stronach sa, równe.
,
Wynika to natychmiast z poprzedniej wlasności: zmienna losowa E(X|M1 ) jest
mierzalna wzgledem
M2 . Wystarczy wiec
,
, udowodnić, że pierwsze dwa wyrazy w
(=) sa, równe. Weźmy B ∈ M1 . Mamy B ∈ M2 , a wiec
Z
Z
Z
Z ,
E(X|M1 ) =
X=
E(X|M2 ) =
E(E(X|M2 )|M1 ),
B
B
B
B
skad
, teza.
8. Zalóżmy, że X jest niezależna od M. Wówczas E(X|M) = EX. Istotnie,
sprawdzimy, że EX spelnia warunki 1) i 2) w definicji E(X|M). Warunek 1) jest
oczywisty: EX jest zmienna, losowa, stala,
każdego σ, a wiec
, mierzalna, wzgledem
,
ciala. Niech teraz B ∈ M. Mamy na mocy niezależności 1B oraz X,
Z
Z
EXdP = E1B EX = E(1B X) =
XdP.
B
B
9. Nierówność Jensena. Zalóżmy, że f : R → R jest funkcja, wypukla, taka,
, że
f (X) jest zmienna, calkowalna.
Wówczas
,
E(f (X)|M) ≥ f (E(X|M)).
74
ADAM OSEKOWSKI
,
Bedzie
nam potrzebny nastepuj
acy
prosty fakt.
,
,
,
proste ćwiczenie.
Dowód pozostawiamy jako
Lemat 15.2. Zalóżmy, że f : R → R jest funkcja, wypukla.
, Wówczas istnieja, ciagi
,
(an ), (bn ) takie, że dla dowolnego x ∈ R,
f (x) = sup(an x + bn ).
n
Powróćmy do dowodu 9. Dla ciagów
(an ), (bn ), gwarantowanych przez powyższy
,
lemat, mamy f (X) ≥ an X + bn dla każdego n. Stad,
na mocy 1. oraz 2., z
,
prawdopodobieństwem 1,
E(f (X)|M) ≥ an E(X|M) + bn .
Poniweaż ciagi
(an ), (bn ) sa, przeliczalne, to możemy wziać
,
, supremum po n po
prawej stronie i dalej nierówność bedzie
zachodzi
la
z
prawdopodobieństwem
1:
,
E(f (X)|M) ≥ sup(an E(X|M) + bn ) = f (E(X|M)).
n
Uwaga: Jako wniosek, dostajemy, iż dla p ≥ 1 i X ∈ Lp (Ω, F, P),
E(|X|p |M) ≥ [E(|X||M)]p .
Stad
wartości oczekiwanej obu stron, E(|E(X|M)|p ) ≤ E|X|p , czyli
, po wzieciu
,
||E(X|M)||p ≤ ||X||p .
Zatem warunkowa wartość oczekiwana E(·|M) jest kontrakcja, w Lp .
Na zakończenie zajmiemy sie, zagadnieniem regresji nieliniowej. Zalóżmy, że X, Y
sa, zmiennymi losowymi calkowalnymi z kwadratem. Obserwujemy zmienna, Y i za
pomoca, tych danych chcemy najlepiej przybliżyć X (w sensie średniokwadratowym)
zmienna, postaci h(Y ). Ściślej, szukamy funkcji borelowskiej f takiej, że
E(X − f (Y ))2 = min E(X − h(Y ))2 .
h
W przypadku, gdy zawezimy
sie, do klasy funkcji liniowych, prowadzi to do zagad,
nienia regresji liniowej, rozważanej wcześniej.
Twierdzenie 15.3. Rozwiazaniem
powyższego zagadnienia jest f (Y ) = E(X|Y ).
,
Dowód. Weźmy dowolna, funkcje, borelowska, h. Mamy
E(X − h(Y ))2 = E(X − f (Y ) + f (Y ) − h(Y ))2
= E(X − f (Y ))2 + 2E(X − f (Y ))(f (Y ) − h(Y )) + E(f (Y ) − h(Y ))2 .
Ale zmienna f (Y ) − h(Y ) jest mierzalna wzgledem
σ(Y ). Zatem korzystajac
, z
,
wlasności 0., 1. oraz 6.,
E(X − f (Y ))(f (Y ) − h(Y )) = E E (X − f (Y ))(f (Y ) − h(Y ))|Y
= E (f (Y ) − h(Y ))E(X − f (Y )|Y ) = 0.
Wobec tego czlon środkowy w poprzednim ciagu
równości znika i otrzymujemy
,
E(X − h(Y ))2 ≥ E(X − f (Y ))2 .
Stad
, teza.
75
16. Zadania
1. Zmienne losowe ε1 , ε2 , ε3 sa, niezależne i maja, ten sam rozklad P(εi = −1) =
P(εi = 1) = 1/2, i = 1, 2, 3. Obliczyć E(ε1 |ε1 + ε2 + ε3 ) oraz E(ε1 ε2 |e1 + e2 e3 ).
2. Zmienne losowe X, Y sa, niezależne, przy czym X ma rozklad Bernoulliego B(n, p), a Y ma rozklad Bernoulliego B(m, p). Wyznaczyć E(X + Y |X) oraz
E(X|X + Y ).
3. Rzucono kostka,
rzucono nia, tyle razy, ile oczek wypadlo w
, a nastepnie
,
pierwszym rzucie. Obliczyć wartość oczekiwana, liczby wyrzuconych trójek.
4. W urnie znajduje sie, a kul bialych, b kul czarnych i c kul czerownych (a, b,
c sa, dodatnimi liczbami calkowitymi). Losujemy ze zwracaniem po jednej kuli aż
do momentu wyciagni
ecia
kuli czerwonej. Wyznaczyć wartość oczekiwana, liczby
,
,
losowań w których wyciagni
eto
biala, kule.
,
,
,
5. Wiadomo, że p procent monet stanowia, monety falszywe, z orlem po obu
stronach. Losujemy ze zwracaniem n monet i każda, z nich wykonujemy rzut. Niech
F oznacza liczbe, losowań, w wyniku których wyciagni
eto
monete, falszywa,
,
, O ,
2p
O.
liczba wyrzuconych orlów. Udowodnić, że E(F |O) = 100+p
6. Zmienna losowa (X, Y ) ma gestość
,
x3 −x(y+1)
e
1{x>0, y>0} .
2
Wyznaczyć E(Y |X), E(Y 2 |X 2 ) oraz P(Y > 1|X 3 + 1).
7. Zmienne losowe X, Y sa, niezależne i maja, rozklad wykladniczy z parametrem
1. Obliczyć P(X ∈ B|X + Y ) (dla B ∈ B(R)) oraz E(sin X|X + Y ).
8. Zmienna losowa X ma rozklad wykladniczy z parametrem 1, zaś Y jest
zmienna, losowa, taka,
, że jeśli X = x, to Y ma rozklad wykladniczy z parametrem
x.
a) Wyznaczyć rozklad Y .
b) Obliczyć P(X > r|Y ).
9. Zmienna losowa (X, Y ) ma rozklad normalny o wartości oczekiwanej 0,
VarX = σ12 , VarY = σ22 , Cov(X, Y ) = c. Obliczyć P(Y ∈ B|X) (dla B ∈ B(R))
oraz E(Y |X).
10. Zmienne X1 , X2 , . . ., Xn sa, niezależne i maja, ten sam rozklad o skończonej
wartości oczekiwanej. Obliczyć E(X1 |X1 + X2 + . . . + Xn ).
11. Zalóżmy, że X, Y sa, zmiennymi losowymi a G jest σ-cialem takim, że X jest
mierzalne wzgledem
G, a Y jest niezależne od G. Niech φ : R2 → R bedzie
funkcja,
,
,
borelowska, taka,
że
φ(X,
Y
)
jest
ca
lkowaln
a
zmienn
a
losow
a.
Udowodnić,
że
,
,
,
,
g(x, y) =
E[φ(X, Y )|G] = Φ(X),
gdzie Φ(x) = Eφ(x, Y ).
12. Zalóżmy, że X jest calkowalna, zmienna, losowa,
, a σ-cialo G jest niezależne
od X oraz od σ-ciala M. Udowodnić, że
E(X|σ(G, M)) = E(X|M).
13. Zmienne X, Y , Z sa, niezależne, przy czym X ma standardowy rozklad
normalny, Y jest nieujemna, zmienna, ograniczona,
, a Z ma rozklad Rademachera.
Obliczyć E(eXY |Y ) oraz E(eXY |Y Z).
76
ADAM OSEKOWSKI
,
14. Zmienne N , X1 , X2 , . . . sa, niezależne, przy czym N ma rozklad Poissona
z parametrem 3, a Xn ma rozklad jednostajny na [0, 1], n = 1, 2, . . .. Obliczyć
E(X1 + X2 + . . . + XN +1 ).

Rachunek Prawdopodobieństwa I

Transkrypt

Podobne dokumenty

P ((X, Y ) ∈ [a, b] × {yj})

Egzamin z Rachunku Prawdopodobienstwa 1. Za chwile Adam i

Lista przygotowawcza 2

POBIERZ Zestaw 5

Matematyka Dyskretna ZADANIA 3 3.1 Jakie jest

Rozwiązania - NOMAD: Niezależne Ogólnopolskie Mistrzostwa w

1 Model poszukiwan na rynku pracy

Lista 1