1 Wykład 3 Generatory liczb losowych o dowolnych rozkładach.

1
Wyk÷
ad 3
Generatory liczb losowych o dowolnych rozk÷
adach.
1.1
Metoda odwracania
Niech X oznacza zmienna losowa¾ o dystrybuancie F . Oznaczmy
F
1
(t) = inf (x : t
Uwaga 1 Zauwa·zmy, ·ze 8t 2 [0; 1] : F F
F (x)) :
1
(t) = t .
Mamy nastepuj
¾ ace
¾ proste Twierdzenie
Twierdzenie 2 Niech F bedzie
¾
dystrybuanta¾pewnego rozk÷adu prawdopodobie´nstwa.
Je´sli U U (0; 1) ; to zmienna losowa
X=F
1
(U ) = inf (x : U
F (x))
ma rozk÷ad o dystrybuancie F:
Dowód. Rozwaz·my zdarzenie fU F (t)g : Zatem t 2 fx : U F (x)g czyli t
inf fx : U F (x)g = X zatem fU F (t)g fX tg :
Weźmy teraz pod uwage¾ zdarzeniefX tg. Dla ! 2 fX tg mamy X (!)
t czyli F (X (!))
F (t) : Ale F (inf fx : U (!) F (t)g) = U (!) : Czyli
fX tg fU F (t)g :
Przyk÷
ad:
1. Rozk÷
ad wyk÷
adniczy, F (x) = 1
exp (
2. Rozk÷
ad arcusinus: F (x) = 21 (1 +
2 arcsin(x)
3. Rozk÷
ad Weibula: F (x) = 1
4. Rozk÷
ad Pareto F (x) = 1
exp (
b
x
:x
x) : x
0
) dla jxj < 1
x ):x
0; ;
0
b; a; b > 0:
5. Rozk÷
ad dyskretny o nośniku f0; 1; : : :g z pk = P (X = k) moz·na ngenerować np. generujac
¾ ciag
¾ zmiennych Ui U (0; 1) i k÷adac
¾ Xn = min k : Un
Pk
n i
n i
Np. dla rozk÷
adu Bin (n; p) wyliczamy pk = i=0 i p (1 p)
,k=
0; : : : ; n i mamy generator:
Generuj liczbe¾ u z rozk÷adu U (0; 1) ;
po÷
óz· X := 0
While u > pX do X = X + 1
Return X
Podobnie dla rozk÷
adu Poissona P oiss ( ) :
Generacje¾ moz·na uprościć zauwaz·ajac,
¾ z·e U
1
1
U gdy U
U (0; 1) :
o
p
:
k
i=0
Pk
2
1.2
Metoda eliminacji
Najpierw nastepuj
¾ aca
¾ de…nicja
De…nicja 3 Mówimy, ·ze punkt losowy X 2Rd ma rozk÷ad równomierny na
zbiorze mierzalnym D Rd ; je´sli dla dowolnego zbioru mierzalnego C
D
(C)
; gdzie ld oznacza d wymiarowa¾miare¾Lebesgue’a.
mamy równo´s´c P (X 2C) = lldd(D)
Metode¾ eliminacji opiera sie¾ na nastepuj
¾ acych
¾
2 twierdzeniach.
Twierdzenie 4 Przypu´s´cmy, ·ze X1 ; X2 : : : jest ciagiem
¾
i.i.d. o warto´sciach
z Rd . Niech A Rd bedzie
¾
takim mierzalnym podzbiorem, ·ze P (X1 2 A) >
0: Niech = min fk : Xk 2 Ag i Y = X : Wówczas dla dowolnego mierzalnego
B 2 Rd mamy
1
P (Y 2B) = P (X1 2 A \ B) ;
p
gdzie p = P (X1 2 A) : W szczególno´sci gdy X1 ; X2 : : : rozk÷ad równomierny na
D A; Y ma rozk÷ad równomierny na A:
Dowód. Dla dowolnego zbioru mierzalnego mamy:
P (Y 2B)
=
=
1
X
i=1
1
X
P X1 2
= A; : : : ; Xi
(1
p)
i 1
i=1
1
2
= A; Xi 2 A \ B
P (Xi 2 A \ B) =
1
P (X1 2 A \ B) :
p
Gdy X1 ma rozk÷
ad jednostajny na D to mamy
P (Y 2B)
=
ld (A \ B) ld (D)
ld (D) ld (A)
=
1
P (X1 2 A \ B) =
p
ld (A \ B)
:
ld (A)
Twierdzenie 5 Niech X bedzie
¾
d wymiarowym wektorem losowym o gesto
¾ ´sci
f (x) a U niech bedzie
¾
niezale·zna¾ od X zmienna losowa o rozk÷adzie U (0; 1) :
Wówczas zmienna losowa (X;cU f (X)) ma rozk÷ad jednostajny na zbiorze A =
(x; y) : x 2Rd ; 0 y cf (x) dla ka·zdego c > 0: Na odwrót, je´sli zmienna
losowa (X; Y ) 2 Rd+1 ma rozk÷ad jednostajny na zbiorze A; to wektor X ma
gesto
¾ ´s´c f (x) ; x 2Rd :
Dowód. Najpierw udowodnimy pierwsze stwierdzenie. Weźmy B
A: Niech
Bx = fu : (x;u) 2 Bg : Na podstawie tw. Tonelliego mamy:
Z Z
Z
1
1
duf (x) dx =
dudx:
P ((X;cU f (X) 2 B)) =
c B
Bx cf (x)
3
Zauwaz·my jednak, z·e ze wzgledu
¾ na to, ze f jest gestości
¾
a¾
kończy dowód cześci
¾ pierwszej.
Dla drugiej cześci
¾ mamy oznaczajac
¾ B1 = f(x; y) : x 2B;0
P (X 2B)
=
=
R
A
dxdu = c: To
y
cf (x)g
P ((X; Y ) 2 B1 )
R R cf (x)
Z
dudx
B 0
=
f (x) dx:
R R cf (x)
B
dudx
Rd 0
Algorytm metody eliminacji oparty na tych twierdzeniach jest nastepuj
¾ acy.
¾
Przez f oznaczmy gestość
¾
z której chcemy symulować. Przypuśćmy, ze znaleźliśmy
inna gestość
¾
g taka,
¾ z·e
1. jest z niej ÷
atwo symulować ciagi
¾ i.i.d.
2. moz·na znaleźć sta÷a¾ c taka,
¾ z·e
sup
x
f (x)
g(x)
c:
(1)
Algorytm eliminacji polega na
Repeat
Generuj obserwacje¾ X zgodnie z rozk÷adem g i obserwacje¾ U z rozk÷adu
jednostajnego U (0; 1) ;
T < cg(X)
f (X)
Until T U 1
Return X
Sa¾ 3 rzeczy które trzeba znać aby stosować ten algorytm: (i) gestość
¾
g
spe÷
niajac
¾ a¾ nierówność (1), (ii) prosty sposób na generacje¾ z tej gestości,
¾
(iii)
znajomość sta÷
ej c: Czesto
¾ (i) i (iii) moz·na znaleźć po prostu analizujac
¾ postać
analityczna¾ gestość
¾
f . Zwykle g winna mieć grubsze ogony i ostrzejsze ’czubki
w nieskończoności’. Dominujace
¾ krzywe cg(x) musza¾ być dobierane starannie,
nie tylko ze wzgledu
¾ na ÷
atwość generacji z gestości
¾
g ale takz·e ze wzgledu
¾ na
(x)
÷
atwość obliczania fg(x)
:
Niech N bedzie
¾
ilościa¾ par (X;U ) wygenerowanych zanim algorytm stanie
tzn. zostanie wygenerowana obserwacja z gestości
¾
f: Mamy:
P (N = i) = (1
p)i
1
p; P (N
i) = (1
i 1
p)
R
R
f (x)
1
f (x) dx = 1c :
dla i 1; gdzie p = P (f (X) U g (X)) = P U
cg(x) g (x) dx = c
A wiec
¾
1
1 p
E (N ) = = c; var (N ) =
= c2 c:
p
p2
Jednym s÷owem E (N ) jest odwrotnościa¾ prawdopodobieństwa zaakceptowania
X; czyli c winno być jak najmniejsze.
4
Przyk÷
ad 6 Rozk÷ad normalny N (0; 1): Za g (x) we´zmy gesto
¾ ´s´c rozk÷ady Laplace’a.
Mamy
exp x2 =2 2
max p
x
2 exp ( x)
r
2
= max
exp
(x
x
r
2e
=
= 1: 315 5:
5
2
1) =2 + 1=2