Rozkład normalny(Gaussa)

Wykład 6
Rozkład normalny(Gaussa)
Niech m ∈ R, σ∈ R+ : Gestości
˛
a˛ zmiennej losowej o rozkładzie normalnym z
parametrami m i σ jest funkcja
(x − m)2
1
f (x)= √ exp(−
); x ∈ R
2σ2
σ 2π
(6.0.1)
Nośnikiem tego rozkładu jest prosta rzeczywista.
Naszkicujmy kilka wykresów funkcji gestości
˛
dla różnych wartości parametrów:
najpierw dla różnych parametrów m = −1, 5; 0, 5; 4 przy stałej wartości σ = 1.
y
0.3
0.2
0.1
0
-2.5
0
2.5
5
x
a nastepnie
˛
przy m = 0 dla różnych σ = 0, 35 , 1 , 2.
35
WYKŁAD 6. ROZKŁAD NORMALNY(GAUSSA)
36
y
1
0.75
0.5
0.25
0
-5
-2.5
0
2.5
5
x
Jeśli zmienna losowa X ma gestoś
˛
ć postaci (6.0.1) z parametrami to bedziemy
˛
wówczas pisali X∼N (m, σ2 ).
2-wymiarowy rozkład normalny
gdzie C
f(x, y)
(6.0.2)
1 1
(x − a)2
(x − a)(y − b) (x − b)2
= C exp −
−
2ρ
+
(6.0.3)
2 1 − ρ2
σ21
σ1 σ 2
σ 22
1
=
.
(6.0.4)
2π 1 − ρ2
Jest to ogólna postać g˛estości 2-wymiarowego wektora normalnego.
Parame
a
trami sa˛ tu a, b, σ1 , σ2 , ρ. Grupujemy je w wektor m =
, i macierz Σ =
b
2
σ1
ρσ1 σ2
X
i zapisujemy Z =
∼ N (m, Σ). Narysujmy kilka taρσ1 σ2 σ22
Y
kich poziomic gestości
˛
2-wymiarowych rozkładów normalnych dla różnych wartości
parametrów σ1 , σ2 , ρ. Wpływ parametrów a i b jest łatwo dostrzegalny. Punkty
(a, b) sa˛ środkami elips bed
˛ acych
˛
poziomicami
˛
Poza tym zauważmy,
gestości.
że 2
(x−b)2
(x−a)(y−b)
−
2ρ
+
=c ,
poziomice g˛estości 6.0.2 sa˛ elipsami (x, y) : (x−a)
σ1 σ2
σ21
σ22
dla różnych wartości c. A zatem na pierwszym rysunku mamy ma czarno narysowane
poziomice g˛estości o parametrach σ 1 = 2, σ2 = 1, ρ = .5 dla c = 0, 5; 1; 1, 5 zaś
na czerwono zaznaczono sa˛ poziomice dla tych samych wartości σ2 , σ2 i c ale z
ρ = −.2. Na drugim zaś mamy takie same wartości ρ i c ale odwrócone role σ1
i σ2 :
6.1
Wielowymiarowe rozkłady normalne:
G˛estość n−wymiarowego rozkładu normalnego ma postać:
f(x) =
1
√
(2π)n/2
1
exp(− (x − m)T Σ−1 (x − m))
2
det Σ
(6.1.1)
gdzie m ∈Rn , zaś Σ jest symetryczna˛ dodatnio określona˛ n × n- macierza.
˛
Piszemy X ∼ Nn (m, Σ) jeśli X ma taki rozkład. Później w nast˛epnym wykładzie,
gdy bedzie
˛
mowa o przekształceniach liniowych zmiennych losowych pokażemy,
6.1.
WIELOWYMIAROWE ROZKŁADY NORMALNE:
1
y
0.5
-2
-1
00
-0.5
-1
Rysunek 6.1:
2
x
1
-1 -0.50 0 0.5 1
y
-1
-2
Rysunek 6.2:
1
x
2
37
WYKŁAD 6. ROZKŁAD NORMALNY(GAUSSA)
38
że funkcja (6.1.1) istotnie jest gestości
˛
a.
˛ Poziomice, czyli podzbiory Rn dla
których gestości
˛
sa˛ stałe, sa˛ dla takiego rozkładu powierzchniami elipsoid. Wynika
to z nastepuj
˛ acego
˛
rozumowania: Mamy
Ec = {x ∈ Rn : f(x) = c} = x ∈ Rn : (x − m)T Σ−1 (x − m) = ć ,
√
gdzie zależność mie˛ dzy c i ć jest dana formuł a:
˛ ć = exp(c(2π)n/2 det Σ) . To, że
zbiór Ec przedstawia soba˛ dla dodatnich ć powierzchnie elipsoid n- wymiarowych
wynika z wiadomości z Algebry ( I semestr -formy kwadratowe).
Rozkłady brzegowe n- wymiarowego rozkładu normalnego Nn+k (m,Σ)
Przez X1 i X2 oznaczmy odpowiednio pierwszych n i ostatnich
˛
k współrzedX1
nych wektora X ∼ Nn+k (m, Σ), jednym słowem X =
. Temu rozbiciu
X2
wektora na dwa podwektory odpowiada w naturalny sposób rozbicie
wektora m
m1
na dwa podwektory m1 i m2 w taki sposób, że mamy: m =
i rozbicie
m2
macierzy
Σ na cztery
macierze Σ11 , Σ12 , Σ21 , Σ22 otrzymane w taki sposób, że
Σ11 Σ12
. Σ11 jest n × n minorem głównym macierzy Σ otrzymanym
Σ=
Σ21 Σ22
z pierwszych n wierszy i pierwszych n kolumn macierzy Σ. Podobnie macierz
Σ12 jest n × k podmacierza˛ otrzymana˛ z n pierwszych wierszy i k ostatnich
kolumn macierzy Σ itd.
Załóżmy, że Σ12 i Σ21 sa˛ macierzami zerowymi.
−1
Σ11
0
−1
Wówczas mamy: Σ =
(można sprawdzić, że tak jest wykonu0
Σ−1
22
jac
˛ sprawdzajace
˛ mnożenie macierzowe ΣΣ−1 = I. Ponadto mamy det Σ =
det Σ11 det Σ22 . Zatem:
T −1
(x − m)T Σ−1 (x − m) = (x1 − m1 )T Σ−1
11 (x1 − m1 ) + (x2 − m2 ) Σ22 (x2 − m2 ).
(6.1.2)
Oznaczmy:
f1 (x1 ) =
(2π)n/2
i
f2 (x2 ) =
(2π)k/2
1
1
√
exp(− (x1 − m1 )T Σ−1
11 (x1 − m1 ))
2
det Σ11
1
√
det Σ22
1
exp(− (x2 − m2 )T Σ−1
22 (x2 − m2 )).
2
Z formuły (6.1.2) wynika , że
f (x) =f1 (x1 )f2 (x2 ).
(6.1.3)
Teraz zauważmy, że Rk f(x1 , x2 )dx1 = f2 (x2 ) Rk f1 (x1 )dx
˛
ć brze 1 . czyli gestoś
gowa wektora X2 jest równa f2 (x2 ) razy pewna stała ( = Rk f1 (x1 )dx1 ). Widać
wiec,
˛ że rozkład brzegowy X2 jest też normalny i ponadto, że jest postaci:
Nk (m2 , Σ22 )!!!! Później, w nastepnym
˛
wykładzie, wynik ten zostanie uogólniony na macierze Σ nie tylko powyższej, specjalnej diagonalnej postaci.
Rozumujac
˛ analogicznie otrzymamy: X1 ∼ Nn (m1 , Σ22 ). Zauważmy ponadto, że z formuły (6.1.3) wynika, że zmienne X1 i X2 sa˛ niezależne.
6.2. MOMENTY
6.2
6.2.1
39
Momenty
Momenty 1-wymiarowe
Niech X ∼ N(m, σ 2 ).
∞
∞
2
2
/2σ2 )
/2σ 2 )
√
√
Mamy EX = −∞ x exp(−(x−m)
dx = −∞ (x − m) exp(−(x−m)
dx +
σ 2π
σ 2π
∞ exp(−(x−m)2 /2σ2 )
√
m −∞
dx . Pierwsza z tych całek jest równa zeru (bo po zmiσ 2π
anie zmiennych x − m −→ y całkujemy funkcje˛ parzysta˛ po symetrycznym
przedziale) a druga jest równa m. Zatem
EX = m
6.2.2
Momenty centralne
∞
2
/2σ2 )
√
Oznaczmy mk = −∞ (x − m)k exp(−(x−m)
dx. Zmieniajac
˛ zmienne na x −
σ 2π
m −→ y dostaniemy:
mk =
0
∞
√
y2j exp(−y 2 /(2σ 2 ))/(σ 2π)dy
-∞
dla k = 2j + 1
dla k = 2j
j = 0, 1, 2 . . . .
Aby sprawnie obliczyć m√
2j dla j = 1, 2, . . . zauważmy po pierwsze, że m2j =
∞
2 0 y 2j exp(−y 2 /(2σ 2 ))/(σ 2π)dy a po drugie po zamianie zmiennych y 2 /(2σ 2 )
−→ z dostaniemy
∞
2j Γ( 2j+1
)
1
2j
√ 2
m2j = σ2j √
z j− 2 e−z dz = σ2j
π 0
π
Zatem np. m2 = E(X − EX)2 = σ 2 , m4 = 3σ4 , m6 = 15σ6 itp.
6.2.3
Przypadek wielowymiarowy
Załóżmy teraz, że X ∼ Nn (m, Σ), det Σ > 0. Rozważmy nastepuj
˛ acy
˛ wektor
pomocniczy: Y = Σ−1/2 (X−m). Wiadomo, że a) Y ∼ Nn (0, I), b) współrzedne
˛
wektora Y sa˛ niezależne o jednakowych rozkładach N(0, 1). Każda z nich ma
zatem wartość oczekiwana równa˛ zero i wariancj˛e równa˛ 1. Zatem
0 = EY = Σ−1/2 (EX − m),
I = ΣY = Σ−1/2 ΣX Σ−1/2 .
Aby wiec
˛ znaleźć, EX i ΣX trzeba rozwiazać
˛
te równania wektorowo macierzowe. Nie jest to trudne i łatwo znajdziemy:
EX = m,
ΣX = Σ !
Podsumujmy poprzednie informacje o zmiennych Gaussowskich. Niech X ∼
Nn (m, Σ), det Σ > 0, wówczas:
• fX (x) =
exp(− 12 (x−m)T Σ−1 (x−m))
(2π)n/2 (det Σ)1/2
• EX = m, ΣX = Σ.
, x ∈ Rn .
WYKŁAD 6. ROZKŁAD NORMALNY(GAUSSA)
40
• Niech XT = (X1T , X2T ), gdzie dim X1 = k i dim X2 = n jest rozbiciem
wektora X. Niech dalej rozbiciu temu
˛ a˛ rozbiciu wektora m
odpowiadajac
Σ
Σ
1
12
i macierzy Σ: mT = (mT1 ,mT2 ), Σ =
, to X1 ∼ Nk (m1 , Σ1 ).
ΣT12 Σ2
Dowód. Rozważmy nastepuj
˛ ace
˛ liniowe przekształcenie wektora losowego
X:
Y1
Y2
= X1
= X2 − m2 − ΣT12 Σ−1
11 (X1 − m1 ).
czyli innymi słowy
I
Y1
df
Y=
=
Y2
−ΣT12 Σ−1
11
0
I
df
X+
0
−m2 + ΣT12 Σ−1
11 m1
= AX + b.
Korzystajac
˛ teraz z własności(??) wnioskujemy,
że Y∼ N(Am + b, AΣAT ).
m1
Uzasadnienie, że Am + b =
pozostawiamy czytelnikowi. Obliczmy
0
AΣAT . mamy:
I
0
Σ1 Σ12
I −Σ−1
1 Σ12 (6.2.1)
AΣAT =
ΣT12 Σ2
−ΣT12 Σ−1
I
0 I
1
I
0
Σ1 −Σ12 + Σ12
=
(6.2.2)
−ΣT12 Σ−1
I
ΣT12 Σ2 − ΣT12 Σ−1
1
1 Σ12
Σ1 0
=
.
0
Σ2 − ΣT12 Σ−1
1 Σ12
Na podstawie własności brzegowych rozkładów normalnych dyskutowanych
w cześci
˛ ?? wnosimy, że X1 = Y1 ∼ N (m1 , Σ1 ).
• Niech A bedzie
˛
k ×n (k ≤ n) macierza˛ o pełnym rze˛ dzie (tzn. rz(A) = k).
Oznaczmy Y = AX + b dla pewnego wektora b ∈Rk . Wówczas
Y∼ N(Am + b, AΣAT ).
Dowód opierajacy
˛ sie˛ na własności (??) i wyżej udowodnionej własności
pozostawiamy czytelnikowi.
6.3
Warunkowa wartość oczekiwana wielowymiarowych wektorów gaussowskich.
X1
m1
Σ1
∼ Nn+k (
,
X2
m2
Σ21
arowy wektor X o rozkładzie gaussowskim.
wektora nazwano X1 zaś ostatnie k nazwano
Niech X=
Σ12
) tzn. dany n + k wymiΣ2
Pierwsze n współrzednych
˛
tego
X2 . Rozbiciu wektora X na dwa
6.3. WARUNKOWA WARTOŚĆ OCZEKIWANA WIELOWYMIAROWYCH WEKTORÓW GAUSSOWSKIC
podwektory odpowiada rozbicie wektora m na dwa podwektory m1 m2 i rozbicie macierzy kowariancji Σ na 4 podmacierze n × n macierz Σ1 , n × k macierz
Σ12 itd.
Pierwszy etap: Przypuśćmy, że Σ12 = ΣT21 = 0, jak pamietamy
˛
z wykładu
6 zmienne X1 i X2 sa˛ niezależne zatem z własności ?? wynika, że dla i-tej
współrzednej
˛
wektora X1 tj. X1i mamy E(X1i |X2 = x) = EX1i = m1i .
Drugi etap: Podstawmy Y = X1 −m1 −Σ12 Σ−1
2 (X2 −m2 ) , T = X2 . Wiadomo
wówczas np. z wykładu 6 (kurs MPS), że rozkład łaczny
˛
(Y, T) jest gaussowski
naste˛ pujacej
˛ postaci:
Y
∼ N n+k Am + b, AΣAT ,
T
gdzie oznaczyliśmy
I −Σ12 Σ−1
−m1 + Σ12 Σ−1
m2
2
2
A=
,b =
.
0 I
0
0
Łatwo zauważyć, że Am + b =
. Nieco trudniej zauważyć, że AΣAT =
m2
Y
Σ1 − Σ12 Σ−1
0
2 Σ21
. Zatem wektor
ma własności rozważane w
T
0
Σ2
etapie pierwszym. Wiec
˛ E(Y|T) =E(Y) = 0. Podstawiajac
˛ teraz czym jest
Y i T dostaniemy: 0 = E(X1 − m1 − Σ12 Σ−1
(X
−
m
)|X
˛ łatwo
2
2
2 ) . Stad
2
dostaniemy
E(X1 |X2 ) = m1 + Σ12 Σ−1
2 (X2 − m2 )p.n..
Okazuje sie˛ ponadto, że wariancja warunkowa
V (X1 |X2 ) = Σ1 − Σ12 Σ−1
2 Σ21 .
Reasumujac:
˛ W przypadku rozkładów gaussowskich warunkowa wartość oczekiwana jest liniowa zaś wariancja warunkowa w przypadku rozkładów gaussowskich jest wiec
˛ nielosowa!!!!