Funkcje charakterystyczne zmiennych losowych, linie regresji 1

Metody probabilistyczne i statystyka
Wykład
Funkcje charakterystyczne
zmiennych losowych,
linie regresji 1-go i 2-go rodzaju
Dr Joanna Banaś
Zakład Badań Systemowych
Instytut Sztucznej Inteligencji i Metod Matematycznych
Wydział Informatyki Politechniki Szczecińskiej
5
Metody probabilistyczne i statystyka
Wykład 5
16. Funkcje charakterystyczne zmiennych
losowych
Zespolona zmienna losowa to funkcja Ω ∋ ω → X 1 (ω) + i ⋅ X 2 (ω) ∈ ,
gdzie X 1 , X 2 : Ω → są zmiennymi losowymi, określonymi na przestrzeni
probabilistycznej (Ω, Z , P)
Jeśli istnieją EX1 i EX2 , to
(16.1)
E ( X 1 + i ⋅ X 2 ) EX 1 + i ⋅ EX 2
Funkcja charakterystyczna rzeczywistej zmiennej losowej X określonej na
przestrzeni probabilistycznej (Ω, Z , P) to funkcja ϕ X : → dana wzorem
ϕ X (t ) = Ee itX = E (cos tX ) + i ⋅ E (sin tX ) , t ∈ (16.2)
gdyż ze wzoru Eulera e ib = cos b + i sin b , b ∈ (16.3) Stwierdzenie
a)
X − typu skokowego o rozkładzie P( X = xk ) = p k , k = 1,2,...
ϕ X (t ) = ∑ k e itxk p k = ∑ k p k cos txk + i ⋅ ∑ k p k sin txk , t ∈ b)
X − typu ciągłego o gęstości f
∞
∞
∞
−∞
−∞
ϕ X (t ) = ∫ e f ( x)dx = ∫ cos tx ⋅ f ( x)dx + i ⋅ ∫ sin tx ⋅ f ( x)dx , t ∈ −∞
itx
Opracowała Joanna Banaś
Metody probabilistyczne i statystyka
Wykład 5
Własności funkcji charakterystycznych
(16.4) Uwagi
a)
b)
Funkcja charakterystyczna istnieje dla każdej zmiennej losowej X
(zmienna losowa zespolona jest ograniczona, tj. | e itX |= 1)
Jeśli nie będzie to prowadzić do nieporozumień, będziemy pisać ϕ
zamiast ϕX
(16.5) Własności (funkcji charakterystycznej zmiennej
losowej X )
a)
b)
c)
d)
e)
ϕ(0) = 1
| ϕ(t ) | ≤ 1 dla t ∈ ϕ( −t ) = ϕ(t ) dla t ∈ Y = aX + b , a, b ∈ ⇒ ϕY (t ) = e itb ⋅ ϕ X (at ) dla t ∈ ϕ jest jednostajnie ciągła
Opracowała Joanna Banaś
Metody probabilistyczne i statystyka
Wykład 5
Własności funkcji charakterystycznych
(16.6) Twierdzenie
Jeżeli X1, X2,…, Xn są niezależnymi zmiennymi losowymi,
to funkcja charakterystyczna sumy tych zmiennych
losowych określona jest wzorem
ϕ X 1 + X 2 +...+ X n (t ) = ϕ X 1 (t ) ⋅ ϕ X 2 (t ) ⋅ ... ⋅ ϕ X n (t ) , dla t ∈ (16.7) Przykłady
a)
b)
Wyznaczyć funkcję charakterystyczną zmiennej losowej Sn o
rozkładzie dwumianowym z parametrami n ∈ N + i p ∈ (0,1)
Wyznaczyć funkcję charakterystyczną zmiennej o rozkładzie
jednostajnym na przedziale 〈a,b〉
Opracowała Joanna Banaś
Metody probabilistyczne i statystyka
Wykład 5
Własności funkcji charakterystycznych
(16.8) Twierdzenie
Jeżeli istnieje k-ty moment EXk zmiennej losowej X dla k ≥ 1, to istnieje k-ta
pochodna funkcji charakterystycznej ϕ oraz
ϕ ( k ) (0) = i k EX k
(16.9) Wniosek
Jeśli dla zmiennej losowej X istnieją EX i EX 2 , to
ϕ′(0)
EX =
oraz EX 2 = −ϕ′′(0)
i
(16.10) Przykłady
Wyznaczyć wartość oczekiwaną i wariancję zmiennych losowych
X ma rozkład geometryczny z parametrem p∈(0,1), tzn. P( X = k ) = q k −1 p, k = 1, 2,...
λ k −λ
e , k = 0,1,2,...
X ma rozkład Poissona z parametrem λ > 0 , tzn. P( X = k ) =
k!
X ma rozkład wykładniczy z parametrem λ > 0 ,
dla x < 0
 0
tzn. funkcja gęstości jest określona wzorem
f ( x) =  −λx
dla x ≥ 0
λe
Opracowała Joanna Banaś
Metody probabilistyczne i statystyka
Wykład 5
17. Linie regresji 1-go i 2-go rodzaju
E ( X / Y = y ) − wartość oczekiwaną zmiennej losowej X pod
warunkiem, że zmienna losowa Y przyjmuje wartość y
E (Y / X = x ) − analogicznie
(17.1) Stwierdzenie
Jeśli ( X, Y ) jest wektorem losowym typu skokowego o
rozkładzie P( X = xi , Y = y j ) = pij , i, j = 1, 2,... , to
1
x ⋅ pij
∑
i i
P(Y = y j )
1
E (Y / X = xi ) = ∑ j y j ⋅ P(Y = y j / X = xi ) =
y ⋅ pij
∑
j j
P ( X = xi )
E ( X / Y = y j ) = ∑ i xi ⋅ P ( X = xi / Y = y j ) =
Opracowała Joanna Banaś
Metody probabilistyczne i statystyka
Wykład 5
Linie regrsji 1-go rodzaju
(17.2) Stwierdzenie
Jeśli ( X, Y ) jest wektorem losowym typu ciągłego o
gęstości f i gęstościach brzegowych fX i fY odpowiednio,
to
∞
1
x ⋅ f ( x, y )dx, dla y ∈ ∧ f Y ( y ) ≠ 0
∫
−∞
−∞
fY ( y)
∞
∞
1
E (Y / X = x) = ∫ y ⋅ f ( y / x)dy =
y ⋅ f ( x, y )dy, dla x ∈ ∧ f X ( x) ≠ 0
∫
−∞
−∞
f X ( x)
∞
E ( X / Y = y ) = ∫ x ⋅ f ( x / y )dx =
Ze stwierdzeń (17.1) i (17.2) wynika, że E ( X / Y = y ) jest
funkcją zmiennej y
Opracowała Joanna Banaś
Metody probabilistyczne i statystyka
Wykład 3
Linie regresji 1-go rodzaju
Linia regresji 1-go rodzaju zmiennej X względem zmiennej Y to zbiór
punktów ( x, y ) ∈ 2 spełniających równanie
y → x = g1 ( y )
(17.3)
gdzie g1 ( y ) = E ( X / Y = y )
Linia regresji 1-go rodzaju zmiennej Y względem zmiennej X to zbiór
punktów ( x, y ) ∈ 2 spełniających równanie
(17.4)
x → y = g 2 ( x)
gdzie g 2 ( x) = E (Y / X = x)
(17.5) Własność
Jeśli są niezależnymi zmiennymi losowymi, to linie regresji 1-go
rodzaju są stałe oraz
g1 ( y ) = EX i g 2 ( x) = EY
Opracowała Joanna Banaś
Metody probabilistyczne i statystyka
Wykład 3
Linie regresji 1-go rodzaju
(17.6) Własność
Średnie odchylenie kwadratowe zmiennej losowej
Y od pewnej funkcji
2
g( X ) zmiennej losowej X, tzn. E (Y − g ( X ) ) jest najmniejsze, gdy
funkcja ta prawie wszędzie jest równa g2( X ) . Oznacza to, że
2
E (Y − g 2 ( X ) ) = min E (Y − g ( X ) )
2
g
Analogicznie
2
E ( X − g1 (Y ) ) = min E ( X − g (Y ) )
2
g
(17.7) Przykłady
a)
Wyznaczyć linię regresji 1-go rodzaju
zmiennej losowej X względem Y
dla wektora losowego o rozkładzie
z przykładu (10.9)

X


Atomy
0
1
2
P (Y = y j )
Y 0
28
45
8
45
0
4
5
1
0
8
45
1
45
1
5
P ( X = xi )
28
45
16
45
1
45
1
Opracowała Joanna Banaś
Metody probabilistyczne i statystyka
Wykład 5
Linie regresji 1-go rodzaju
(17.7) Przykłady
b)
Wyznaczyć linię regresji 1-go rodzaju zmiennej losowej Y
względem X dla wektora losowego ( X, Y ) o gęstości określonej
wzorem
 12 dla ( x, y ) ∈ K
f ( x, y ) = 
gdzie K = {( x, y ) ∈ 2 :| x | + | y | ≤ 1}
0 dla ( x, y ) ∉ K
Z przykładu (10.5) wiadomo, że
 2( x1+1)

f ( y / x) =  2(11− x )
 0

dla x ∈ ( −1,0〉 ∧ y ∈ 〈− x − 1, x + 1〉
dla x ∈ (0,1) ∧ y ∈ 〈 x − 1,1 − x〉
dla pozostałych y
Opracowała Joanna Banaś
Metody probabilistyczne i statystyka
Wykład 5
Linie regresji 2-go rodzaju
Linia regresji 2-go rodzaju to funkcja y = g(x), której przewidywaną
postać wyznacza się metodą
najmniejszych kwadratów, minimalizując
2
wyrażenie E (Y − g ( X ) )
Prosta regresji 2-go rodzaju zmiennej Y względem zmiennej X to funkcja
o równaniu y = αx + β, gdzie współczynniki α i β są dobrane tak, by
średnie odchylenie kwadratowe
zmiennej losowej Y od zmiennej losowej
2
αX + β, tzn. E (Y − (αX + β) ) było najmniejsze
(17.8) Przykład
2
a)
Wykazać, że α =
i
b)
cov( X , Y )
DY
=
ρ
(
X
,
Y
)
, o ile D 2 X > 0
2
2
D X
D X
β = EY − αEX
Obliczyć wartość minimalną wyrażenia E (Y − (αX + β) )
2
Opracowała Joanna Banaś
Metody probabilistyczne i statystyka
Wykład 5
Minimum funkcji dwóch zmiennych
Wyznaczenie pochodnych cząstkowych pierwszego rzędu i rozwiązanie układu
równań (warunek konieczny istnienia ekstremum)
∂f ( x, y )
=0
∂x
∂f ( x, y )
=0
∂y
Wyznaczenie pochodnych cząstkowych drugiego rzędu i obliczenie głównych
minorów hesjana, tj. macierzy
 ∂ 2 f ( x0 , y 0 )

∂x 2
H= 2
 ∂ f ( x0 , y 0 )
 ∂y∂x

∂ 2 f ( x0 , y 0 ) 
∂x∂y 

2
∂ f ( x0 , y 0 ) 

∂y 2

Sprawdzenie warunku wystarczającego istnienia minimum (główne minory
macierzy H większe od zera)
Opracowała Joanna Banaś
Metody probabilistyczne i statystyka
Wykład 5
Linie regresji 2-go rodzaju
Wyrażenie
(17.9)
D 2Y (1 − ρ 2 ( X , Y ) )
to wariancja resztowa (resztkowa) lub wariancja regresji zmiennej
losowej Y względem zmiennej X
(17.10) Przykład
a)
Wyznaczyć prostą regresji zmiennej losowej
X względem zmiennej Y oraz wariancję resztkową
Y dla wektora losowego ( X, Y ) o rozkładzie
z przykładu (10.9)
Atomy
0 1 P ( X = xi )
28
28
0
0

45
45
8
8
16

1
X
45
45
45

1
2
0 451

45
P (Y = y j ) 54 15
1
Opracowała Joanna Banaś
Metody probabilistyczne i statystyka
Wykład 5
Linie regresji 2-go rodzaju
(17.10) Przykład
b)
Wyznaczyć regresję 2-go rodzaju zmiennej losowej Y względem
zmiennej X oraz wariancję resztkową dla wektora losowego ( X, Y )
o gęstości określonej wzorem
 12 dla ( x, y ) ∈ K
gdzie K = {( x, y ) ∈ 2 :| x | + | y | ≤ 1}
f ( x, y ) = 
0 dla ( x, y ) ∉ K
(17.11) Własność
Jeśli linia regresji 1-go rodzaju jest zbiorem współliniowym,
to prosta regresji 2-go rodzaju ją pokrywa
Opracowała Joanna Banaś
Metody probabilistyczne i statystyka
Wykład
5
Dziękuję za uwagę
Opracowała Joanna Banaś