Materiały do zaawans. ekon. Z9

Materiaªy do zaawans. ekon. Z9
Rafaª Wo¹niak
Faculty of Economic Sciences, University of Warsaw
Warsaw, 16-04-2012
Rafaª Wo¹niak
Materiaªy do zaawans. ekon. Z9
Metoda Najwi¦kszej Wiarogodno±ci
‚wiczenie 1.
Zmienne losowe X1 , . . . , Xn s¡ niezale»nymi zmiennymi
losowymi o rozkªadzie wykªadniczym o funkcji g¦sto±ci
f (x ) = λe −λx .
Wyznacz estymator najwi¦kszej wiarogodno±ci parametru λ.
λ̂ = arg maxλ L(X1 = x1 , . . . , Xn = xn )
Rafaª Wo¹niak
Materiaªy do zaawans. ekon. Z9
Metoda Najwi¦kszej Wiarogodno±ci
Interpretacja
Intuicyjnie metoda najwi¦kszej wiarogodno±ci polega na
uznaniu za oszacowanie parametru λ takiej warto±ci λ̂, która
maksymalizuje prawdopodobie«stwo zaobserwowania tej próby,
któr¡ rzeczywi±cie zaobserwowali±my.
Prawdopodobie«stwo zaobserwowania tej próby (czyli
X1 = x1 , . . . , Xn = xn ), to
L = f (X1 = x1 , . . . , Xn = xn ) = f (x1 )f (x2 ) . . . f (xn ).
Maksymalizujemy L, czyli ddλ L(X1 = x1 , . . . , Xn = xn ) = 0.
Skoro zaobserwowali±my t¦ prób¦, to powinna by¢ ona
najbardziej prawdopodobna.
Rafaª Wo¹niak
Materiaªy do zaawans. ekon. Z9
Metoda Najwi¦kszej Wiarogodno±ci
Model liniowy z jedn¡ zmienn¡ i bez staªej.
yi = β xi + i
i ∼ N (0, σ 2 )
yi |xi ∼ N (β xi , σ ). Dlaczego?
2
Funkcja g¦sto±ci dla pojedynczej zmiennej to
f (Xi = xi ) =
e
−
√1
2πσ
(yi −β xi )2
2σ 2
Wyznacz estymatory dla parametrów β i σ 2 .
2
2
Ró»nica mi¦dzy σMNK
a σMNW
. Ró»nica mi¦dzy S 2 a Ŝ 2 .
Rafaª Wo¹niak
Materiaªy do zaawans. ekon. Z9
Metoda Najwi¦kszej Wiarogodno±ci
Za http://wazniak.mimuw.edu.pl/ Przykªad 12.3
‚wiczenie 2.
Spo±ród studentów informatyki pewnego elitarnego wydziaªu
wybrano losowo i niezale»nie od siebie 50 osób, a nast¦pnie
ka»d¡ z nich spytano, czy kiedykolwiek w trakcie studiów
otrzymaªa ocen¦ niedostateczn¡. Okazaªo si¦, i» 14 osób
odpowiedziaªo "TAK", natomiast pozostaªe odpowiedziaªy
"NIE". Pytamy teraz: jaki procent studentów informatyki
otrzymaª w trakcie swoich studiów ocen¦ niedostateczn¡.
Rafaª Wo¹niak
Materiaªy do zaawans. ekon. Z9
Binarne Zmienne Niezale»ne
Za R. Carter Hill, William E. Griths and Guay C. Lim,
Principles of Econometrics, John Wiley & Sons.
W ekonomii najcz¦±ciej rozwa»a si¦ zmienne ci¡gªe takie jak
ilo±ci, ceny czy wielko±¢ produkcji. W mikroekonomiii rozwa»a
si¦ wybory dokonywane przez poszczególne rmy czy osoby, i
nie zawsze mo»na wtedy mówi¢ o zmiennych ci¡gªych. Modele
dla binarnych zmiennych niezale»nych sªu»¡ do opisywania
kwestii zwi¡zanych z wyborem.
Co±/kto± jest/nie jest jakie±/jaki±.
Zaªó»my teraz, »e nie interesuje nas jaki procent studentów
otrzymaª kiedykolwiek 2, tylko czynniki wpªywaj¡ce na to, »e
student otrzymaª 2.
Np. czy zmienna Xi zale»y od zmiennej rok_studiówi
Rafaª Wo¹niak
Materiaªy do zaawans. ekon. Z9
Rozkodowanie. Binarne Zmienne Niezale»ne
y okre±la czy co±/kto± jest/nie jest jakie±/jaki±.
(Mycielski J., Ekonometria) Przy rozkodowaniu zmiennej
zale»nej przyjmuje si¦ konwencj¦, wedªug której 0 jest pora»k¡,
a 1 sukcesem.
Co jes pora»k¡, a co jest sukcesem w ¢wiczeniu z
ocenami niedostateczenymi w±ród informatyków?
Pytanie:
Jak mo»na zarobki, wzrost, cen¦ przekodowa¢ na zmienne
binarne?
A czy jest sens? Czy zawsze?
Rafaª Wo¹niak
Materiaªy do zaawans. ekon. Z9
Prawdopodobie«stwo. Binarne Zmienne Niezale»ne
W modelach dla zmiennych binarnych wyja±niamy
prawdopodobie«stwa stanów, za pomoc¡ zmiennych
niezale»nych.
Chcemy powi¡za¢ te prawdopodobie«stwa z wielko±ci¡
zmiennych niezale»nych.
Szukamy warunkowych prawdopodobie«stw stanów przy
znanych wielko±ciach zmiennych niezale»nych.
1 − p (xi ), yi = 0,
= [p (xi )]y [1 − p (xi )]1−y
p (xi ),
yi = 1
i
i
Czym jest p (xi )? Jest funkcj¡, która przyjmuje warto±ci z
przedziaªu [0, 1].
p (xi ) to najcz¦±ciej dystrybuanta rozkªadu ci¡gªego,
p (xi ) = F (xi β).
Rafaª Wo¹niak
Materiaªy do zaawans. ekon. Z9
Prawdopodobie«stwo. Binarne Zmienne Niezale»ne
Funkcja wiarogodno±ci szacowanego modelu dla binarnych
zmiennych zale»nych na próbie przekrojowej ma nast¦puj¡c¡
posta¢:
Q
L(θ) = Ni=1 [p (xi )]y [1 − p (xi )]1−y ,
i
i
a wi¦c logarytm funkcji wiarogodno±ci b¦dzie mo»na zapisa¢
jako
P
P
l (θ) = Ni=1 yi lnp (xi ) + Ni=1 (1 − yi )ln[1 − p (xi )]
Poniewa» p (xi ) ∈ [0, 1], wi¦c lnp (xi ) ≤ 0 i ln[1 − p (xi )] ≤ 0, a
zatem tak»e l (θ) ≤ 0.
Rafaª Wo¹niak
Materiaªy do zaawans. ekon. Z9
Binarne Zmienne Niezale»ne
Probit
W modelu probitowym zakªadamy, »e F (.) jest dystrybuant¡
rozkªadu normalnego.
Prawdopodobie«stwo sukcesu jest równe Φ(xi β), gdzie Φ(.)
jest dystrybuant¡ rozkªadu N (0, 1).
Logit
W przypadku modelu logitowego przyjmujemy, »e F (.) jest
dystrybuant¡ rozkªadu logistycznego.
Rafaª Wo¹niak
Materiaªy do zaawans. ekon. Z9
Probit
. probit foreign weight mpg
Iteration
Iteration
Iteration
Iteration
Iteration
Iteration
0:
1:
2:
3:
4:
5:
log
log
log
log
log
log
likelihood
likelihood
likelihood
likelihood
likelihood
likelihood
=
=
=
=
=
=
-45.03321
-27.914626
-26.858074
-26.844197
-26.844189
-26.844189
Probit regression
Log likelihood = -26.844189
Number of obs
LR chi2(2)
Prob > chi2
Pseudo R2
=
=
=
=
74
36.38
0.0000
0.4039
-----------------------------------------------------------------------------foreign |
Coef.
Std. Err.
z
P>|z|
[95% Conf. Interval]
-------------+---------------------------------------------------------------weight | -.0023355 .0005661
-4.13 0.000
-.003445
-.0012261
mpg | -.1039503 .0515689
-2.02 0.044
-.2050235
-.0028772
_cons | 8.275464 2.554142
3.24
0.001
3.269437
13.28149
------------------------------------------------------------------------------
Rafaª Wo¹niak
Materiaªy do zaawans. ekon. Z9
Interpretacja wspóªczynników
Modele dla zmiennych binarnych nie s¡ modelami liniowymi,
poniewa» warunkowa warto±¢ oczekiwana zmiennej zale»nej nie
jest dana funkcj¡ liniow¡:
E (y |x ) = 0[1 − F (x β)] + 1F (x β) = F (x β) = p (x β)
Warto±¢ oczekiwana zmiennej równa jest prawdopodobie«stwu
sukcesu.
Efekt cz¡stkowy
∂ E (y |x )
∂ xk
= ∂ p∂(xx β) = f (x β)βk
k
Efekt cz¡stkowy interpretujemy jako wpªyw jednostkowej
zmiany zmiennej niezale»nej na wielko±¢ prawdopodobie«stwa
sukcesu.
Rafaª Wo¹niak
Materiaªy do zaawans. ekon. Z9
Interpretacja wspóªczynników
Wielko±¢ efektu cz¡stokowego zale»y od x .
Efekty cz¡stkowe zazwyczaj liczym dla ±rednich.
Dla zerojedynkowych zmiennych obja±niaj¡cych efekt kra«cowy
deniujemy jako ∆F (x̄ β) = F (x̄1 β) − F (x̄0 β).
Samych wielko±ci wspóªczynników nieinterpretuje si¦.
Mo»na zinterpretowa¢ proporcje mi¦dzy wspóªczynnikami.
∂ E (y |x ) ∂ E (y |x )
∂ xk / ∂ xm
=
βk
βm
i s¡ niezale»ne od wielko±ci zmiennych obja±niaj¡cych.
Rafaª Wo¹niak
Materiaªy do zaawans. ekon. Z9
Logit
. logit foreign weight mpg
Iteration
Iteration
Iteration
Iteration
Iteration
Iteration
0:
1:
2:
3:
4:
5:
log
log
log
log
log
log
likelihood
likelihood
likelihood
likelihood
likelihood
likelihood
=
=
=
=
=
=
-45.03321
-29.238536
-27.244139
-27.175277
-27.175156
-27.175156
Logistic regression
Log likelihood = -27.175156
Number of obs
LR chi2(2)
Prob > chi2
Pseudo R2
=
=
=
=
74
35.72
0.0000
0.3966
-----------------------------------------------------------------------------foreign |
Coef.
Std. Err.
z
P>|z|
[95% Conf. Interval]
-------------+---------------------------------------------------------------weight | -.0039067 .0010116
-3.86 0.000
-.0058894
-.001924
mpg | -.1685869 .0919175
-1.83 0.067
-.3487418
.011568
_cons | 13.70837 4.518709
3.03
0.002
4.851859
22.56487
------------------------------------------------------------------------------
Rafaª Wo¹niak
Materiaªy do zaawans. ekon. Z9
Logit
W przypadku modelu logitowego przyjmujemy, »e F (.) jest
dystrybuant¡ rokªadu logistyczengo. W modelu logitowym
prawdopodobie«stwo sukcesu jest równe:
p (xi ) = F (xi β) =
e
x
i
+e
1
β
x
i
β
= Λ(xi β)
gdzie Λ(.) oznacza dystrybuant¦ rozkªadu logistyczengo.
Istotn¡ zalet¡ jest analityczna posta¢ dystrybuanty.
Funkacja prawdopodobie«stwa dla pojedynczej obserwacji dana
jest wzorami
(
1
yi = 0,
β,
β
1+e
P (yi ) =
= [ 1+e e β ]y [ 1+e1 β ]1−y
β
e
yi = 1
β,
1+e
x
i
x
i
x
i
i
x
i
i
x
i
x
i
Wyznaczy¢ estymator β metod¡ najwi¦kszej wiarogodno±ci.
Rafaª Wo¹niak
Materiaªy do zaawans. ekon. Z9
Maksymalizacja funkcji wiarogodno±ci
Rafaª Wo¹niak
Materiaªy do zaawans. ekon. Z9
Maksymalizacja funkcji wiarogodno±ci
Poprzedni przykªad za:
In Jae Myung, Tutorial on maximum likelihood estimation,
Journal of Mathematical Psychology 47 (2003) 90100.
Po co logit i probit?
Policzmy model MNK.
Rafaª Wo¹niak
Materiaªy do zaawans. ekon. Z9
ŷ
dla wagi 4000 i mpg 100000
. reg foreign weight mpg
Source |
SS
df
MS
-------------+-----------------------------Model | 5.75462023
2 2.87731012
Residual | 9.70483923
71 .136687876
-------------+-----------------------------Total | 15.4594595
73 .211773417
Number of obs
F( 2,
71)
Prob > F
R-squared
Adj R-squared
Root MSE
=
=
=
=
=
=
74
21.05
0.0000
0.3722
0.3546
.36971
-----------------------------------------------------------------------------foreign |
Coef.
Std. Err.
t
P>|t|
[95% Conf. Interval]
-------------+---------------------------------------------------------------weight | -.0004678 .0000943
-4.96 0.000
-.0006558 -.0002797
mpg | -.0194295 .0126701
-1.53 0.130
-.044693
.005834
_cons | 2.123506 .5289824
4.01
0.000
1.068745
3.178267
------------------------------------------------------------------------------
Rafaª Wo¹niak
Materiaªy do zaawans. ekon. Z9
Logit
. logit insur medexp inc i.year
Iteration
Iteration
Iteration
Iteration
0:
1:
2:
3:
log
log
log
log
likelihood
likelihood
likelihood
likelihood
Logistic regression
Log likelihood = -640.25858
=
=
=
=
-692.08881
-640.29575
-640.25858
-640.25858
Number of obs
LR chi2(6)
Prob > chi2
Pseudo R2
=
=
=
=
1000
103.66
0.0000
0.0749
-----------------------------------------------------------------------------insur |
Coef.
Std. Err.
z
P>|z|
[95% Conf. Interval]
-------------+---------------------------------------------------------------medexp | .2254819 .0251901
8.95
0.000
.1761101
.2748537
inc | -.0170446 .0038934
-4.38 0.000
-.0246755
-.0094136
|
year |
2 |
.0548072
.2118509
0.26 0.796
-.360413
.4700273
3 |
.2279468
.2140647
1.06 0.287
-.1916123
.6475058
4 |
.2657228
.2162374
1.23 0.219
-.1580947
.6895403
5 |
.3194054
.220198
1.45 0.147
-.1121749
.7509856
|
_cons | -.1102377 .3028546
-0.36 0.716
-.7038217
.4833464
Rafaª Wo¹niak
Materiaªy do zaawans. ekon. Z9
------------------------------------------------------------------------------
Probit
. probit insur medexp inc
Iteration
Iteration
Iteration
Iteration
0:
1:
2:
3:
log
log
log
log
likelihood
likelihood
likelihood
likelihood
=
=
=
=
-692.08881
-642.25581
-642.09415
-642.09414
Probit regression
Log likelihood = -642.09414
Number of obs
LR chi2(2)
Prob > chi2
Pseudo R2
=
=
=
=
1000
99.99
0.0000
0.0722
-----------------------------------------------------------------------------insur |
Coef.
Std. Err.
z
P>|z|
[95% Conf. Interval]
-------------+---------------------------------------------------------------medexp | .1373439 .0148298
9.26
0.000
.108278
.1664098
inc | -.0091535
.002252
-4.06
0.000
-.0135674
-.0047396
_cons | -.0579179 .1777576
-0.33 0.745
-.4063164
.2904807
------------------------------------------------------------------------------
Rafaª Wo¹niak
Materiaªy do zaawans. ekon. Z9
Logit
. logit auto dtime
Iteration
Iteration
Iteration
Iteration
Iteration
0:
1:
2:
3:
4:
log
log
log
log
log
likelihood
likelihood
likelihood
likelihood
likelihood
=
=
=
=
=
-14.532272
-6.2047625
-6.1662139
-6.1660422
-6.1660422
Logistic regression
Log likelihood = -6.1660422
Number of obs
LR chi2(1)
Prob > chi2
Pseudo R2
=
=
=
=
21
16.73
0.0000
0.5757
-----------------------------------------------------------------------------auto |
Coef.
Std. Err.
z
P>|z|
[95% Conf. Interval]
-------------+---------------------------------------------------------------dtime | .5310983 .2064228
2.57
0.010
.126517
.9356795
_cons | -.2375754 .7504766
-0.32 0.752
-1.708483
1.233332
------------------------------------------------------------------------------
Rafaª Wo¹niak
Materiaªy do zaawans. ekon. Z9
Probit
. probit auto dtime bustime autotime
note: autotime
Iteration 0:
Iteration 1:
Iteration 2:
Iteration 3:
Iteration 4:
Iteration 5:
omitted because of collinearity
log likelihood = -14.532272
log likelihood = -2.415721
log likelihood = -2.1686153
log likelihood = -2.1633002
log likelihood = -2.1632681
log likelihood = -2.1632681
Probit regression
Log likelihood = -2.1632681
Number of obs
LR chi2(2)
Prob > chi2
Pseudo R2
=
=
=
=
21
24.74
0.0000
0.8511
-----------------------------------------------------------------------------auto |
Coef.
Std. Err.
z
P>|z|
[95% Conf. Interval]
-------------+---------------------------------------------------------------dtime | -.0521013 .2822999
-0.18 0.854
-.605399
.5011964
bustime | .1034163 .0740366
1.40
0.162
-.0416928
.2485255
autotime |
0 (omitted)
_cons | -4.727522
3.1134
-1.52
0.129
-10.82967
1.37463
-----------------------------------------------------------------------------Rafaª Wo¹niak
Materiaªy do zaawans. ekon. Z9