Własnosci estymatorów regresji porzadkowej z kara LASSO

Regresja porządkowa
Nierówności z wyrocznią
Bibliografia
Własności estymatorów regresji
porządkowej z karą LASSO
Wojciech Rejchel
Uniwersytet Mikołaja Kopernika w Toruniu
Uniwersytet Warszawski
Badania sfinansowane ze środków Narodowego Centrum Nauki przyznanych w ramach
finansowania stażu po uzyskaniu stopnia naukowego doktora, DEC-2014/12/S/ST1/00344.
Wojciech Rejchel
Własności estymatorów regresji porządkowej z karą LASSO
Regresja porządkowa
Nierówności z wyrocznią
Bibliografia
Regresja porządkowa
Z = (X , Y ), Z 0 = (X 0 , Y 0 ) - niezależne wektory losowe o tym
samym rozkładzie P
X,X0 ∈ X, Y,Y0 ∈ Y ⊂ R
Wojciech Rejchel
Własności estymatorów regresji porządkowej z karą LASSO
Regresja porządkowa
Nierówności z wyrocznią
Bibliografia
Regresja porządkowa
Z = (X , Y ), Z 0 = (X 0 , Y 0 ) - niezależne wektory losowe o tym
samym rozkładzie P
X,X0 ∈ X, Y,Y0 ∈ Y ⊂ R
X , X 0 - obserwowane wektory cech
Y , Y 0 - nieznane zmienne losowe
Wojciech Rejchel
Własności estymatorów regresji porządkowej z karą LASSO
Regresja porządkowa
Nierówności z wyrocznią
Bibliografia
Regresja porządkowa
z jest ”lepszy” niż z 0 , jeśli y > y 0
Wojciech Rejchel
Własności estymatorów regresji porządkowej z karą LASSO
Regresja porządkowa
Nierówności z wyrocznią
Bibliografia
Regresja porządkowa
z jest ”lepszy” niż z 0 , jeśli y > y 0
Reguła rangująca f : X × X → R
Wojciech Rejchel
Własności estymatorów regresji porządkowej z karą LASSO
Regresja porządkowa
Nierówności z wyrocznią
Bibliografia
Regresja porządkowa
z jest ”lepszy” niż z 0 , jeśli y > y 0
Reguła rangująca f : X × X → R
jeśli f (x, x 0 ) > 0, to przewidujemy y > y 0
Wojciech Rejchel
Własności estymatorów regresji porządkowej z karą LASSO
Regresja porządkowa
Nierówności z wyrocznią
Bibliografia
Regresja porządkowa
z jest ”lepszy” niż z 0 , jeśli y > y 0
Reguła rangująca f : X × X → R
jeśli f (x, x 0 ) > 0, to przewidujemy y > y 0
Minimalizacja ryzyka
Q(f ) = E φ sign(Y − Y 0 ) f (X , X 0 )
Wojciech Rejchel
Własności estymatorów regresji porządkowej z karą LASSO
Regresja porządkowa
Nierówności z wyrocznią
Bibliografia
Regresja porządkowa
z jest ”lepszy” niż z 0 , jeśli y > y 0
Reguła rangująca f : X × X → R
jeśli f (x, x 0 ) > 0, to przewidujemy y > y 0
Minimalizacja ryzyka
Q(f ) = E φ sign(Y − Y 0 ) f (X , X 0 )
φ : R → R - funkcja straty
Wojciech Rejchel
Własności estymatorów regresji porządkowej z karą LASSO
Regresja porządkowa
Nierówności z wyrocznią
Bibliografia
Regresja porządkowa
z jest ”lepszy” niż z 0 , jeśli y > y 0
Reguła rangująca f : X × X → R
jeśli f (x, x 0 ) > 0, to przewidujemy y > y 0
Minimalizacja ryzyka
Q(f ) = E φ sign(Y − Y 0 ) f (X , X 0 )
φ : R → R - funkcja straty
f¯ = arg min Q(f )
f ∈F
Wojciech Rejchel
Własności estymatorów regresji porządkowej z karą LASSO
Regresja porządkowa
Nierówności z wyrocznią
Bibliografia
Regresja porządkowa
Z1 = (X1 , Y1 ), . . . , Zn = (Xn , Yn ) - niezależne kopie Z
Wojciech Rejchel
Własności estymatorów regresji porządkowej z karą LASSO
Regresja porządkowa
Nierówności z wyrocznią
Bibliografia
Regresja porządkowa
Z1 = (X1 , Y1 ), . . . , Zn = (Xn , Yn ) - niezależne kopie Z
Minimalizacja ryzyka empirycznego
Qn (f ) =
X
1
φ [ sign(Yi − Yj ) f (Xi , Xj )]
n(n − 1) 1¬i6=j¬n
Wojciech Rejchel
Własności estymatorów regresji porządkowej z karą LASSO
Regresja porządkowa
Nierówności z wyrocznią
Bibliografia
Regresja porządkowa
Z1 = (X1 , Y1 ), . . . , Zn = (Xn , Yn ) - niezależne kopie Z
Minimalizacja ryzyka empirycznego
Qn (f ) =
X
1
φ [ sign(Yi − Yj ) f (Xi , Xj )]
n(n − 1) 1¬i6=j¬n
arg min Qn (f ),
f ∈F
Wojciech Rejchel
F ⊂F
Własności estymatorów regresji porządkowej z karą LASSO
Regresja porządkowa
Nierówności z wyrocznią
Bibliografia
Wojciech Rejchel
Własności estymatorów regresji porządkowej z karą LASSO
Regresja porządkowa
Nierówności z wyrocznią
Bibliografia
Kara LASSO
ψ1 , . . . , ψm : X × X → R - funkcje bazowe
Wojciech Rejchel
Własności estymatorów regresji porządkowej z karą LASSO
Regresja porządkowa
Nierówności z wyrocznią
Bibliografia
Kara LASSO
ψ1 , . . . , ψm : X × X → R - funkcje bazowe
(
F=
0
fθ (x, x ) =
m
X
)
0
m
θk ψk (x, x ) : θ ∈ Θ ⊂ R
k=1
Wojciech Rejchel
Własności estymatorów regresji porządkowej z karą LASSO
Regresja porządkowa
Nierówności z wyrocznią
Bibliografia
Kara LASSO
ψ1 , . . . , ψm : X × X → R - funkcje bazowe
(
F=
0
fθ (x, x ) =
m
X
)
0
m
θk ψk (x, x ) : θ ∈ Θ ⊂ R
k=1
X = Rm
ψk (x, x 0 ) = xk − xk0
Wojciech Rejchel
Własności estymatorów regresji porządkowej z karą LASSO
Regresja porządkowa
Nierówności z wyrocznią
Bibliografia
Kara LASSO
ψ1 , . . . , ψm : X × X → R - funkcje bazowe
(
F=
0
fθ (x, x ) =
m
X
)
0
m
θk ψk (x, x ) : θ ∈ Θ ⊂ R
k=1
X = Rm
ψk (x, x 0 ) = xk − xk0
fθ (x, x 0 ) = θT (x − x 0 )
Wojciech Rejchel
Własności estymatorów regresji porządkowej z karą LASSO
Regresja porządkowa
Nierówności z wyrocznią
Bibliografia
Kara LASSO
Qn (fθ ) =
X
1
φ [sign(Yi − Yj ) fθ (Xi , Xj )]
n(n − 1) i6=j
Wojciech Rejchel
Własności estymatorów regresji porządkowej z karą LASSO
Regresja porządkowa
Nierówności z wyrocznią
Bibliografia
Kara LASSO
Qn (fθ ) =
X
1
φ [sign(Yi − Yj ) fθ (Xi , Xj )]
n(n − 1) i6=j
fθ̂ = arg min Qn (fθ ) + λn
θ
Wojciech Rejchel
m
X
|θk |
k=1
Własności estymatorów regresji porządkowej z karą LASSO
Regresja porządkowa
Nierówności z wyrocznią
Bibliografia
Kara LASSO
Qn (fθ ) =
X
1
φ [sign(Yi − Yj ) fθ (Xi , Xj )]
n(n − 1) i6=j
fθ̂ = arg min Qn (fθ ) + λn
θ
m
X
|θk |
k=1
Tarigan, van de Geer (2006), van de Geer (2008), Bickel,
Ritov, Tsybakov (2009)
Wojciech Rejchel
Własności estymatorów regresji porządkowej z karą LASSO
Regresja porządkowa
Nierówności z wyrocznią
Bibliografia
Założenia
1
funkcja straty φ jest wypukła
Wojciech Rejchel
Własności estymatorów regresji porządkowej z karą LASSO
Regresja porządkowa
Nierówności z wyrocznią
Bibliografia
Założenia
1
funkcja straty φ jest wypukła
2
∀1¬k¬m ∀x,x 0
Wojciech Rejchel
0
|ψk (x, x )| ¬
r
n
log m
Własności estymatorów regresji porządkowej z karą LASSO
Regresja porządkowa
Nierówności z wyrocznią
Bibliografia
Założenia
1
funkcja straty φ jest wypukła
2
∀1¬k¬m ∀x,x 0
3
0
|ψk (x, x )| ¬
r
n
log m
(F, || · ||)
Wojciech Rejchel
Własności estymatorów regresji porządkowej z karą LASSO
Regresja porządkowa
Nierówności z wyrocznią
Bibliografia
Założenia
1
funkcja straty φ jest wypukła
2
∀1¬k¬m ∀x,x 0
3
0
|ψk (x, x )| ¬
r
n
log m
(F, || · ||)
∃B>0
∀fθ ∈F
h
i
||fθ − f¯||2 ¬ B Q(fθ ) − Q(f¯)
Wojciech Rejchel
Własności estymatorów regresji porządkowej z karą LASSO
Regresja porządkowa
Nierówności z wyrocznią
Bibliografia
Założenia - warunek zgodności (WZ)
S ⊂ {1, . . . , m} oraz S 0 = {1, . . . , m}\S
Wojciech Rejchel
Własności estymatorów regresji porządkowej z karą LASSO
Regresja porządkowa
Nierówności z wyrocznią
Bibliografia
Założenia - warunek zgodności (WZ)
S ⊂ {1, . . . , m} oraz S 0 = {1, . . . , m}\S
θS :
(θS )k = θk I(k ∈ S),
Wojciech Rejchel
k = 1, . . . , m
Własności estymatorów regresji porządkowej z karą LASSO
Regresja porządkowa
Nierówności z wyrocznią
Bibliografia
Założenia - warunek zgodności (WZ)
S ⊂ {1, . . . , m} oraz S 0 = {1, . . . , m}\S
θS :
(θS )k = θk I(k ∈ S),
k = 1, . . . , m
θ = θ S + θS 0
Wojciech Rejchel
Własności estymatorów regresji porządkowej z karą LASSO
Regresja porządkowa
Nierówności z wyrocznią
Bibliografia
Założenia - warunek zgodności (WZ)
S ⊂ {1, . . . , m} oraz S 0 = {1, . . . , m}\S
θS :
(θS )k = θk I(k ∈ S),
k = 1, . . . , m
θ = θ S + θS 0
Zbiór S spełnia warunek zgodności, o ile istnieje stała
A(S) > 0 taka, że
|θS |21 ¬
||fθ ||2 |S|
A(S)
dla wszystkich θ ∈ Rm spełniających |θS 0 |1 ¬ 3|θS |1 .
Wojciech Rejchel
Własności estymatorów regresji porządkowej z karą LASSO
Regresja porządkowa
Nierówności z wyrocznią
Bibliografia
Założenia - warunek zgodności (WZ)
ψ(x, x 0 ) = [ψ1 (x, x 0 ), . . . , ψm (x, x 0 )]T
Wojciech Rejchel
Własności estymatorów regresji porządkowej z karą LASSO
Regresja porządkowa
Nierówności z wyrocznią
Bibliografia
Założenia - warunek zgodności (WZ)
ψ(x, x 0 ) = [ψ1 (x, x 0 ), . . . , ψm (x, x 0 )]T
Σ = E ψ(X , X 0 )ψ T (X , X 0 )
Wojciech Rejchel
Własności estymatorów regresji porządkowej z karą LASSO
Regresja porządkowa
Nierówności z wyrocznią
Bibliografia
Założenia - warunek zgodności (WZ)
ψ(x, x 0 ) = [ψ1 (x, x 0 ), . . . , ψm (x, x 0 )]T
Σ = E ψ(X , X 0 )ψ T (X , X 0 )
||fθ ||2 := Efθ2 (X , X 0 ) = θT Σθ
Wojciech Rejchel
Własności estymatorów regresji porządkowej z karą LASSO
Regresja porządkowa
Nierówności z wyrocznią
Bibliografia
Założenia - warunek zgodności (WZ)
ψ(x, x 0 ) = [ψ1 (x, x 0 ), . . . , ψm (x, x 0 )]T
Σ = E ψ(X , X 0 )ψ T (X , X 0 )
||fθ ||2 := Efθ2 (X , X 0 ) = θT Σθ
Najmniejsza wartość własna ρ jest dodatnia
Wojciech Rejchel
Własności estymatorów regresji porządkowej z karą LASSO
Regresja porządkowa
Nierówności z wyrocznią
Bibliografia
Założenia - warunek zgodności (WZ)
ψ(x, x 0 ) = [ψ1 (x, x 0 ), . . . , ψm (x, x 0 )]T
Σ = E ψ(X , X 0 )ψ T (X , X 0 )
||fθ ||2 := Efθ2 (X , X 0 ) = θT Σθ
Najmniejsza wartość własna ρ jest dodatnia
∀θ∈Rm
Wojciech Rejchel
|θ|22 ¬
||fθ ||2
ρ
Własności estymatorów regresji porządkowej z karą LASSO
Regresja porządkowa
Nierówności z wyrocznią
Bibliografia
Wyrocznia
Sθ = {1 ¬ k ¬ m : θk 6= 0}
Wojciech Rejchel
Własności estymatorów regresji porządkowej z karą LASSO
Regresja porządkowa
Nierówności z wyrocznią
Bibliografia
Wyrocznia
Sθ = {1 ¬ k ¬ m : θk 6= 0}
Θ1 = {θ ∈ Θ : Sθ spełnia (WZ)}
Wojciech Rejchel
Własności estymatorów regresji porządkowej z karą LASSO
Regresja porządkowa
Nierówności z wyrocznią
Bibliografia
Wyrocznia
Sθ = {1 ¬ k ¬ m : θk 6= 0}
Θ1 = {θ ∈ Θ : Sθ spełnia (WZ)}
(
θ∗ = arg min
θ∈Θ1
λ2 |Sθ |
Q(fθ ) − Q(f¯) + n2
A (θ)
Wojciech Rejchel
)
Własności estymatorów regresji porządkowej z karą LASSO
Regresja porządkowa
Nierówności z wyrocznią
Bibliografia
Nierówności z wyrocznią
Z prawdopodobieństwem ­ 1 −
"
Q(fθ̂ ) − Q(f¯) ¬ C1
Wojciech Rejchel
1
m2
λ2 |Sθ∗ |
Q(fθ∗ ) − Q(f¯) + n2 ∗
A (θ )
#
Własności estymatorów regresji porządkowej z karą LASSO
Regresja porządkowa
Nierówności z wyrocznią
Bibliografia
Nierówności z wyrocznią
Z prawdopodobieństwem ­ 1 −
1
m2
"
Q(fθ̂ ) − Q(f¯) ¬ C1
λ2 |Sθ∗ |
Q(fθ∗ ) − Q(f¯) + n2 ∗
A (θ )
s
λn = C2
Wojciech Rejchel
#
log m
n
Własności estymatorów regresji porządkowej z karą LASSO
Regresja porządkowa
Nierówności z wyrocznią
Bibliografia
Nierówności z wyrocznią
Z prawdopodobieństwem ­ 1 −
1
m2
"
Q(fθ̂ ) − Q(f¯) ¬ C1
λ2 |Sθ∗ |
Q(fθ∗ ) − Q(f¯) + n2 ∗
A (θ )
s
λn = C2
#
log m
n
m ∼ nd dla d ­ 1
Wojciech Rejchel
Własności estymatorów regresji porządkowej z karą LASSO
Regresja porządkowa
Nierówności z wyrocznią
Bibliografia
Nierówności z wyrocznią
Z prawdopodobieństwem ­ 1 −
1
m2
#
"
2 |S ∗ |
λ
θ
n
∗
θ̂ − θ ¬ C1 Q(fθ∗ ) − Q(f¯) +
1
A2 (θ∗ )
Wojciech Rejchel
Własności estymatorów regresji porządkowej z karą LASSO
Regresja porządkowa
Nierówności z wyrocznią
Bibliografia
Nierówności z wyrocznią
Z prawdopodobieństwem ­ 1 −
1
m2
#
"
2 |S ∗ |
λ
θ
n
∗
θ̂ − θ ¬ C1 Q(fθ∗ ) − Q(f¯) +
1
A2 (θ∗ )
log m
θ̂ − θ ∗ ¬
1
Wojciech Rejchel
n
Własności estymatorów regresji porządkowej z karą LASSO
Regresja porządkowa
Nierówności z wyrocznią
Bibliografia
Bibliografia
Bickel, P. J., Ritov, Y., Tsybakov, A., B. (2009). Simultaneous
analysis of Lasso and Dantzig selector. Annals of Statistics 37,
1705–1732.
Bühlmann, P., van de Geer, S. (2011). Statistics for
high-dimensional data: methods, theory and applications. Springer.
Tarigan, B., van de Geer, S. (2006). Classifiers of support vector
machine type with l1 penalty. Bernoulli 12, 1045–1076.
Tibshirani, R. (1996). Regression shrinkage and selection via the
lasso. Journal of the Royal Statistical Society: Series B 58,
267–288.
van de Geer, S. (2008). High-dimensional generalized linear models
and the Lasso. Annals of Statistics 36, 614–645.
Wojciech Rejchel
Własności estymatorów regresji porządkowej z karą LASSO