Kostki Assouada i tempa zbieżności estymatorów

Kostki Assouada i tempa zbieżności
estymatorów
Zbigniew Szkutnik, AGH Kraków
XXXIII Konferencja Statystyka Matematyczna, Wisła 2007
Kostki Assouada i tempa zbieżności estymatorów – p. 1/12
Plan
nierówność van Treesa
lemat Fano
kostki i lemat Assouada
przykład: szacowanie ryzyka w poissonowskim
problemie odwrotnym
Kostki Assouada i tempa zbieżności estymatorów – p. 2/12
Szacowanie ryzyka minimaksowego
eksperyment: {X , F , Pθ : θ ∈ Θ} Θ = [a, b] (na razie)
parametr:
T (θ)
(na razie rzeczywisty)
estymator: T̂ (X)
2
inf T̂ supθ∈Θ Eθ T̂ (X) − T (θ) ≥ ?
Kostki Assouada i tempa zbieżności estymatorów – p. 3/12
Szacowanie ryzyka minimaksowego
eksperyment: {X , F , Pθ : θ ∈ Θ} Θ = [a, b] (na razie)
parametr:
T (θ)
(na razie rzeczywisty)
estymator: T̂ (X)
2
inf T̂ supθ∈Θ Eθ T̂ (X) − T (θ) ≥ ?
Idea I: nierówność van Treesa (1968)
2
R
[Eπ T 0 (θ)]2
≥ inf T̂ Θ Eθ T̂ (X) − T (θ) dπ(θ) ≥
Eπ I(θ) + I(λ)
z dπ(θ) = λ(θ)dθ
I(λ) = Eπ (λ0 /λ)2
+ odpowiedni wybór π
dPθ (x) = f (x|θ)dµ(x)
I(θ) = Eθ (f 0 /f )2
Gill, Levit (1995, p.nieparam.), van Rooij, Ruymgaart (1996, p.odwrotne)
Kostki Assouada i tempa zbieżności estymatorów – p. 3/12
Ogólniej:
{X , F , Pθ : θ ∈ Θ}
d - metryka w S T :Θ→S
T̂ : X → S
D - metryka
wΘ
p>0
inf T̂ supθ∈Θ Eθ dp T̂ (X) − T (θ) ≥ ?
Kostki Assouada i tempa zbieżności estymatorów – p. 4/12
Ogólniej:
{X , F , Pθ : θ ∈ Θ}
d - metryka w S T :Θ→S
T̂ : X → S
D - metryka
wΘ
p>0
inf T̂ supθ∈Θ Eθ dp T̂ (X) − T (θ) ≥ ?
Idea II: sprowadzenie do problemu wielodecyzyjnego
Kostki Assouada i tempa zbieżności estymatorów – p. 4/12
Ogólniej:
{X , F , Pθ : θ ∈ Θ}
d - metryka w S T :Θ→S
T̂ : X → S
D - metryka
wΘ
p>0
inf T̂ supθ∈Θ Eθ dp T̂ (X) − T (θ) ≥ ?
Idea II: sprowadzenie do problemu wielodecyzyjnego
skończony Ω ⊂ Θ
selektor zadany przez T̂ : ω̂ = argminω∈Ω d(T̂ , T (ω))
Kostki Assouada i tempa zbieżności estymatorów – p. 4/12
Ogólniej:
{X , F , Pθ : θ ∈ Θ}
d - metryka w S T :Θ→S
T̂ : X → S
D - metryka
wΘ
p>0
inf T̂ supθ∈Θ Eθ dp T̂ (X) − T (θ) ≥ ?
Idea II: sprowadzenie do problemu wielodecyzyjnego
skończony Ω ⊂ Θ
selektor zadany przez T̂ : ω̂ = argminω∈Ω d(T̂ , T (ω))
d(T (ω̂), T (ω)) ≤ d(T (ω̂), T̂ ) + d(T̂ , T (ω))
(nier. ∆)
Kostki Assouada i tempa zbieżności estymatorów – p. 4/12
Ogólniej:
{X , F , Pθ : θ ∈ Θ}
d - metryka w S T :Θ→S
T̂ : X → S
D - metryka
wΘ
p>0
inf T̂ supθ∈Θ Eθ dp T̂ (X) − T (θ) ≥ ?
Idea II: sprowadzenie do problemu wielodecyzyjnego
skończony Ω ⊂ Θ
selektor zadany przez T̂ : ω̂ = argminω∈Ω d(T̂ , T (ω))
d(T (ω̂), T (ω)) ≤ d(T (ω̂), T̂ ) + d(T̂ , T (ω))
≤ 2d(T̂ , T (ω))
(nier. ∆)
(def. ω̂)
Kostki Assouada i tempa zbieżności estymatorów – p. 4/12
Ogólniej:
{X , F , Pθ : θ ∈ Θ}
d - metryka w S T :Θ→S
T̂ : X → S
D - metryka
wΘ
p>0
inf T̂ supθ∈Θ Eθ dp T̂ (X) − T (θ) ≥ ?
Idea II: sprowadzenie do problemu wielodecyzyjnego
skończony Ω ⊂ Θ
selektor zadany przez T̂ : ω̂ = argminω∈Ω d(T̂ , T (ω))
d(T (ω̂), T (ω)) ≤ d(T (ω̂), T̂ ) + d(T̂ , T (ω))
≤ 2d(T̂ , T (ω))
(nier. ∆)
(def. ω̂)
≥ 2−p inf ω̂ maxω∈Ω Eω dp (T (ω̂), T (ω))
Kostki Assouada i tempa zbieżności estymatorów – p. 4/12
Problem wielodecyzyjny (II)
inf T̂ supθ∈Θ Eθ dp T̂ (X) − T (θ) ≥
≥ 2−p inf ω̂ maxω∈Ω Eω dp (T (ω̂), T (ω))
Kostki Assouada i tempa zbieżności estymatorów – p. 5/12
Problem wielodecyzyjny (II)
inf T̂ supθ∈Θ Eθ dp T̂ (X) − T (θ) ≥
≥ 2−p inf ω̂ maxω∈Ω Eω dp (T (ω̂), T (ω))
Aspekt analityczny:
dp (T (ω), T (ω 0 ))
A(T, Ω) = min
ω6=ω 0 ∈Ω
D(ω, ω 0 )
Kostki Assouada i tempa zbieżności estymatorów – p. 5/12
Problem wielodecyzyjny (II)
inf T̂ supθ∈Θ Eθ dp T̂ (X) − T (θ) ≥
≥ 2−p inf ω̂ maxω∈Ω Eω dp (T (ω̂), T (ω))
Aspekt analityczny:
dp (T (ω), T (ω 0 ))
A(T, Ω) = min
ω6=ω 0 ∈Ω
D(ω, ω 0 )
Ostatecznie:
inf T̂ supθ∈Θ Eθ dp T̂ (X) − T (θ) ≥
A(T, Ω)
≥
inf max Eω D(ω̂, ω)
p
ω̂ ω∈Ω
2
Kostki Assouada i tempa zbieżności estymatorów – p. 5/12
Lemat Fano
D(ω, ω 0 ) = I(ω 6= ω 0 )
#Ω = r
Kostki Assouada i tempa zbieżności estymatorów – p. 6/12
Lemat Fano
D(ω, ω 0 ) = I(ω 6= ω 0 )
#Ω = r
maxω∈Ω Eω D(ω̂, ω) = maxω∈Ω Pω (ω̂ 6= ω) ≥
maxω,ω0 ∈Ω KL(Pω , Pω0 ) + log 2
≥1−
log(r − 1)
(dolne ograniczenie dla prawdop. błȩdnej identyfikacji
znaku z r-elementowego alfabetu Ω)
Kostki Assouada i tempa zbieżności estymatorów – p. 6/12
Lemat Fano
D(ω, ω 0 ) = I(ω 6= ω 0 )
#Ω = r
maxω∈Ω Eω D(ω̂, ω) = maxω∈Ω Pω (ω̂ 6= ω) ≥
maxω,ω0 ∈Ω KL(Pω , Pω0 ) + log 2
≥1−
log(r − 1)
(dolne ograniczenie dla prawdop. błȩdnej identyfikacji
znaku z r-elementowego alfabetu Ω)
R
dP
KL(P, Q) = log dQ
dP gdy P << Q (lub ∞)
KL(P n , Qn ) = n · KL(P, Q)
Kostki Assouada i tempa zbieżności estymatorów – p. 6/12
Lemat Fano (II)
dp (T (ω), T (ω 0 ))
p
0
min
d (T (ω), T (ω ))
= min
0
0
0
ω6=ω ∈Ω
ω6=ω ∈Ω
D(ω, ω )
Kostki Assouada i tempa zbieżności estymatorów – p. 7/12
Lemat Fano (II)
dp (T (ω), T (ω 0 ))
p
0
min
d (T (ω), T (ω ))
= min
0
0
0
ω6=ω ∈Ω
ω6=ω ∈Ω
D(ω, ω )
Ostatecznie:
inf T̂ supθ∈Θ Eθ dp T̂ (X) − T (θ) ≥
≥ 2−p minω6=ω0 ∈Ω dp (T (ω), T (ω 0 ))·
n maxω,ω0 ∈Ω KL(Pω , Pω0 ) + log 2
· 1−
log(r − 1)
Kostki Assouada i tempa zbieżności estymatorów – p. 7/12
Lemat Fano (II)
dp (T (ω), T (ω 0 ))
p
0
min
d (T (ω), T (ω ))
= min
0
0
0
ω6=ω ∈Ω
ω6=ω ∈Ω
D(ω, ω )
Ostatecznie:
inf T̂ supθ∈Θ Eθ dp T̂ (X) − T (θ) ≥
≥ 2−p minω6=ω0 ∈Ω dp (T (ω), T (ω 0 ))·
n maxω,ω0 ∈Ω KL(Pω , Pω0 ) + log 2
· 1−
log(r − 1)
Trzeba znaleźć możliwie dużo "dobrze oddzielonych"ω
daja̧cych "bliskie"Pω
(Fano, 1961; Ibragimov, Chasminski, 1981; Birge, 1983)
Kostki Assouada i tempa zbieżności estymatorów – p. 7/12
Kostki Assouada
inf T̂ supθ∈Θ Eθ dp T̂ (X) − T (θ) ≥
A(T, Ω)
≥
inf max Eω D(ω̂, ω)
p
ω̂ ω∈Ω
2
Kostki Assouada i tempa zbieżności estymatorów – p. 8/12
Kostki Assouada
inf T̂ supθ∈Θ Eθ dp T̂ (X) − T (θ) ≥
Ω ↔ {0, 1}m
A(T, Ω)
≥
inf max Eω D(ω̂, ω)
p
ω̂ ω∈Ω
2
(m-elementowe słowa binarne)
D(ω, ω 0 ) - metryka Hamminga (liczba różnych liter)
Kostki Assouada i tempa zbieżności estymatorów – p. 8/12
Kostki Assouada
inf T̂ supθ∈Θ Eθ dp T̂ (X) − T (θ) ≥
Ω ↔ {0, 1}m
A(T, Ω)
≥
inf max Eω D(ω̂, ω)
p
ω̂ ω∈Ω
2
(m-elementowe słowa binarne)
D(ω, ω 0 ) - metryka Hamminga (liczba różnych liter)
m
2
0)
inf max Eω D(ω̂, ω) ≥
ρ
(P
,
P
min
ω
ω
ω̂ ω∈Ω
4 D(ω,ω0 )=1
R q dPω dPω0
ρ(Pω , Pω0 ) =
dµ dµ dµ - "Hellinger affinity"
ρ(P n , Qn ) = ρn (P, Q)
Kostki Assouada i tempa zbieżności estymatorów – p. 8/12
Kostki Assouada (II)
Ostatecznie:
inf T̂ supθ∈Θ Eθ dp T̂ (X) − T (θ) ≥
A(T, Ω) m
2
0)
· · min
ρ
(P
,
P
≥
ω
ω
p
2
4 D(ω,ω0 )=1
Trzeba znaleźć możliwie dużo "dobrze oddzielonych"ω
daja̧cych "bliskie"Pω
(Assouad, 1983; Korostelev, Tsybakov, 1993; van der Vaart, 1998)
Kostki Assouada i tempa zbieżności estymatorów – p. 9/12
Poissonowski problem odwrotny
Nng - p. Poissona na S o f. intens. Rng(·) wzgl. µ
tzn. np. Nng (A) ∼ P(n A gdµ)
g = Kf
K : H → L2 (S, µ) - operator zwarty
H- p. Hilberta
Chcemy estymować f w k · kpH
z
p>0in→∞
Kostki Assouada i tempa zbieżności estymatorów – p. 10/12
Poissonowski problem odwrotny
Nng - p. Poissona na S o f. intens. Rng(·) wzgl. µ
tzn. np. Nng (A) ∼ P(n A gdµ)
g = Kf
K : H → L2 (S, µ) - operator zwarty
H- p. Hilberta
Chcemy estymować f w k · kpH
SVD:
Kφi = si ψi
z
si i−b
p>0in→∞
i = 1, 2, . . .
Kostki Assouada i tempa zbieżności estymatorów – p. 10/12
Poissonowski problem odwrotny
Nng - p. Poissona na S o f. intens. Rng(·) wzgl. µ
tzn. np. Nng (A) ∼ P(n A gdµ)
g = Kf
K : H → L2 (S, µ) - operator zwarty
H- p. Hilberta
Chcemy estymować f w k · kpH
SVD:
Kφi = si ψi
p>0in→∞
z
si i−b
Elipsoidy Sobolewa:
P
f ∈ Fa,C =
i fi φi :
P
2a 2
i
fi
i
i = 1, 2, . . .
≤C
2
Kostki Assouada i tempa zbieżności estymatorów – p. 10/12
Szacowanie ryzyka
ω = (ω1 , . . . , ωm ) ∈ {0, 1}m
P2m−1
fω = δm i=m ωi−m+1 φi
Kostki Assouada i tempa zbieżności estymatorów – p. 11/12
Szacowanie ryzyka
ω = (ω1 , . . . , ωm ) ∈ {0, 1}m
P2m−1
fω = δm i=m ωi−m+1 φi
fω ∈ Fa,C
2
gdy δm
m−(2a+1)
Kostki Assouada i tempa zbieżności estymatorów – p. 11/12
Szacowanie ryzyka
ω = (ω1 , . . . , ωm ) ∈ {0, 1}m
P2m−1
fω = δm i=m ωi−m+1 φi
2
fω ∈ Fa,C
gdy δm
m−(2a+1)
czynnik analityczny
min
ω6=ω 0
p
kH
kfω − f
D(ω, ω 0 )
ω0
p
0 p/2−1
= δm min0 D(ω, ω )
≥
ω6=ω
p p/2−1
dla p < 2
δm m
≥
p
δm
dla p ≥ 2
Kostki Assouada i tempa zbieżności estymatorów – p. 11/12
Szacowanie ryzyka (II)
p
p
ˆ
sup Ef kfn − f kH ≥ Cδm
mp/2
f ∈Fa,C
min
0
D(ω,ω )=1
ρ2n
(p ≤ 2)
Kostki Assouada i tempa zbieżności estymatorów – p. 12/12
Szacowanie ryzyka (II)
p
p
ˆ
sup Ef kfn − f kH ≥ Cδm
mp/2
f ∈Fa,C
min
0
D(ω,ω )=1
ρ2n
(p ≤ 2)
ρ(L(Ngω ), L(Ngω0 )) = exp[−H 2 (ω, ω 0 )]
R
√
√
1
2
0
H (ω, ω ) = 2 ( gω − gω0 )2 dµ
P2m−1
gω = Kfω = δm i=m si ωi−m+1 ψi
Kostki Assouada i tempa zbieżności estymatorów – p. 12/12
Szacowanie ryzyka (II)
p
p
ˆ
sup Ef kfn − f kH ≥ Cδm
mp/2
f ∈Fa,C
min
0
D(ω,ω )=1
ρ2n
(p ≤ 2)
ρ(L(Ngω ), L(Ngω0 )) = exp[−H 2 (ω, ω 0 )]
R
√
√
1
2
0
H (ω, ω ) = 2 ( gω − gω0 )2 dµ
P2m−1
gω = Kfω = δm i=m si ωi−m+1 ψi
z D(ω, ω 0 ) = 1:
2
H 2 (ω, ω 0 ) = δm
m−2b
Z
ψk2
dµ
√
√
2
( gω + gω 0 )
Kostki Assouada i tempa zbieżności estymatorów – p. 12/12
Szacowanie ryzyka (II)
p
p
ˆ
sup Ef kfn − f kH ≥ Cδm
mp/2
f ∈Fa,C
min
0
D(ω,ω )=1
ρ2n
(p ≤ 2)
ρ(L(Ngω ), L(Ngω0 )) = exp[−H 2 (ω, ω 0 )]
R
√
√
1
2
0
H (ω, ω ) = 2 ( gω − gω0 )2 dµ
P2m−1
gω = Kfω = δm i=m si ωi−m+1 ψi
z D(ω, ω 0 ) = 1:
2
H 2 (ω, ω 0 ) = δm
m−2b
Z
ψk2
dµ
√
√
2
( gω + gω 0 )
gdy 0 < gω < ∞ to ρ2n 1 z m n1/(2a+2b+1) i
p
ˆ
inf ˆ supf ∈F Ef kfn − f k ≥ Cn−pa/(2a+2b+1)
fn
a,C
H
Kostki Assouada i tempa zbieżności estymatorów – p. 12/12