Jak optymalne są adaptacyjne testy wynikowe dla testowania

Transkrypt

Adaptacyjne testy wynikowe
Rezultaty teoretyczne
Symulacje
Bibliografia
Jak optymalne są adaptacyjne testy wynikowe dla
testowania jednostajności?
Tadeusz Inglot
Alicja Janic
Instytut Matematyczny, Polska Akademia Nauk oraz Instytut Matematyki i
Informatyki, Politechnika Wrocławska
Instytut Matematyki i Informatyki, Politechnika Wrocławska
2 grudnia 2007
Tadeusz Inglot, Alicja Janic
Symulacje
Bibliografia
Problem testowania
Gładki test Neymana
Reguły wyboru
Jak wyznaczamy bariery cj,n ?
Adaptacyjne statystyki testowe
Problem testowania
Niech X = (X1 , ..., Xn ) będzie próbą z ciagłego rozkładu P na
odcinku [0, 1] z gęstością p. Testujemy
H0 : p = p0 , gdzie p0 (x) = 1 dla x ∈ [0, 1]
Klasa gładkich alternatyw
k
X
pk (x, θ) = p0 (x)ck (θ) exp{
θj bj (x)},
(1)
j=1
gdzie θ ∈ Rk , ck (θ)- stała normująca, b1 , b2 , ... układ ortonormalny
w L2 [0, 1].
Symulacje
Bibliografia
Problem testowania
Reguły wyboru
,Score’ statystyka Rao dla testowania θ = 0 w rodzinie (1):
Nk =
k
X
n
nb̂2j , gdzie b̂j =
1X
bj (Xi ), j = 1, ..., k.
n
(2)
i=1
j=1
b̂j - empiryczne współczynniki Fouriera.
Test oparty na Nk nazywamy gładkim testem Neymana.
Symulacje
Bibliografia
Problem testowania
Reguły wyboru
Reguła Schwarza (BIC)
S = min{1 ≤ k ≤ d(n) : Nk − k log n ≥ Nj − j log n,
j = 1, ..., d(n)}.
(3)
Reguła Akaike (AIC)
A = min{1 ≤ k ≤ d(n) : Nk − 2k ≥ Nj − 2j,
j = 1, ..., d(n)}.
(4)
Testy oparte na NS i NA nazywamy adaptacyjnymi testami
Neymana. NS - T. Ledwina (1994) J. Amer. Statist. Assoc.
Symulacje
Bibliografia
Problem testowania
Reguły wyboru
Nowa reguła L, S ≤ L ≤ A
Wybieramy D = Dn i określamy zdarzenie W
W =
D
[
{Yj = j}, 1 ≤ D d(n),
j=1
gdzie Yj oznacza liczbę nb̂2r , r = 1, ..., d(n) przekraczających
barierę c2j,n , j = 1, ..., D.
Kara w regule
π(j, n) = j log n · 1W c + 2j · 1W .
(5)
Reguła
L = min{1 ≤ k ≤ d(n) : Nk − π(k, n) ≥ Nj − π(j, n),
j = 1, ..., d(n)}.
Symulacje
Bibliografia
Problem testowania
Reguły wyboru
Jak wyznaczamy cj,n , j = 1, ..., D?
Bariery cj,n wybieramy tak, aby
P0 (W ) = δ i P0 (Yj = j) ' δD−1 .
Przy H0
√
√
( nb̂1 , ..., nb̂d(n) ) ≈ (Z1 , ...Zd(n) ).
Zatem Yj ≈ B(d(n), pj,n ), gdzie
pj,n = P(|Z1 | ≥ cj,n ) = 2[1 − Φ(cj,n )].
Stąd
P0 (Yj = j) '
d(n)
j
[2(1 − Φ(cj,n ))]j .
Symulacje
Bibliografia
Problem testowania
Reguły wyboru
Jak wyznaczamy cj,n , j = 1, ..., D?
Wyznaczamy cj,n z równania
1
1 − Φ(cj,n ) =
2
δD
−1
d(n)
j
−1 !1/j
, j = 1, ..., D. (7)
Reguła wyboru T (Inglot i Ledwina (2006))
Reguła T jest szczególnym przypadkiem reguły L:
D = 1,
d(n) = 12,
δ ∼ 0.0106 dla n = 100.
Symulacje
Bibliografia
Problem testowania
Reguły wyboru
Klasa statystyk NL
Statystyka NL = NL (D, δ) zależy od wyboru D i δ np.
NL (1, 0.01) = NT (Inglot i Ledwina (2006))
NL (D, 0) = NS (Ledwina (1994))
NL (D, 1) = NA (w praktyce NA ' NL (D, 0.5))
Zatem
NS ≤ NL ≤ NA .
Symulacje
Bibliografia
Rozkład reguły L i statystyki NL
Twierdzenie 1
Przy pewnych założeniach o Dn i δn
P0 (Wn ) → 0 dla n → ∞
i w konsekwencji
P0 (L = S) → 1 gdy n → ∞.
Symulacje
Bibliografia
Rozkład reguły L i statystyki NL
Kallenberg i Ledwina (1995), Inglot i Ledwina (1996)
Twierdzenie 2
Przy założeniach o Dn i δn jak w Twierdzeniu 1 oraz przy pewnych
założeniach o szybkości zbieżności d(n)
P0 (S > 1) → 0 i w konsekwencji P0 (L > 1) → 0
oraz
D
NL → χ21 przy H0 .
Symulacje
Bibliografia
Wartości krytyczne
Alternatywy i Testy
Symulacje mocy
Tabela 1
Wartości krytyczne NL (D, δ). Układ wielomianów Legendre’a.
n = 100, d(n) = 12, α = 0.05, 30 000 MC.
NL (D, δ)
D
1
2
3
6
δ=0
5.586
5.586
5.586
5.586
δ = .01
5.993
5.993
5.972
5.957
δ = .03
6.836
6.850
6.747
6.511
δ = .05
7.908
7.731
7.650
7.187
δ = .09
10.667
10.634
10.311
9.026
δ = .5
14.962
14.985
14.911
14.725
Symulacje
Bibliografia
Wartości krytyczne
Alternatywy i Testy
Symulacje mocy
Rozważamy alternatywy p12 (x, ±0.25ej ), gdzie e1 , ..., e12 jest
standardową bazą w przestrzeni Euklidesowej R12 a pk (x, θ)
oznacza gęstość (1).
Przy porównaniu symulowanych mocy rozważamy testy:
jednostronny test Neymana-Pearsona - N P ,
dwustronny optymalny test Bayesowski - T ∗ ,
test maksimum - M = max1≤j≤12 {nb̂2j },
P
2
gładki test Neymana - N12 = 12
j=1 nb̂j .
Symulacje
Bibliografia
Wartości krytyczne
Alternatywy i Testy
Symulacje mocy
Tabela 2
Porównanie mocy i mocy średniej 1 − β (w %) dla
NL (D, δ), T ∗ , N P , M i N12 . Układ wielomianów Legendre’a.
n = 100, α = 0.05, d(n) = 12, 10 000 MC,
alternatywy p12 (x, θj ), jednostajny rozkład a priori.
Symulacje
Bibliografia
Wartości krytyczne
Alternatywy i Testy
Symulacje mocy
Tabela 2
θj
NP
T
?
M
NS
(δ = 0)
.25e1
.25e2
.25e3
.25e4
.25e5
.25e6
.25e7
.25e8
.25e9
.25e10
.25e11
.25e12
80
81
80
80
82
82
80
83
81
83
79
82
38
48
39
46
40
45
40
45
40
45
39
46
36
46
37
44
38
44
38
43
37
43
37
42
57
68
38
30
14
13
07
08
06
07
06
06
(NT )
.01
53
66
38
34
26
31
26
30
24
27
21
24
NL (1, δ)
.05
37
53
42
47
40
45
36
40
30
34
25
28
(NA )
0.5
18
32
25
37
32
43
37
45
35
38
27
29
NL (6, δ)
N12
.05
44
59
41
39
29
37
29
35
27
32
25
28
28
42
30
39
30
39
30
38
30
37
30
37
Symulacje
Bibliografia
Wartości krytyczne
Alternatywy i Testy
Symulacje mocy
Tabela 2 cd.
θj
-.25e1
-.25e2
-.25e3
-.25e4
-.25e5
-.25e6
-.25e7
-.25e8
-.25e9
-.25e10
-.25e11
-.25e12
1−β
NP
80
79
79
79
80
79
81
78
80
79
81
79
80.3
T
?
39
28
39
30
39
32
39
33
40
34
40
35
39.1
M
36
27
37
29
37
31
38
32
38
33
38
33
37.2
NS
(NT )
NL (1, δ)
(NA )
NL (6, δ)
N12
(δ = 0)
.01
53
51
38
20
26
20
26
20
24
18
22
15
30.5
.05
38
32
41
31
40
32
37
27
31
22
26
17
34.6
0.5
18
10
24
19
31
26
37
29
36
23
27
17
29.0
.05
44
40
40
21
30
22
29
22
28
20
25
17
31.8
28
14
29
19
31
21
29
22
30
23
31
25
29.7
57
54
38
15
14
07
07
06
06
05
06
06
20.0
Symulacje
Bibliografia
Wartości krytyczne
Alternatywy i Testy
Symulacje mocy
Tabela 3
Porównanie mocy i mocy średniej (w %) dla NL (D, δ) i N12 .
Układ wielomianów Legendre’a. n = 100, α = 0.05, d(n) = 12,
10 000 MC,
alternatywy p6 (x, θj ), jednostajny rozkład a priori.
Symulacje
Bibliografia
Wartości krytyczne
Alternatywy i Testy
Symulacje mocy
Table 3
θ
.165
.11
.11
0
0
0
.165
.165
.165
.11
.165
.11
0
0
0
0
0
0
.11
.11
.165
0
0
0
.11
0
0
0
0
0
.165
.11
.11
.11
.11
0
0
0
0
.11
.165
.11
0
.11
.11
0
0
0
.11
.11
.165
0
0
.11
NS
NT
52
55
47
23
20
20
39
34
32
50
54
46
27
25
26
37
33
33
NL (D, 0.05)
D=1 D=3
42
46
42
37
35
36
32
30
29
45
49
45
39
37
38
36
33
33
Symulacje
Bibliografia
Wartości krytyczne
Alternatywy i Testy
Symulacje mocy
Tabela 3 cd.
θ
0
0
0
0
0
0
.11
.11
.11
.165
.165
.165
0
0
0
.11
.11
.11
.11
.11
0
0
.11
.11
0
0
.11
.165 .11
.11
.165
0
.11
.165 .11
0
0
.165
0
0
0
.165
0
0
0
average power
0
0
.11
0
.11
.11
0
0
.165
NS
NT
52
47
41
30
27
31
42
33
32
36.5
52
46
42
31
29
33
41
34
36
37.5
NL (D, 0.05)
D=1 D=3
46
41
38
36
35
38
40
33
36
37.3
49
45
42
38
38
41
43
35
38
40.2
Symulacje
Bibliografia
Akaike, H. (1974). A new look at statistical model identification.
IEEE Trans. Automat. Control 19:716-723.
Inglot, T., Ledwina, T. (1996). Asymptotic optimality of data-driven
Neyman’s tests for uniformity. Ann. Statist. 24:1982-2019.
Inglot T., Ledwina, T. (2006). Towards data driven selection of a
penalty function for data driven Neyman tests. Linear Algebra Appl.
417: 124-133.
Kallenberg, W.C.M., Ledwina, T. (1995). Consistency and Monte
Carlo simulation of a data driven version of smooth goodness of fit
tests. Ann. Statist. 23:1594-1608.
Ledwina, T. (1994). Data driven version of Neyman’s smooth test of
fit. J. Amer. Statist. Assoc. 89:1000-1005.
Schwarz, G. (1978). Estimating the dimension of a model. Ann.
Statist. 6:461-464.

Jak optymalne są adaptacyjne testy wynikowe dla testowania

Transkrypt

Podobne dokumenty

Wielki egzamin – kompleksowe przygotowanie do egzaminu

spis treśœci - e

Opis modułów- najważniejsze założenia: Testy jednostkowe

testy alergiczne

06-300 Przasnysz, ul. B. Joselewicza 6 Grafika : drukuj / nie drukuj

24zdrowie - BioMaxima

Porównanie metod i technik testowania oprogramowania