Problemy jednoczesnego testowania wielu hipotez statystycznych i

Problemy jednoczesnego testowania
wielu hipotez statystycznych i ich
zastosowania w analizie
mikromacierzy DNA
Konrad Furmańczyk
Katedra Zastosowań Matematyki
SGGW
Plan referatu
• Testowanie w analizie mikromacierzy DNA
• Uogólnienia błędów I rodzaju: FWER, k-FWER,
FDP, FDR
• Klasyczne procedury testowania wielu
hipotez: cut-off, step-down, step-up
• Pewne wyniki dla zależnych testowań
• Symulacje
Wyniki eksperymentu
mikromacierzowego
Mikromacierz 1
Gen 1
Gen 2
…
Gen m
Mikromacierz 2 …
Mikromacierz n
Testowanie w analizie mikromacierzy
DNA
• Typowe zadanie: porównujemy poziomy
ekspresji genów z eksperymentu
mikromacierzowego wykonanego w dwóch
badanych grupach.
• Istotne problemy wnioskowania:
• mała liczebność grup (np. n1= n2= 8)
• duża liczba genów (porównań) np. m=3000
• Po wstępnej analizie danych i ich normalizacji
stosujemy do porównań np. test t-Studenta w
przypadku niezależnych prób z dwóch
populacji
Model statystyczny
X i poziom ekspresji i - tego genu w I grupie
Yi poziom ekspresji i - tego genu w II grupie
Niech
X i ~ N ( mi , k , σ 1 ) oraz
Yi ~ N ( mi ,c , σ 2 )
Testujemy m hipotez
H 0 ,i : mi , k − mi ,c = 0
wobec
H 1,i : mi , k − mi ,c ≠ 0
Test t-Studenta
• Statystyka testowa ma postać:
ti =
X i − Yi
2
S X ,i
S Y ,i
+
n1
n2
2
Inne używane testy
• Możemy również używać testów
nieparametrycznych dotyczących testowania
różnicy rozkładów zmiennych losowych
X i oraz Yi
np. test Wilcoxona lub U-Manna-Witneya (w
przypadku wykrycia niejednorodności
wariancji).
Istotne problemy testowania:
• Jeśli każdy test wykonamy przy ustalonym
poziomie istotności α = 0.05
to przeciętnie otrzymamy
m ⋅ α ≈ 3000 * 0.05 = 150
genów o istotnie różnych poz. ekspresji, nawet
jeśli rzeczywiście żaden gen istotnie nie
różnicuje badane grupy.
Uogólnienia błędu I rodzaju
• Dlatego rozpatrujemy takie procedury
testowania dla których umiemy kontrolować
miary błędu MB takie jak:
FWER, k-FWER, FDR, tzn.
MB ≤ α
Słaba i mocna kontrola
• Słaba kontrola MB: gdy wszystkie rozważane
hipotezy zerowe są prawdziwe.
• Mocna kontrola MB: gdy rozważamy dowolną
konfigurację prawdziwych hipotez zerowych
wśród m testowanych hipotez zerowych,
dokładniej rozważmy H 0,i : θ ∈ Θ i dla i = 1,..., m
MBθ ≤ α dla każdego θ ∈
 Θ i , gdzie
i∈ M 0
M 0 = {i : H 0,i jest prawdziwa}
FWER
• FWER (Family Wise Error Rate) to
prawdopodobieństwo, że popełnimy
przynajmniej jeden błąd I rodzaju testując m
hipotez
Niech V = # false discoveries
Wtedy
FWER = Pθ (V ≥ 1)
Procedura Bonferroniego
• Każdą hipotezę testujemy na poziomie
istotności α / m
aby otrzymać FWER ≤ α
• Niestety taka procedura jest bardzo
restrykcyjna (będzie miała bardzo małą
zdolność do wykrycia genów istotnie
różnicujących) , bowiem każdą hipotezę (tzw.
proc. cut -off) testujemy na na poziomie
0.05/3000 = 1.67*10-5
Procedury step-down
• Niech α ≤ ... ≤ α
1
m
• Rozważmy uporządkowany ciąg poziomów
krytycznych (p-wartości):
p(1) ≤ p( 2) ... ≤ p( m )
• Jeśli p(1) > α 1 ,
to nie odrzucamy żadnej hipotezy zerowej H0,i
• w przeciwnym przyp., gdy (*) p(1) ≤ α 1 ,..., p( r ) ≤ α
to odrzucamy hipotezy H0,(1),…, H0,(r)
gdzie r największa liczba spełniająca (*)
r
Procedura Holma
• To procedura step-down z α i = α /(m − i + 1)
• Przy testowaniu wielu hipotez procedura
Holma zapewnia kontrolę FWER na poziomie α
• Dodatkowo procedura Holma ma większą moc
od procedury Bonferroniego.
k-FWER
• Lehmann i Romano (2005) zaproponowali
uogólnioną procedurę Holma, tzn. procedurę
step-down z
kα / m,
i≤ k

αi= 
 kα /(m + k − i ), i > k .
która kontroluję (mocno) k-FWER, tzn.
k - FWER := Pθ (V ≥ k ) ≤ α .
• Zwykle procedury kontrolujące k-FWER mają
większą moc niż procedury kontrolujące
FWER.
False Discovery Rate (FDR)
• Benjamini i Hochberg (1995) wprowadzili
oraz
V / R ,
FDP = 
 0,
R> 0
R= 0
FDR = Eθ (FDP )
gdzie R = liczba odrzuconych hipotez zerowych
Procedura BH kontroli FDR
{
}
• Niech k = max i : p( i ) ≤ α ⋅ i / m
• Jeśli istnieje takie k, to odrzucić hipotezy
H0,(1),…, H0,(k) . W przeciwnym przypadku nic nie
odrzucamy.
• Procedura BH jest przykładem tzw. procedur
step-up z α i = α ⋅ i / m
Procedury step-up
• Jeśli p( m ) ≤ α m ,
to nie przyjmujemy żadnej hipotezy zerowej H0,i
• w przeciwnym przyp., gdy
(**)
p( m ) > α m ,..., p( r + 1) > α
r+ 1
to przyjmujemy hipotezy H0,(r+1),…, H0,(m)
gdzie r najmniejsza liczba spełniająca (**)
Twierdzenie (Benjamini i Hochberg
(1995))
• Dla niezależnych statystyk testowych
procedura BH zapewnia kontrolę FDR, tzn.
FDR ≤ α ⋅ m0 / m ≤ α
gdzie m0 oznacza liczbę prawdziwych hipotez
zerowych wśród m testowanych.
Kontrola FDR dla zależnych testów
• Benjamini i Yekutieli (2001) pokazali, że dla
dodatnio zależnych (regresyjnie dod. zal.)
statystyk testowych odpowiadającym
prawdziwym hipotezom zerowym procedura
BH zapewnia
FDR ≤ α ⋅ m0 / m ≤ α
Przykłady dod. zależności
• Wektor T m statystyk testowych ma rozkład
N (µ , Σ )
• rozważamy H0,i: µ i = 0 wobec H1,i : µ i > 0
dla i ∈ M 0 j ≠ i Σ i , j ≥ 0, gdzie
M 0 = {i : H 0,i prawdziwe}
Przykłady dodatniej zależności c.d.
• wektor m wym. Y ma rozkład N ( µ , Σ )
• testujemy H 0,i : µ i = 0 wobec H1,i : µ i ≠ 0
• wielowymiarowy t-Studenta
T = Y /S
• Pewne wyniki dla kontroli dla zależnych
testów uzyskali Dudziński i Furmańczyk
(2007) np. Pθ ( R ≥ 1) > 0
Pθ (qi ≤ u T = t ) ≤ u dla u ∈ (0,1), i = 1,..., m0 ,
t = 0,1,..., m − m0 , T = V − R
lub
V i V − R są ujem. zal.
to procedura Holma kontroluje (mocno) FDR.
Kontrola FDR bez zał. o zależności
• Benjamini i Yekutieli (2001) pokazali, że jeśli
wstawimy w procedurze BH zamiast α
 m 1
*
wartość α = α / ∑  ,

i= 1
i
to również otrzymamy kontrolę FDR na poziomie
α , ale o znacznie niższej mocy.
Ulepszenia procedury BH i kontroli
FDR
• Estymacja wartości m0 znacznie by poprawiła
kontrolę FDR wstawiając zamiast α
wartość
α
*
m
=α
m0
Dwustopniowa procedura BH
• Benjamini i inni (2001) zaproponowali
dwustopniową procedurę BH, która kontroluje
FDR dla niezależnych statystyk testowych:
• w pierwszym kroku stosujemy zwykłą
procedurę BH w wyniku czego odrzucamy r1
hipotez zerowych,
• w drugim kroku stosujemy zwykła procedurę
m
BH z
*
α =α
.
(m − r1 )(1 + α )
q-value (Storey (2003))
• Niech
pFDR = Eθ (V / R R > 0)
• Rozważmy rodzinę zbiorów odrzuceń dla
hipotez zerowych taką, że
{Γ α } α < β ⇒ Γ α ⊂ Γ β
• Załóżmy, że
π 0 = P ( H 0,i = 0), π 1 = P( H 0,i = 1) = 1 − π
0
• Niech ciągiem (Ti ,H0,i) będzie i.i.d.
• Rozkład statystyki testowej Ti pod warunkiem
H0,i ma postać: Ti H 0,i = (1 − H 0,i ) F0 + H 0,i F1 ,
gdzie F0 jest rozkładem stat. test. pod
warunkiem prawdziwości H0,i
• F1 jest rozkładem stat. test. pod warunkiem
prawdziwości hipotezy alternatywnej
Wtedy
pFDR = P ( H 0,i = 0 Ti ∈ Γ α ) =
π 0 P (Ti ∈ Γ α H 0,i = 0)
P (Ti ∈ Γ α )
p - value(t ) = inf{Γ α :t∈ Γ α } P(T ∈ Γ α H o ,i = 0)
q - value(t ) = inf{Γ α :t∈ Γ α } pFDP(Γ α )
= inf{Γ α :t∈ Γ α } P ( H o ,i = 0 T ∈ Γ α )
• q-value służy do oceny istotności genów
• W naszym przypadku
q - value(t ) = Pθ ( H 0,i = 0 Ti ≥ t )
• Reguła wyboru istotnych genów: wybierz te
geny (jako istotne) dla których q-value <0.05
Pakiety w R do jednoczesnego
testowania:
•
•
•
•
•
multtest
nFDR
qvalue
FDR-AME
multcomp
Symulacje m=100, m0=90
0.0
0.2
0.4
0.6
0.8
1.0
p
6
5
4
3
Frequency
2
1
0
0.2
0.4
12
0.0
0.2
0.4
0.6
p[null]
Histogram of p[alt]
0.0
0 2 4 6 8
Frequency
12
Histogram of p[null]
0 2 4 6 8
Frequency
Histogram of p
0.6
p[alt]
0.8
1.0
0.8
1.0
m=1000, m0=900
Stat. rozk. norm, n1=n2=30,
m=3000, m0=1200
Stat. rozk. t-Stud, n1=n2=30,
m=3000, m0=1200
Dane z mikromacierzy Golub
(1999)
• Badano 3051 genów w dwóch grupach
pacjentów chorych na 2 typy białaczki, n1=27,
n2=11.
Literatura
•
•
•
•
•
•
Benjamini Y., Hochberg Y. 1995. Controling the false discovery rate: a
practical and powerful approach to multiple testing. J. Roy. Statist. Soc.
Ser.B 57: 289-300
Benjamini Y., Yekutieli D. 2001. The control of the false discovery rate in
multiple testing under dependency. Ann. Statist.:29, 1165-1188
Dudoit S, Shaffer J.P., Boldrick J.C. 2003 Multiple hypothesis testing in
microarray experiments. Statist. Scien. 18 (1): 71-103
Dudziński M, Furmańczyk K. 2007. Procedury jednoczesnego testowania
wielu hipotez i ich zastosowania w analizie mikromacierzy DNA,
Matematyka Stosowana
Lehman E.L., Romano J.P. 2005. Generalizations of the familywise error
rate. Ann. Statist. 33: 1138-1154
Storey J. 2003. The positive false discovery rate: A Bayesian interpretation
and the q-value. Ann. Statist. 31: 2013-2035