Bootstrap dla danych okresowych
Transkrypt
Bootstrap dla danych okresowych
Plan Bootstrap dla danych okresowych Rafał Synowiecki Wydział Matematyki Stosowanej Akademia Górniczo-Hutnicza, Kraków 4 grudnia 2007 Rafał Synowiecki Bootstrap dla danych okresowych Plan Plan 1 Bootstrap bloków ruchomych (MBB) 2 Bootstrap bloków sezonowych (SBB) 3 Bootstrap bloków okresowych (PBB) Rafał Synowiecki Bootstrap dla danych okresowych Bootstrap bloków ruchomych (MBB) Bootstrap bloków sezonowych (SBB) Bootstrap bloków okresowych (PBB) Okresowość w danych statystycznych 3 2 1 0 -1 -2 -3 0 50 100 150 200 temperatura powietrza ceny energii elektrycznej sygnały telekomunikacyjne Rafał Synowiecki Bootstrap dla danych okresowych Bootstrap bloków ruchomych (MBB) Bootstrap bloków sezonowych (SBB) Bootstrap bloków okresowych (PBB) Okresowość w danych statystycznych Definition Szereg czasowy {Xt : t ∈ Z} nazywamy ściśle okresowym (SP) rz˛edu r jeśli dla każdych t1 , . . . , tr ∈ Z d (Xt1 , . . . , Xtr ) = (Xt1 +T , . . . , Xtr +T ). Definition Szereg czasowy {Xt : t ∈ Z} nazywamy okresowo skorelowanym (PC) jeśli µ(t) = EXt B(t, τ ) = Cov (Xt , Xt+τ ) µ(t) i B(t, τ ) sa˛ funkcjami okresowymi zmiennej t. Rafał Synowiecki Bootstrap dla danych okresowych Bootstrap bloków ruchomych (MBB) Bootstrap bloków sezonowych (SBB) Bootstrap bloków okresowych (PBB) Problem estymacji Parametr: µ= 1 (µ(1) + . . . + µ(T )) T Estymator: Xn = Rafał Synowiecki n 1X Xt n t=1 Bootstrap dla danych okresowych Bootstrap bloków ruchomych (MBB) Bootstrap bloków sezonowych (SBB) Bootstrap bloków okresowych (PBB) Problem estymacji Szeregi Fouriera funkcji momentów: µ(t) = X b(γ)e−iγt γ∈Γ B(t, τ ) = X a(λ, τ )eiλt . λ∈Λτ Estymatory współczynników Fouriera: b̂n (γ) = ân (λ, τ ) = X 1 n−τ X (t)e−iγt n t=1 X 1 n−τ X (t)X (t + τ )e−iλt . n t=1 Rafał Synowiecki Bootstrap dla danych okresowych Bootstrap bloków ruchomych (MBB) Bootstrap bloków sezonowych (SBB) Bootstrap bloków okresowych (PBB) Idea MBB Bootstrap bloków ruchomych = Moving block bootstrap (MBB) Künsch (1989). The jackknife and the bootstrap for general stationary observations, Annals of Statistics Synowiecki (2007). Consistency and application of moving block bootstrap for non-stationary time series with periodic and almost periodic structure, Bernoulli Rafał Synowiecki Bootstrap dla danych okresowych Bootstrap bloków ruchomych (MBB) Bootstrap bloków sezonowych (SBB) Bootstrap bloków okresowych (PBB) Idea MBB 600 500 400 300 B1,b = (X1 , . . . , Xb ) 200 100 0 0 100 200 300 400 0 100 200 300 400 600 500 400 300 B2,b = (X2 , . . . , Xb+1 ) 200 100 0 Bi,b = (Xi , . . . , Xi+b−1 ) 600 500 400 300 Bn−b+1,b = (Xn−b+1 , . . . , Xn ) 200 100 0 0 100 200 300 400 Rafał Synowiecki Bootstrap dla danych okresowych Bootstrap bloków ruchomych (MBB) Bootstrap bloków sezonowych (SBB) Bootstrap bloków okresowych (PBB) Idea MBB ∗ , B ∗ , . . . , B ∗ - i.i.d. z U({B , . . . , B B1,b 1,b n−b+1,b }) 2,b k ,b Łaczymy ˛ wylosowane bloki 7→ (X1∗ , . . . , Xn∗ ). θ̂n = T (Fn ) - estymator, który jest funkcjonałem rozkładu empirycznego próbki (X1 , . . . , Xn ). θ̂n∗ = T (Fn∗ ) - wersja MBB estymatora, Fn∗ rozkład empiryczny próbki MBB (X1∗ , . . . , Xn∗ ). Rozkład θ̂n∗ przybliżamy za pomoca˛ Monte Carlo. Rafał Synowiecki Bootstrap dla danych okresowych Bootstrap bloków ruchomych (MBB) Bootstrap bloków sezonowych (SBB) Bootstrap bloków okresowych (PBB) Zgodność MBB dla SP szeregów czasowych Twierdzenie (Synowiecki, 2007) Niech {Xt : t ∈ Z} bedzie ˛ SP, α-mieszajacy, ˛ niech (X1∗ , . . . , Xn∗ ) bedzie ˛ próbka˛ MBB, b → ∞ ale b/n → 0. Załóżmy, że (i) autokowariancja jest sumowalna czyli P∞ τ =0 |Cov (Xt , Xt+τ )| < ∞; √ d (ii) zachodzi CLT, czyli n X n − µ −−−→ N (0, σ 2 ). Wtedy procedura MBB jest zgodna, tzn. ∗ √ sup P x∈R P P Var ∗ (X n ) −−−→ σ 2 n X n − µ ¬ x − P∗ −−−→ 0. Rafał Synowiecki √ ∗ ∗ n X n − E ∗X n ¬ x Bootstrap dla danych okresowych Bootstrap bloków ruchomych (MBB) Bootstrap bloków sezonowych (SBB) Bootstrap bloków okresowych (PBB) Zgodność MBB dla PC szeregów czasowych Twierdzenie (Synowiecki, 2007) Niech {Xt : t ∈ Z} bedzie ˛ PC, α-mieszajacy, ˛ niech (X1∗ , . . . , Xn∗ ) bedzie ˛ próbka˛ MBB, b → ∞ ale b/n → 0. Załóżmy, że (i) autokowariancja jest jednostajnie sumowalna; (ii) 4 X 1 s+b−1 sup E √ (Xt − EXt ) < K ; b t=s s=1,...,n−b+1 (iii) zachodzi CLT, czyli √ d n X n − µ −−−→ N (0, σ 2 ). Wtedy procedura MBB jest zgodna. Rafał Synowiecki Bootstrap dla danych okresowych Bootstrap bloków ruchomych (MBB) Bootstrap bloków sezonowych (SBB) Bootstrap bloków okresowych (PBB) Zgodność MBB dla PC szeregów czasowych Wniosek (Synowiecki, 2007) Wystarczajace ˛ warunki ’moment-mieszanie’ dla zgodności MBB: (i) dla ściśle okresowych szeregów czasowych: sup E|Xt |2+δ < ∞ i t ∞ X τ =1 δ αX2+δ (τ ) < ∞, (ii) dla okresowo skorelowanych szeregów czasowych: sup E|Xt |4+δ < ∞ i t Rafał Synowiecki ∞ X τ =1 δ τ αX4+δ (τ ) < ∞. Bootstrap dla danych okresowych Bootstrap bloków ruchomych (MBB) Bootstrap bloków sezonowych (SBB) Bootstrap bloków okresowych (PBB) Przykład symulacyjny Niech Xt = at Xt−1 + ǫt , gdzie at = 2 1 2πt + sin 3 3 3 , ǫ1 , ǫ2 , . . . - i.i.d. z N (0, 1). Rafał Synowiecki Bootstrap dla danych okresowych Bootstrap bloków ruchomych (MBB) Bootstrap bloków sezonowych (SBB) Bootstrap bloków okresowych (PBB) Przykład symulacyjny 4 2 50 100 150 200 250 -2 Rysunek: Symulowane dane, n=300. Rafał Synowiecki Bootstrap dla danych okresowych 300 Bootstrap bloków ruchomych (MBB) Bootstrap bloków sezonowych (SBB) Bootstrap bloków okresowych (PBB) Przykład symulacyjny 20 20 15 15 10 10 5 5 0.5 1 1.5 2 2.5 3 0.5 1 1.5 2 2.5 3 -5 -5 -10 -10 -15 (a) Cz˛eść rzeczywista. (b) Cz˛eść urojona. Rysunek: Wykrywanie istotnych cz˛estotliwości - estymator ân (λ, τ ). Rafał Synowiecki Bootstrap dla danych okresowych Bootstrap bloków ruchomych (MBB) Bootstrap bloków sezonowych (SBB) Bootstrap bloków okresowych (PBB) Przykład symulacyjny Problem testowania: H0 : a(λ, τ ) = 0, H1 : a(λ, τ ) 6= 0. Statystyka testowa: U= √ Rafał Synowiecki n ân (λ, τ ). Bootstrap dla danych okresowych Bootstrap bloków ruchomych (MBB) Bootstrap bloków sezonowych (SBB) Bootstrap bloków okresowych (PBB) Przykład symulacyjny 20 15 10 5 0.5 1 1.5 2 2.5 3 -5 -10 Rysunek: Cz˛eść rzeczywista estymatora ân (λ, 1) razem z kwantylami MBB statystyki testowej. Rafał Synowiecki Bootstrap dla danych okresowych Bootstrap bloków ruchomych (MBB) Bootstrap bloków sezonowych (SBB) Bootstrap bloków okresowych (PBB) Zalety i wady MBB Zalety MBB: nie musimy znać długości okresu łatwo uogólnia sie˛ na dane prawie okresowe Wady MBB: próbka MBB nie jest okresowa (MBB ’psuje’ okresowość) może być mniej efektywny niż inne procedury, które zachowywałyby okresowość Rafał Synowiecki Bootstrap dla danych okresowych Bootstrap bloków ruchomych (MBB) Bootstrap bloków sezonowych (SBB) Bootstrap bloków okresowych (PBB) Idea SBB Bootstrap bloków sezonowych = Seasonal block bootstrap (SBB) Politis (2001). Resampling time series with seasonal components, Proceedings of the 33rd Symposium on the Interface of Computing Science and Statistics Rafał Synowiecki Bootstrap dla danych okresowych Bootstrap bloków ruchomych (MBB) Bootstrap bloków sezonowych (SBB) Bootstrap bloków okresowych (PBB) Idea SBB (X1 , . . . , Xn ), n = rT Próbkujemy z bloków o poczatkach ˛ 1 + iT i długościach lT , czyli B(i, b) = (X1+iT , . . . , X(l+i)T ), i = 0, . . . , r − l i losujemy r /l bloków. Zgodność zachodzi przy takich samych warunkach jak zgodność MBB Rafał Synowiecki Bootstrap dla danych okresowych Bootstrap bloków ruchomych (MBB) Bootstrap bloków sezonowych (SBB) Bootstrap bloków okresowych (PBB) Zalety i wady SBB Zalety SBB: nie ’psuje’ okresowości danych można prowadzić wnioskowanie nie tylko dla średniej ogólnej, ale też dla średnich w sezonach szeroki zakres zgodności Wady SBB: musimy znać długość okresu bloki maja˛ mniejszy ’overlap’ niż przy MBB Rafał Synowiecki Bootstrap dla danych okresowych Bootstrap bloków ruchomych (MBB) Bootstrap bloków sezonowych (SBB) Bootstrap bloków okresowych (PBB) Idea PBB Bootstrap bloków okresowych = Periodic block bootstrap (PBB) Chan, Lahiri, Meeker (2004). Block bootstrap estimation of the distribution of cumulative outdoor degradation, Technometrics Leśkow, Synowiecki (2007). On bootstrapping periodic random arrays with increasing period, submitted Rafał Synowiecki Bootstrap dla danych okresowych Bootstrap bloków ruchomych (MBB) Bootstrap bloków sezonowych (SBB) Bootstrap bloków okresowych (PBB) Idea PBB 15 A1 B1 C1 A2 B2 C2 A3 B3 C3 10 5 2 4 6 8 -5 (a) Dane źródłowe. 15 A1 * B1 * C1 * A2 * B2 * C2 * A3 * C3 * B3 * 10 5 2 4 6 8 -5 (b) Próbka PBB. Rysunek: Idea bootstrapu bloków okresowych. Rafał Synowiecki Bootstrap dla danych okresowych Bootstrap bloków ruchomych (MBB) Bootstrap bloków sezonowych (SBB) Bootstrap bloków okresowych (PBB) Zalety i wady PBB Zalety PBB: nie ’psuje’ okresowości danych można prowadzić wnioskowanie nie tylko dla średniej ogólnej, ale też dla średnich w sezonach Wady PBB: musimy znać długość okresu bloki nie nakładaja˛ sie˛ na siebie (’nonoverlapping’) zgodność zachodzi w szczególnym przypadku - tablice zmiennych losowych ze wzrastajacym ˛ okresem wierszowym Rafał Synowiecki Bootstrap dla danych okresowych Bootstrap bloków ruchomych (MBB) Bootstrap bloków sezonowych (SBB) Bootstrap bloków okresowych (PBB) Porównanie MBB i SBB 60 50 40 30 20 10 25 50 75 100 125 150 175 Rysunek: Porównanie MSEMBB (ciagła) ˛ i MSESBB (przerywana), gdzie ∗ ∗ 2 2 MSE = E(Var (Xn ) − σ ) , n = 1000, T = 50. . Rafał Synowiecki Bootstrap dla danych okresowych 200 Bootstrap bloków ruchomych (MBB) Bootstrap bloków sezonowych (SBB) Bootstrap bloków okresowych (PBB) Porównanie MBB i PBB 60 50 40 30 20 10 25 50 75 100 125 150 175 Rysunek: Porównanie MSEMBB (ciagła) ˛ i MSEPBB (przerywana), gdzie ∗ ∗ 2 2 MSE = E(Var (Xn ) − σ ) , n = 1000, T = 50. . Rafał Synowiecki Bootstrap dla danych okresowych 200 Bootstrap bloków ruchomych (MBB) Bootstrap bloków sezonowych (SBB) Bootstrap bloków okresowych (PBB) Wnioski końcowe Dla danych okresowych mamy przynajmniej trzy sposoby bootstrapowania. MBB jest najogólniejszym sposobem, pozwala na identyfikacje˛ długości okresu. Najlepiej w sensie MSE działa PBB, ale ma najmniejszy zakres stosowalności. Rafał Synowiecki Bootstrap dla danych okresowych