Elementy modelowania matematycznego
Transkrypt
Elementy modelowania matematycznego
Elementy modelowania matematycznego Estymacja parametryczna. Estymacja przedziałowa. Hipotezy statystyczne. Jakub Wróblewski [email protected] http://zajecia.jakubw.pl/ ESTYMACJA PARAMETRÓW p acja estym etru x a ra m dane Model probabilistyczny z param. x Załóżmy, że analizujemy pewne zjawisko o znanym (w przybliżeniu) mechanizmie działania. Na podstawie analizy tego mechanizmu, przyjmujemy założenie (model probabilistyczny) dotyczące poszczególnych cech tego zjawiska. Nieznane parametry modelu możemy oszacować (estymować) analizując dostępne dane. 1 PRZYKŁAD p2 p1 p3 System komputerowy zbiera dane z trzech czujników, napływające w tempie 1 pomiar na minutę. Każdy z czujników, niezależnie od pozostałych, może zgłosić wartość pustą (null), wynikającą z czynników czysto losowych (zjawisko nie ma pamięci). System komputerowy potrafi obsłużyć sytuacje błędne, ale o ile nie wystąpią na wszystkich trzech czujnikach jednocześnie. Wówczas potrzebna jest interwencja obsługi. Ile razy (średnio) w ciągu miesiąca potrzebna jest interwencja? ESTYMACJA WARTOŚCI ŚREDNIEJ Budujemy model probabilistyczny – zakładamy, że błędy są niezależne i mają stały w czasie rozkład zerojedynkowy (prawdop. błędu = pi). Ozn. Xi – zmienna losowa o wart. 1, gdy wystąpił błąd. Musimy oszacować pi za pomocą średniej liczby błędów w długim czasie. Niech µi – wartość oczekiwana zmiennej losowej Xi. Wówczas: µ i ≈ xi = 1 n ∑ xik n k =1 2 ESTYMACJA WARIANCJI Podobnie możemy estymować z próby wariancję rozkładu. Niech σ2 – wariancja zmiennej losowej X. Wówczas: 1 n σ ≈s = (xi − x )2 ∑ n − 1 i =1 2 2 ESTYMACJA ŚREDNIEJ A PRAWO WIELKICH LICZB Jeżeli wiemy (lub zakładamy), że próbka jest realizacją pewnej zmiennej losowej, to średnia z próbki dobrze przybliża wartość oczekiwaną. Mówi o tym: Twierdzenie (prawo wielkich liczb): Niech X - zm. losowa o skończonej wariancji i wart. oczekiwanej µ, x1, ... xn - próba losowa o średniej xn z rozkładu zmiennej X. Wówczas: ∀ε lim P ( xn − µ ≤ ε ) = 1 n →∞ Czyli: dla dużych próbek wartość średnia będzie dowolnie bliska µ. 3 ESTYMACJA ŚREDNIEJ - c.d. Na ile dobrze średnia z próby przybliża wartość oczekiwaną? Twierdzenie: Jeśli σ2 - wariancja zmiennej losowej, n - wielkość próbki, to: σx = n σ n Okazuje się, że dla dużych próbek (n>25) ich średnia zachowuje się jak zmienna losowa o rozkładzie normalnym, niezależnie od rozkładu wyjściowej zmiennej X. Twierdzenie (centralne twierdzenie graniczne): Niech X - zm. losowa o wariancji σ2 i wart. oczekiwanej µ, x1, ... xn - próba losowa o średniej xn z rozkładu zmiennej X. Wówczas: lim P n→∞ ( xn − µ σ/ n ) < a = P (N (0,1) < a ) PRZYKŁAD Serwer bazy danych zapisuje w dzienniku wszystkie obsługiwane (niezależne) zapytania użytkowników. Dziennik podzielony jest na pliki po 1000 zapytań każdy. Nie znamy rozkładu długości pojedynczego zapytania, ale wiemy, że średnio zapytanie ma 500 znaków (z odch. std. 100). 0,25 0,2 0,15 0,1 0,05 0 Jakie jest prawdopodobieństwo, że plik dziennika przekroczy 600000 znaków? 4 PRZYKŁAD Z centralnego twierdzenia granicznego wiemy, że: σ x ~ N µ, n czyli Szukamy prawdopodobieństwa, że: 100 x ~ N 500, 31 x > 600 Standaryzując, jest to prawdopodobieństwo: x − 500 600 − 500 P > = P ( N (0,1) > 31) 100 / 31 100 / 31 Tej wartości nie znajdziemy w tablicach - jest za mała (rzędu 10-420). ESTYMACJA PRZEDZIAŁOWA Problem estymacji dotyczył znajdowania przybliżonej wartości pewnej statystyki (np. przybliżanie wartości oczekiwanej średnią z próbki). Estymacja przedziałowa polega na określeniu przedziału ufności, do którego należy, jak oczekujemy, dana statystyka. Konkretnie, wyznaczamy przedział, do którego szukana statystyka należy zgodnie z założonym poziomem ufności. Przez poziom ufności możemy rozumieć prawdopodobieństwo, że nieznana wartość statystyki rzeczywiście należy do znalezionego przedziału. Innymi słowy, określamy dopuszczalne ryzyko popełnienia błędu. 5 PRZYKŁAD 1 Rozważmy problem estymacji wartości oczekiwanej dla rozkładu normalnego o znanej wariancji. Przykład: Tworzymy system obsługujący dostawy parasoli naszym 1000 identycznym hurtowniom. Każdego dnia (w zależności od pogody) hurtownie zamawiają u nas konkretną liczbę sztuk, przy czym zamówienia wahają się zgodnie z rozkładem normalnym o znanym odch. standardowym równym 20. Nie znamy wartości oczekiwanej, która zmienia się z dnia na dzień. Każdego dnia musimy zadeklarować u producenta zapotrzebowanie na parasole w postaci przedziału [z1,z2]. Jeśli rzeczywiste zapotrzebowanie nie trafi w ten przedział, płacimy kary. Zapotrzebowanie możemy zgłosić po kilku pierwszych zamówieniach (po których szacujemy wartość oczekiwaną), ale im wcześniej, tym lepiej. PRZYKŁAD 1 - c.d. Wiemy, że jeśli X ~ N (µ , σ ) to czyli α 2 1−α ( X ~ N µ, X −µ σ/ n σ n ) ~ N (0,1) α 2 Przypuśćmy, że interesuje nas poziom ufności 0,99 = 1 - α czyli dopuszczamy pomyłkę z prawdopodobieństwem najwyżej 1%. Jak dobrać przedział [z1,z2], żeby estymowana wartość oczekiwana zmieściła się w nim w 99% przypadków? 6 PRZYKŁAD 1 - c.d. Z ~ N (0,1) Odczytujemy z tablic, że jeśli to: P (−2,58 ≤ Z ≤ 2,58) = 0,99 = 1 − α czyli: − 2,58 ≤ σX/− µn ≤ 2,58 ⇒ X − 2,58nσ ≤ µ ≤ X + 2,58nσ Przedział [z1,z2] dany jest powyższymi nierównościami. Ile musi być równe n, żeby z prawdop. 99% pomylić się o najwyżej 5 parasoli? PRZYKŁAD 2 Problem estymacji przedziałowej wartości oczekiwanej dla rozkładu normalnego o nieznanej wariancji (n - wielkość próbki). Jeżeli n>30, możemy przyjąć, że odchylenie standardowe σ jest dobrze przybliżone odch. standardowym próbki S, a więc można skorzystać z poprzedniego przykładu. Jeśli nie, musimy skorzystać z tablic dla rozkładu t-Studenta z n-1 stopniami swobody. X −µ S/ n ~ t n −1 7 HIPOTEZY STATYSTYCZNE Problem estymacji był problemem ilościowym: jaka jest (przybliżona) wartość nieznanego parametru modelu? Testowanie hipotez statystycznych to odpowiedź na pytanie jakościowe: - czy prawdziwa wartość oczekiwana jest mniejsza, niż x? - czy program A działa średnio krócej, niż program B? - czy zmienne są niezależne? Odpowiedzi na te pytania zawsze obarczone są ryzykiem, że analizowane przez nas dane były „złośliwe” i np. przypadkowo wskazały na niezależność zmiennych, które naprawdę są zależne. PODSTAWOWE POJĘCIA Hipoteza zerowa H0 – hipoteza na temat wartości wybranej statystyki, kształtu rozkładu itp., którą przyjmujemy jako domyślną (wyjściową). Testowanie hipotezy polega na próbie jej odrzucenia na rzecz hipotezy alternatywnej H1. Aby przyjąć H1 zamiast H0, musimy mieć wystarczająco mocne dowody oparte na danych (próbie). Jeśli nie uda nam się odrzucić H0 na rzecz H1, to nie znaczy, że H0 jest na pewno prawdziwa. Przykład: czy średnia liczba orłów wyrzucanych konkretną monetą jest mniejsza, niż 0,5? H0: H1: µ = 0,5 µ < 0,5 8 PODSTAWOWE POJĘCIA Testowanie hipotezy polega na wyliczeniu własności pewnej statystyki testowej (np. średniej z próbki) i sprawdzeniu, czy wartość ta należy do zbioru krytycznego C (wówczas odrzucamy H0 na rzecz H1), czy zbioru przyjęć (wówczas pozostajemy przy hipotezie H0). Jeśli odrzucimy H0 mimo że jest prawdziwa, to popełnimy błąd pierwszego rodzaju. Prawdopodobieństwo tego błędu to poziom istotności testu. Poziom istotności możemy ustalić z góry, np. na 1%. Im mniejszy, tym trudniej nam będzie odrzucić H0. PRZYKŁAD 1 Wykonaliśmy 100 rzutów monetą, wypadło nam 45 orłów. Czy możemy odrzucić hipotezę, że µ = 0,5? Statystyka testowa: średnia z próby. Gdyby H0 było prawdziwe, to µ = 0,5, σ = 0,5. Z= X −µ ~ N (0,1) σ/ n Przyjmijmy poziom istotności 1%. Zbiór krytyczny C ma w tym przypadku postać: C = {z : z ≤ −2,33} gdyż dystrybuanta rozkładu normalnego dla 2,33 wynosi 0,99. 9 PRZYKŁAD 1 - c.d. z= W naszym przypadku n=100: X − µ 0,45 − 0,5 = = −1 0,5 / 10 σ/ n Wartość z nie należy do zbioru krytycznego C. Musimy pozostać przy hipotezie H0 - uznajemy, że wyrzucenie 45 orłów na 100 rzutów nie jest wystarczającym dowodem (na poziomie istotności 1%) na niesymetryczność monety. 0,45 0,4 0,35 0,3 -2,33 -1 0,25 Zbiór C: 0,2 te wartości 0,15uznaliśmy za mało prawdopodobne 0,1 Wynik rzutów odpowiada p-wartości 0,16 0,05 -4 ,0 0 -3 ,7 5 -3 ,5 0 -3 ,2 5 -3 ,0 0 -2 ,7 5 -2 ,5 0 -2 ,2 5 -2 ,0 0 -1 ,7 5 -1 ,5 0 -1 ,2 5 -1 ,0 0 -0 ,7 5 -0 ,5 0 -0 ,2 5 0, 00 0, 25 0, 50 0, 75 1, 00 1, 25 1, 50 1, 75 2, 00 2, 25 2, 50 2, 75 3, 00 3, 25 3, 50 3, 75 4, 00 0 P-wartość przeprowadzonego testu: najmniejszy poziom istotności, przy którym otrzymany wynik testu wykluczałby hipotezę zerową. PRZYKŁAD 2 Testujemy na n=100 losowych danych wejściowych dwa algorytmy A1 i A2. Notujemy ich czas działania (zakładając, że ma on rozkład normalny). Widzimy, że dla naszych danych A1 działa średnio trochę szybciej. Kiedy możemy wiarygodnie stwierdzić, że A1 jest szybszy, niż A2? Statystyki testowe: średnie z próby. H 0 : µ1 = µ 2 H1 : µ1 < µ 2 Możemy stosować metodę analogiczną jak w poprzednim przykładzie, gdyż przyjmując hipotezę H0: Z= X1 − X 2 σ 2 1 n1 + σ 2 2 ~ N (0,1) n2 10 INNE TESTY • Testowanie, czy wartość oczekiwana jest równa danej: H 0 : µ = µ0 H1 : µ ≠ µ 0 Zbiór krytyczny konstruujemy po obu stronach wykresu, analogicznie jak w przypadku estymacji przedziałowej. • Testowanie, czy odch. standardowe w rozkładzie normalnym jest równe, czy mniejsze od danego (wykorzystujemy wariancję S2 z próby): H :σ = σ 0 0 H1 : σ < σ 0 Z= Korzystamy z faktu, że: Rozkład chi-kwadrat z n-1 stopniami swobody (n − 1)S 2 ~ σ 02 χ n2−1 TESTY ZGODNOŚCI Testowanie, czy zmienna losowa pochodzi z pewnego rozkładu prawdopodobieństwa o dystrybuancie F0. Możemy przybliżyć nieznaną dystrybuantę F, a następnie testować hipotezę: H : F (⋅) = F (⋅) 0 0 H1 : F (⋅) ≠ F0 (⋅) Dystrybuanta empiryczna: {x : x ≤ x} Fn ( x ) = i i n Rozkład jednostajny [-1,5 ; 1,5] (próbka) 1,2 1 Test Kołmogorowa: 0,8 0,6 0 ,0 0 ,6 5 -3 ,3 0 -2 ,9 5 -2 ,6 0 -2 ,2 5 -1 ,9 0 -1 ,5 5 -1 ,2 0 -0 ,8 5 -0 ,5 0 -0 ,1 5 0, 20 0, 55 0, 90 1, 25 1, 60 1, 95 2, 30 2, 65 3, 00 3, 35 3, 70 Sprawdzamy w tablicach, czy Dn nie jest zbyt duża. 0,2 -3 x Rozkład normalny 0,4 -4 Dn = sup Fn (x ) − F0 (x ) 11