Elementy modelowania matematycznego

Elementy modelowania
matematycznego
Estymacja parametryczna.
Estymacja przedziałowa.
Hipotezy statystyczne.
Jakub Wróblewski
[email protected]
http://zajecia.jakubw.pl/
ESTYMACJA PARAMETRÓW
p
acja
estym
etru x
a ra m
dane
Model
probabilistyczny
z param. x
Załóżmy, że analizujemy pewne zjawisko o znanym
(w przybliżeniu) mechanizmie działania.
Na podstawie analizy tego mechanizmu,
przyjmujemy założenie (model probabilistyczny)
dotyczące poszczególnych cech tego zjawiska.
Nieznane parametry modelu możemy oszacować
(estymować) analizując dostępne dane.
1
PRZYKŁAD
p2
p1
p3
System komputerowy zbiera dane z trzech
czujników, napływające w tempie 1 pomiar na
minutę.
Każdy z czujników, niezależnie od
pozostałych, może zgłosić wartość pustą (null),
wynikającą z czynników czysto losowych
(zjawisko nie ma pamięci).
System komputerowy potrafi obsłużyć sytuacje
błędne, ale o ile nie wystąpią na wszystkich
trzech czujnikach jednocześnie. Wówczas
potrzebna jest interwencja obsługi.
Ile razy (średnio) w ciągu miesiąca potrzebna
jest interwencja?
ESTYMACJA WARTOŚCI
ŚREDNIEJ
Budujemy model probabilistyczny – zakładamy, że błędy są
niezależne i mają stały w czasie rozkład zerojedynkowy
(prawdop. błędu = pi). Ozn. Xi – zmienna losowa o wart. 1, gdy
wystąpił błąd.
Musimy oszacować pi za pomocą średniej liczby błędów w
długim czasie.
Niech µi – wartość oczekiwana zmiennej losowej Xi. Wówczas:
µ i ≈ xi =
1 n
∑ xik
n k =1
2
ESTYMACJA WARIANCJI
Podobnie możemy estymować z próby wariancję rozkładu.
Niech σ2 – wariancja zmiennej losowej X. Wówczas:
1 n
σ ≈s =
(xi − x )2
∑
n − 1 i =1
2
2
ESTYMACJA ŚREDNIEJ
A PRAWO WIELKICH LICZB
Jeżeli wiemy (lub zakładamy), że próbka jest realizacją pewnej zmiennej losowej,
to średnia z próbki dobrze przybliża wartość oczekiwaną. Mówi o tym:
Twierdzenie (prawo wielkich liczb):
Niech X - zm. losowa o skończonej wariancji i wart. oczekiwanej µ,
x1, ... xn - próba losowa o średniej xn z rozkładu zmiennej X.
Wówczas:
∀ε lim P ( xn − µ ≤ ε ) = 1
n →∞
Czyli: dla dużych próbek wartość średnia będzie dowolnie bliska µ.
3
ESTYMACJA ŚREDNIEJ - c.d.
Na ile dobrze średnia z próby przybliża wartość oczekiwaną?
Twierdzenie: Jeśli σ2 - wariancja zmiennej losowej, n - wielkość
próbki, to:
σx =
n
σ
n
Okazuje się, że dla dużych próbek (n>25) ich średnia zachowuje się jak zmienna
losowa o rozkładzie normalnym, niezależnie od rozkładu wyjściowej zmiennej X.
Twierdzenie (centralne twierdzenie graniczne):
Niech X - zm. losowa o wariancji σ2 i wart. oczekiwanej µ,
x1, ... xn - próba losowa o średniej xn z rozkładu zmiennej X.
Wówczas:
lim P
n→∞
(
xn − µ
σ/ n
)
< a = P (N (0,1) < a )
PRZYKŁAD
Serwer bazy danych zapisuje w
dzienniku wszystkie
obsługiwane (niezależne)
zapytania użytkowników.
Dziennik podzielony jest na
pliki po 1000 zapytań każdy.
Nie znamy rozkładu długości
pojedynczego zapytania, ale
wiemy, że średnio zapytanie ma
500 znaków (z odch. std. 100).
0,25
0,2
0,15
0,1
0,05
0
Jakie jest prawdopodobieństwo,
że plik dziennika przekroczy
600000 znaków?
4
PRZYKŁAD
Z centralnego twierdzenia granicznego wiemy, że:
 σ 
x ~ N µ,

n

czyli
Szukamy prawdopodobieństwa, że:
100 

x ~ N  500,

31 

x > 600
Standaryzując, jest to prawdopodobieństwo:
 x − 500 600 − 500 
P
>
 = P ( N (0,1) > 31)
 100 / 31 100 / 31 
Tej wartości nie znajdziemy w tablicach - jest za mała (rzędu 10-420).
ESTYMACJA PRZEDZIAŁOWA
Problem estymacji dotyczył znajdowania przybliżonej wartości
pewnej statystyki (np. przybliżanie wartości oczekiwanej
średnią z próbki).
Estymacja przedziałowa polega na określeniu przedziału
ufności, do którego należy, jak oczekujemy, dana statystyka.
Konkretnie, wyznaczamy przedział, do którego szukana
statystyka należy zgodnie z założonym poziomem ufności.
Przez poziom ufności możemy rozumieć prawdopodobieństwo,
że nieznana wartość statystyki rzeczywiście należy do
znalezionego przedziału. Innymi słowy, określamy
dopuszczalne ryzyko popełnienia błędu.
5
PRZYKŁAD 1
Rozważmy problem estymacji wartości oczekiwanej dla rozkładu
normalnego o znanej wariancji.
Przykład: Tworzymy system obsługujący dostawy parasoli naszym
1000 identycznym hurtowniom. Każdego dnia (w zależności od
pogody) hurtownie zamawiają u nas konkretną liczbę sztuk, przy
czym zamówienia wahają się zgodnie z rozkładem normalnym o
znanym odch. standardowym równym 20. Nie znamy wartości
oczekiwanej, która zmienia się z dnia na dzień.
Każdego dnia musimy zadeklarować u producenta
zapotrzebowanie na parasole w postaci przedziału [z1,z2]. Jeśli
rzeczywiste zapotrzebowanie nie trafi w ten przedział, płacimy
kary. Zapotrzebowanie możemy zgłosić po kilku pierwszych
zamówieniach (po których szacujemy wartość oczekiwaną), ale im
wcześniej, tym lepiej.
PRZYKŁAD 1 - c.d.
Wiemy, że jeśli
X ~ N (µ , σ )
to
czyli
α
2
1−α
(
X ~ N µ,
X −µ
σ/ n
σ
n
)
~ N (0,1)
α
2
Przypuśćmy, że interesuje nas poziom ufności 0,99 = 1 - α
czyli dopuszczamy pomyłkę z prawdopodobieństwem najwyżej 1%.
Jak dobrać przedział [z1,z2], żeby estymowana wartość oczekiwana
zmieściła się w nim w 99% przypadków?
6
PRZYKŁAD 1 - c.d.
Z ~ N (0,1)
Odczytujemy z tablic, że jeśli
to:
P (−2,58 ≤ Z ≤ 2,58) = 0,99 = 1 − α
czyli:
− 2,58 ≤ σX/− µn ≤ 2,58 ⇒
X − 2,58nσ ≤ µ ≤ X + 2,58nσ
Przedział [z1,z2] dany jest powyższymi nierównościami.
Ile musi być równe n, żeby z prawdop. 99% pomylić się o najwyżej 5
parasoli?
PRZYKŁAD 2
Problem estymacji przedziałowej wartości oczekiwanej dla
rozkładu normalnego o nieznanej wariancji (n - wielkość
próbki).
Jeżeli n>30, możemy przyjąć, że odchylenie standardowe σ jest
dobrze przybliżone odch. standardowym próbki S, a więc można
skorzystać z poprzedniego przykładu.
Jeśli nie, musimy skorzystać z tablic dla rozkładu t-Studenta z
n-1 stopniami swobody.
X −µ
S/ n
~ t n −1
7
HIPOTEZY STATYSTYCZNE
Problem estymacji był problemem ilościowym: jaka jest
(przybliżona) wartość nieznanego parametru modelu?
Testowanie hipotez statystycznych to odpowiedź na pytanie
jakościowe:
- czy prawdziwa wartość oczekiwana jest mniejsza, niż x?
- czy program A działa średnio krócej, niż program B?
- czy zmienne są niezależne?
Odpowiedzi na te pytania zawsze obarczone są ryzykiem, że
analizowane przez nas dane były „złośliwe” i np. przypadkowo
wskazały na niezależność zmiennych, które naprawdę są
zależne.
PODSTAWOWE POJĘCIA
Hipoteza zerowa H0 – hipoteza na temat wartości wybranej
statystyki, kształtu rozkładu itp., którą przyjmujemy jako
domyślną (wyjściową). Testowanie hipotezy polega na próbie
jej odrzucenia na rzecz hipotezy alternatywnej H1. Aby przyjąć
H1 zamiast H0, musimy mieć wystarczająco mocne dowody
oparte na danych (próbie).
Jeśli nie uda nam się odrzucić H0 na rzecz H1, to nie znaczy, że
H0 jest na pewno prawdziwa.
Przykład: czy średnia liczba orłów wyrzucanych konkretną
monetą jest mniejsza, niż 0,5?
H0:
H1:
µ = 0,5
µ < 0,5
8
PODSTAWOWE POJĘCIA
Testowanie hipotezy polega na wyliczeniu własności pewnej
statystyki testowej (np. średniej z próbki) i sprawdzeniu, czy
wartość ta należy do zbioru krytycznego C (wówczas
odrzucamy H0 na rzecz H1), czy zbioru przyjęć (wówczas
pozostajemy przy hipotezie H0).
Jeśli odrzucimy H0 mimo że jest prawdziwa, to popełnimy błąd
pierwszego rodzaju. Prawdopodobieństwo tego błędu to
poziom istotności testu.
Poziom istotności możemy ustalić z góry, np. na 1%. Im
mniejszy, tym trudniej nam będzie odrzucić H0.
PRZYKŁAD 1
Wykonaliśmy 100 rzutów monetą, wypadło nam 45 orłów. Czy
możemy odrzucić hipotezę, że µ = 0,5?
Statystyka testowa: średnia z próby.
Gdyby H0 było prawdziwe, to µ = 0,5, σ = 0,5.
Z=
X −µ
~ N (0,1)
σ/ n
Przyjmijmy poziom istotności 1%. Zbiór krytyczny C ma w tym
przypadku postać:
C = {z : z ≤ −2,33}
gdyż dystrybuanta rozkładu normalnego dla 2,33 wynosi 0,99.
9
PRZYKŁAD 1 - c.d.
z=
W naszym przypadku n=100:
X − µ 0,45 − 0,5
=
= −1
0,5 / 10
σ/ n
Wartość z nie należy do zbioru krytycznego C. Musimy pozostać przy hipotezie
H0 - uznajemy, że wyrzucenie 45 orłów na 100 rzutów nie jest wystarczającym
dowodem (na poziomie istotności 1%) na niesymetryczność monety.
0,45
0,4
0,35
0,3
-2,33
-1
0,25
Zbiór C: 0,2
te wartości
0,15uznaliśmy
za mało prawdopodobne
0,1
Wynik rzutów
odpowiada
p-wartości 0,16
0,05
-4
,0
0
-3
,7
5
-3
,5
0
-3
,2
5
-3
,0
0
-2
,7
5
-2
,5
0
-2
,2
5
-2
,0
0
-1
,7
5
-1
,5
0
-1
,2
5
-1
,0
0
-0
,7
5
-0
,5
0
-0
,2
5
0,
00
0,
25
0,
50
0,
75
1,
00
1,
25
1,
50
1,
75
2,
00
2,
25
2,
50
2,
75
3,
00
3,
25
3,
50
3,
75
4,
00
0
P-wartość przeprowadzonego testu: najmniejszy poziom istotności,
przy którym otrzymany wynik testu wykluczałby hipotezę zerową.
PRZYKŁAD 2
Testujemy na n=100 losowych danych wejściowych dwa
algorytmy A1 i A2. Notujemy ich czas działania (zakładając, że
ma on rozkład normalny). Widzimy, że dla naszych danych A1
działa średnio trochę szybciej. Kiedy możemy wiarygodnie
stwierdzić, że A1 jest szybszy, niż A2?
Statystyki testowe: średnie z próby. H 0 : µ1 = µ 2
H1 : µ1 < µ 2
Możemy stosować metodę analogiczną jak w poprzednim
przykładzie, gdyż przyjmując hipotezę H0:
Z=
X1 − X 2
σ
2
1
n1
+
σ
2
2
~ N (0,1)
n2
10
INNE TESTY
• Testowanie, czy wartość oczekiwana jest równa danej:
H 0 : µ = µ0
H1 : µ ≠ µ 0
Zbiór krytyczny konstruujemy po obu stronach wykresu,
analogicznie jak w przypadku estymacji przedziałowej.
• Testowanie, czy odch. standardowe w rozkładzie normalnym
jest równe, czy mniejsze od danego (wykorzystujemy wariancję
S2 z próby):
H :σ = σ
0
0
H1 : σ < σ 0
Z=
Korzystamy z faktu, że:
Rozkład chi-kwadrat
z n-1 stopniami swobody
(n − 1)S 2
~
σ 02
χ n2−1
TESTY ZGODNOŚCI
Testowanie, czy zmienna losowa pochodzi z pewnego rozkładu
prawdopodobieństwa o dystrybuancie F0.
Możemy przybliżyć nieznaną dystrybuantę F, a
następnie testować hipotezę: H : F (⋅) = F (⋅)
0
0
H1 : F (⋅) ≠ F0 (⋅)
Dystrybuanta empiryczna:
{x : x ≤ x}
Fn ( x ) = i i
n
Rozkład jednostajny [-1,5 ; 1,5] (próbka)
1,2
1
Test Kołmogorowa:
0,8
0,6
0
,0
0
,6
5
-3
,3
0
-2
,9
5
-2
,6
0
-2
,2
5
-1
,9
0
-1
,5
5
-1
,2
0
-0
,8
5
-0
,5
0
-0
,1
5
0,
20
0,
55
0,
90
1,
25
1,
60
1,
95
2,
30
2,
65
3,
00
3,
35
3,
70
Sprawdzamy w tablicach, czy
Dn nie jest zbyt duża.
0,2
-3
x
Rozkład normalny
0,4
-4
Dn = sup Fn (x ) − F0 (x )
11