Blok 2

Transkrypt

Blok 2

www.sites.google.com/site/chemomlab
Prawdopodobieństwo i rozkład normalny
cd.
Michał Daszykowski, Ivana Stanimirova
Instytut Chemii
Uniwersytet Śląski w Katowicach
Ul. Szkolna 9
40-006 Katowice
E-mail:
[email protected]
[email protected]
http://www.sites.google.com/site/chemomlab/
www:
Krzywa rozkładu normalnego
krzywa rozkładu Gaussa lub krzywą rozkładu
normalnego
180
160
160
140
140
120
120
100
100
#
#
180
80
80
60
60
40
40
20
0
-4
20
-3
-2
-1
0
pomiar
1
2
3
4
0
-4
-3
Φ (x ) =
M. Daszykowski, I. Stanimirova,
Wprowadzenie do statystyki dla
chemików
-2
-1
0
pomiar
1
2
3
4
 ( x − µ )2 
1

exp −
2 

2
σ
σ 2π


1
Rozkład normalny
Kiedy mówimy o rozkładzie normalnym to:
– 68% pomiarów znajduje się w przedziale µ ± σ
– 95% pomiarów znajduje się w przedziale µ ± 2σ
– 99,7% pomiarów znajduje się w przedziale µ ± 3σ
Standardyzowana zmienna
Dla rozkładu normalnego, dokładną proporcję próbek,
o które są w określonym interwale można odszukać
w tablicach statystycznych.
Tablice zakładają, że zmienna jest standardyzowana:
z=
x −µ
σ
z ∈ N(0,1)
chemików
2
Rozkład standardyzowanej zmiennej
Gęstość prawdopodobieństwa rozkładu normalnego
(postać unormowana, standardyzowana).
 (x − µ )2 
1

Φ (x ) =
exp −
2 

2σ 
σ 2π

 z2 
1
ϕ (z ) =
exp− 
2π
 2
Całka Laplace’a
prawdopodobieństwo wystąpienia wartości
zmiennej w przedziale od 0 do zi
zi
µ
0
chemików
z
z
 z2 
1 i
Φ(z i ) =
exp− dz
2π ∫0
 2
3
Przykład
Podczas miareczkowania uzyskano normalny rozkład
wyników, ze średnią 10,15 ml oraz odchyleniem
standardowym 0,02 ml. Jaka część pomiarów będzie
w przedziale od 10,12 ml do 10,20 ml?
z1 = (10,12-10,15)/0,02 = -1,5
z2 = (10,20-10,15)/0,02 = 2,5
Φ(z1) = 0,0668
Φ(z2) = 0,9938
Przykład
Z tablic statystycznych – proporcja obiektów, o wartości
poniżej zi
z1
z2
z
µ
0,0668
0,9938
chemików
p = 0,9938 – 0,0668 = 0,9270
92,70% pomiarów znajduje się
w przedziale od 10,12 ml do 10,20 ml
4
Przedział ufności
Pewna wartość leży w przedziale, którego zakres
determinuje:
– precyzja danej metody (σ),
– liczba pomiarów (z liczbą powtórzeń rośnie nasza pewność co
do wyniku).
Załóżmy, że robimy po 5 powtórzeń 5 pomiarów
– rozkład indywidualnych średnich – rozkład próbkowania średniej
– błąd standardowy średniej: informuje o stopniu rozproszenia
średnich z próbki względem średniej dla populacji:
σ/ n
Przedział ufności
Zakres wartości, których z określoną ufnością możemy
być pewni.
O przedziale ufności decyduje stopień ufności – im
większy tym przedział jest szerszy.
Dla dużej liczby pomiarów przedział ufności ma postać:
(
µ ± z α/2 σ/ n
)
wartość tablicowa odczytana
dla danego poziomu ufności
chemików
5
Przedział ufności
(
)
(
)
(
)
(
)
(
)
(
)
(
)
(
)
90% µ − 1,64 σ / n < x < µ + 1,64 σ / n
95% µ − 1,96 σ / n < x < µ + 1,96 σ / n
98% µ − 2,33 σ / n < x < µ + 2,33 σ / n
99% µ − 2,58 σ / n < x < µ + 2,58 σ / n
Przedział ufności dla małej liczby próbek
Im mniej próbek, tym σ jest mniej dokładnie wyznaczone,
zatem przedział ufności ma postać:
(
µ ± t (α/2, n −1) σ/ n
)
Wprowadza się pojęcie liczby stopni swobody (n-1): liczba
niezależnych różnic (xi-µ).
Wartość t zależy od przyjętego poziomu ufności i liczby
stopni swobody.
chemików
6
Przedział ufności dla małej liczby próbek
1
2
3
4
5
6
7
8
9
10
0,05
6,314
2,920
2,353
2,132
2,015
1,943
1,895
1,860
1,833
1,812
0,025
12,706
4,303
3,182
2,776
2,571
2,447
2,365
2,306
2,262
2,228
0,01
31,821
6,965
4,541
3,747
3,365
3,143
2,998
2,896
2,821
2,764
0,005
63,657
9,925
5,841
4,604
4,032
3,707
3,499
3,355
3,250
3,169
(
)
µ ± t (α/2, n −1) σ/ n
Przykład
Zawartość sodu w moczu wyznaczono stosując
elektrodę selektywną. Uzyskano następujące wyniki:
102, 97, 99, 98, 101 i 106 mM.
Ustal 95% i 99% przedziały ufności dla tychże pomiarów.
µ = 100,5 mM
σ = 3,27 mM
df = 6 - 1
chemików
(
µ ± t (α/2, n −1) σ/ n
)
(
)
100,5 ± 4,03(3,27 / 6 ) = 100,5 ± 5,4 mM
100,5 ± 2,57 3,27 / 6 = 100,5 ± 3,4 mM
7
Dokładność oszacowanej wielkości
(
ε = t (α/2, n −1) σ/ n
)
2
n=
t (α/2, n −1) σ 2
ε2
Przykład
Dla poziomu ufności 95% określ liczbę próbek jaka jest
potrzebna do oszacowania grubości powłoki chromu,
jeśli dokładność pomiaru wynosi ±0,01 mm, a σ
obliczone dla 6 pierwszych pomiarów wynosi 0,02 mm.
2,5712 ⋅ 0,022
n=
= 27
0,012
chemików
8
Testowanie hipotez - wprowadzenie
Testowanie hipotez
Cel: ustalenie w sposób obiektywny na podstawie
zgromadzonych wyników pomiarów słuszności
postulowanej hipotezy
chemików
9
Porównanie średniej z daną wartością
Przygotowujemy lek, który zawiera wszystkie składniki
oraz czynny komponent w ilości 100,0 mg.
Przykład 1: 4 razy oznaczono składnik aktywny; średnia
wynosi 98,2 mg, a odchylenie standardowe jest znane
a priori (0,8).
Przykład 2: 6 razy oznaczono aktywny składnik
i uzyskano następujące wartości:
98,9 100,3 99,7 99,0 100,6 98,6
Średnia pomiarów wynosi: 99,5
Odchylenie standardowe wynosi: 0,81
Czy wartość średnia jest naprawdę różna niż faktyczna
masa substancji aktywnej (µ0 = 100 mg)?
Aby sprawdzić czy powyższe jest prawdą, konieczny jest
test hipotezy.
chemików
10
Zarówno średnia jak i odchylenie standardowe są
przybliżeniem wartości prawdziwych.
Estymatory
Czy możemy przyjąć, że te dwa estymatory są równe
odpowiednio µ oraz σ ???
Hipoteza zerowa i alternatywna
Hipoteza 0 (H0): średnia µ zbioru pomiarów jest równa
wartości µ0
H0: µ = µ0
Hipoteza alternatywna (H1): średnia µ zbioru pomiarów
jest różna od wartości µ0
H1: µ ≠ µ0
chemików
11
Hipoteza
Czasem hipotezę alternatywną formułuje się jako:
H1 >
H1 <
Przedział ufności
Dla przykładu 1, przyjmując 95% przedział ufności:
(
)
(
µ − 1,96 σ / n < x < µ + 1,96 σ / n
(
)
)
98,2 ± 1,96 σ / n = 98,2 ± 1,96 ⋅ 0,4 = 98,2 ± 0,78
odrzucamy hipotezę H0 bo 100 mg jest poza
przedziałem ufności, a przyjmujemy hipotezę H1
chemików
12
Przedział ufności
0.4
0.35
0.3
φ(x)
0.25
0.2
0.15
0.1
0.05
0
-5
-4
-3
-2
-1
0
z
1
(
2
µ ± z (α/2 ) σ/ n
3
4
5
)
Przedział ufności
Dla przykładu 2, odchylenie standardowe nie jest a priori
znane, lecz oszacowane na podstawie ograniczonej
liczby pomiarów
Dlatego, stosujemy test t (przyjmując 95% przedział
ufności)
(
µ ± t (α/2, n −1) σ/ n
(
)
)
99,5 ± 2,57 σ/ n = 99,5 ± 2,57 ⋅
0,81
= 99,5 ± 0,85
6
100 mg jest w przedziale ufności – dlatego przyjmujemy
hipotezę H0
chemików
13
Kroki testowania hipotez
Ustal hipotezy H0 i H1
Ustal poziom α, np. α = 5%
Ustal przedział ufności
Sprawdź, czy µ0 znajduje się w przedziale ufności
Przyjmij, lub odrzuć hipotezę H0
Porównanie wartości testu z wartością
krytyczną
Możemy powiedzieć, że 95% wszystkich pomiarów
znajduje się w przedziale:
(
)
(
µ − 1,96 σ/ n < x < µ + 1,96 σ/ n
)
Jeśli przyjmiemy, że H0: µ = µ0 jest prawdą, wówczas H0
jest także spełniona dla wszystkich pomiarów z tego
interwału
chemików
14
krytyczną
Dla oryginalnych i z-transformowanych wartości
krytyczną
w jednostkach „z”
z=
µ − µ0
σ/ n
< crit
Gdy crit = 1,96 to przyjmujemy 95%
chemików
15
krytyczną
Ustal hipotezy H0 i H1
Ustal poziom α, np. α = 5%
Jaka jest krytyczna z-wartość?
Jaką wartość przyjmuje z dla µ
Jeśli |z|<crit to przyjmujemy H0
krytyczną
Przykład 1:
z=
µ − µ0
σ/ n
=
98,2 − 100
0,8/ 4
= 4,50 > 1,96
Zatem, odrzucamy H0
chemików
16
krytyczną
Przykład 2:
t =
µ − µ0
σ/ n
=
99,5 − 100
0,813/ 6
= 1,51
t (0,025,5) = 2,57
Poziom ufności i błąd α
Przyjmując, że przedział ufności obejmuje 95% rozkładu,
5% znajduje się poza przedziałem (poziom ufności
p = 95%).
Te 5% zwane jest poziomem istotności – BŁĄD I
rodzaju, zwany także błędem α.
Jest to prawdopodobieństwo popełnienia błędu
związanego z odrzuceniem hipotezy H0, podczas gdy
jest ona prawdziwa.
chemików
17
Błąd β
Przyjmijmy, że nasza metoda jest obciążona błędem
systematycznym, tzn. zamiast 100 mg mamy 98,20 mg.
błąd systematyczny
bez błędu systematycznego
Błąd β
Błąd β jest to prawdopodobieństwo popełnienia błędu
związanego z przyjęciem hipotezy H0, podczas gdy jest
ona nieprawdziwa
błąd systematyczny
1
chemików
1 - (z>=2,55) = 1 - 0,994 = 0,006
18
Testowanie hipotez
Tablice statystyczne
dwustronny
jednostronny
chemików
19
Tablice statystyczne
α - poziom istotności
1- α: poziom ufności
t vs. rozkład normalny
0.4
0.4
rozkład t, n=5
rozkład normalny
0.35
0.3
0.3
0.25
0.25
0.2
0.2
0.15
0.15
0.1
0.1
0.05
0.05
0
-5
-4
-3
-2
-1
0
1
2
3
4
rozkład t, n=30
rozkład normalny
0.35
5
0
-5
-4
-3
-2
-1
0
1
2
3
4
5
dla nieskończenie dużej liczby pomiarów t0,025 = z0,025
chemików
20
Testowanie hipotez
Poprzednio, rozważaliśmy czy średnia jest statystycznie
różna niż deklarowana wartość?
Testowaliśmy następującą hipotezę zerową:
H0: µ = µ0
Wartości krytyczne dla rozkładu normalnego lub t,
w zależności od sytuacji.
Testowanie hipotez
Kiedy hipoteza może zawierać nierówność?
H1: µ ≥ µ0
H1: µ ≤ µ0
Wyobraźmy sobie, że kupujemy rudę pewnego metalu, a
sprzedawca gwarantuje jego zawartość na poziomie co
najmniej równym 10g/kg.
Dla nas – im więcej tym lepiej ☺
Kupujący testuje zatem ryzyko związane z mniejszą
zawartością metalu.
Sprzedający testuje ryzyko sprzedaży większej niż
deklarowana zawartości metalu.
chemików
21
Porównanie średnich dwóch populacji
Mamy dwa zbiory zawierające n1 i n2 wyników.
Czy średnie dwóch zbiorów są takie same?
H0: µ1 = µ2
Dla zbiorów, w których n > 30 możemy przyjąć normalny
rozkład średniej, nawet jeśli nie mamy do końca do
czynienia z rozkładem normalnym samych pomiarów,
a wariancja wynosi: σ2/n.
Wówczas, różnice µ1-µ2 też śledzą rozkład normalny,
a wariancja tego rozkładu wynosi: (σ21 /n1 + σ22 /n2).
z=
µ1 − µ 2
(σ /n ) + (σ /n )
2
1
chemików
1
2
2
2
22
Jeśli:
H0: µ1 = µ2
H1: µ1 ≠ µ2
H0 jest przyjęta, gdy |z| < zcrit (test dwustronny).
Jeśli
H0: µ1 = µ2
H1: µ1 > µ2
H0 jest przyjęta, gdy |z| < zcrit (test jednostronny).
chemików
23
Jeśli
H0: µ1 = µ2
H1: µ1 < µ2
H0 jest przyjęta, gdy |z| > -zcrit (test jednostronny).
Przyjmujemy H0 jeśli 0 jest w przedziale ufności:
(µ1 − µ 2 ) ± z α/2
(σ /n ) + (σ /n )
2
1
1
2
2
2
test dwustronny
(µ1 − µ 2 ) ± 1,95
chemików
(σ /n ) + (σ /n )
2
1
1
2
2
2
α = 5%
24
H0: µ1 = µ2
H1: µ1 > µ2
Test jednostronny
(µ1 − µ 2 ) + 1,95
(σ
2
1
) (
/ n1 + σ 22 / n2
)
α = 2,5%
Jeśli 0 jest mniejsze niż wartość krytyczna to hipoteza H0
jest spełniona
Przykład
Porównujemy dwie procedury, które mają wpływ na
zawartość azotu w próbkach
Procedurę 1 podejrzewamy, że wpływa na obniżenie
zawartości azotu
H0: µ1 = µ2
H1: µ1 < µ2
Procedura 1: µ1 = 2,05 g/100g, σ21 = 0,050 (n1 = 30)
Procedura 2: µ2 = 2,21 g/100g, σ22 = 0,040 (n2 = 32)
chemików
25
H0: µ1 = µ2 ↔ µ1 - µ2 = 0
H1: µ1 < µ2 ↔ µ1 - µ2 < 0
Test jednostronny
(µ1 − µ 2 ) − 1,95
(σ
2
1
) (
/ n1 + σ 22 / n2
)
H0: µ1 = µ2
H1: µ1 < µ2
Test jednostronny
(µ1 − µ 2 ) − 1,95
(σ
2
1
) (
/ n1 + σ 22 / n2
)
Jeśli 0 jest większe niż wartość krytyczna H0 jest
spełniona
chemików
26
Przykład
z=
z=
µ1 − µ 2
(σ /n ) + (σ /n )
2
1
1
2
2
2
2,05 − 2,21
= −2,96
(0,050/30) + (0,040/32)
Dla małej liczby próbek: test t opiera się o następujące
założenia:
– próbki o średniej µ1 i µ2 oraz wariancjach σ21 i σ22 mają rozkład
normalny
– wariancje są równe
Gdy ostatni warunek jest pełniony możemy obliczyć łączną
wariancję jako:
σ2 =
(n1 − 1)σ12 + (n 2 − 1)σ 22
chemików
n1 + n 2 − 2
27
Test t dla porównania dwóch średnich o małej liczbie
próbek przyjmuje postać:
t (α/2,n1 + n 2 − 2 ) =
µ1 − µ 2
σ 2 (1/n1 + 1/n 2 )
Dla testu dwustronnego H0 jest przyjęta jeśli |t| < tcrit
Dla testu jednostronnego, gdy H1: µ1 > µ2, H0 jest
przyjęta dla |t| < tcrit
Dla testu jednostronnego, gdy H1: µ1 < µ2, H0 jest
przyjęta dla |t| > -tcrit
chemików
28
Przykład
Procedura 1: µ1 = 2,05 g/100g, σ21 = 0,050 (n1 = 8)
Procedura 2: µ2 = 2,21 g/100g, σ22 = 0,040 (n2 = 7)
H0: µ1 = µ2
H1: µ1 < µ2
7 ⋅ 0,050 + 6 ⋅ 0,040
= 0,045
13
− 0,16
t=
= −1,46
0,045(1/7 + 1/8)
σ2 =
tcrit (13 st. swobody, 95%) = 1,771
Test Cochrana
Jeśli wariancje nie są statystycznie porównywalne,
wówczas aby porównać dwie średnie stosujemy test
Cochrana
t=
t' =
(σ /n
2
1
µ1 − µ 2
1
) (
)
t1 – dla n1 - 1 stopni swobody
t2 – dla n2 - 1 stopni swobody
− 1 + σ 22 /n 2 − 1
(
(
) (
) (
)
t1 σ12 /n 1 − 1 + t 2 σ 22 /n 2 − 1
σ12 /n 1 − 1 + σ 22 /n 2 − 1
chemików
)
29
Przykład
Procedura 1: µ1 = 2,05 g/100g, σ21 = 0,050 (n1 = 9)
Procedura 2: µ2 = 2,21 g/100g, σ22 = 0,010 (n2 = 8)
H0: µ1 = µ2
H1: µ1 < µ2
t=
t' =
− 0,16
= −1,82
(0,050/8) + (0,01/7)
1,860(0,050/8) + 1,895(0,010/7 )
= 1,86
(0,050/8) + (0,010/7)
Jeśli t < -t' to przyjmujemy hipotezę H1
Porównanie średnich - parowanie
Próbki są parowane jeśli istnienie pomiędzy nimi
odpowiedniość 1:1, np.:
– zmierzono zawartość azotu w próbkach dwiema technikami
analitycznymi, których wyniki przedstawiono poniżej:
Procedura 1
Procedura 2
chemików
30
Pod uwagę bierzemy różnice odpowiednich próbek
– di = x1i-x2i
d=
∑d
i
n
H0:
d=0
H1:
d≠0
Tak sformułowana hipoteza zerowa sprowadza problem
do testowania, czy różnica pomiędzy wartością średnia,
a zerem jest statystycznie istotna.
Możemy stosować ten sam test co wcześniej, kiedy
rozmawialiśmy o tabletkach.
W zależności od liczby pomiarów w rachubę wchodzą
wartości krytyczne rozkładu normalnego lub rozkładu t.
chemików
31
Dla dużej liczby próbek (co najmniej), możemy przyjąć
rozkład normalny. Wówczas statystyka ma postać:
z=
d −0
σ/ n
odchylenie standardowe różnic
Zakładając dany poziom α, wówczas w tablicach odczytujemy wartość krytyczną
dla tego poziomu (np. 0,05)
Zakładając dany poziom α, wówczas w tablicach
odczytujemy wartość krytyczną dla tego poziomu
(np. 0,05)
zakładając H0:
H1:
d=0
d≠0
wartość krytyczna wynosi 1,96 dla testu dwustronnego
|z| < crit
chemików
32
Zakładając dany poziom α, wówczas w tablicach
odczytujemy wartość krytyczną dla tego poziomu
(np. 0,05)
zakładając H0:
H1:
d =0
d >0
t < crit
d =0
d <0
H0:
H1:
t > -crit
Przykład
Procedura 1
Procedura 2
di
z=
0.2
d −0
σ/ n
-0,1
d=
-0,2
0,2
∑d
n
i
∑ (d
chemików
i =1
0,2
0,1
-0,1
= 0,05
n
σ=
0,1
− d)
2
i
n −1
= 0,16
33
Rozwiązanie
∑ (d
n
d=
t=
∑d
i
n
d
σ/ n
= 0,05
=
σ=
i =1
− d)
2
i
n −1
= 0,16
0,05
= 0,88
0,16/ 8
Porównanie wariancji
Do porównania dwóch wariancji stosujemy test F
Wyraża on stosunek dwóch wariancji
σ12
F = 2 , σ12 > σ 22
σ2
df1 = n1 – 1
df2 = n2 – 1
chemików
34
Wartości krytyczne dla testu F
α = 0,025 dla testu jednostronnego lub α = 0,05 dla testu dwustronnego
Liczba stopni swobody – n2
Liczba stopni swobody – n1
1
2
3
4
5
6
7
8
9
10
1
647,79
799,50
864,16
899,58
921,85
937,11
948,22
956,66
963,28
968,63
2
38,51
39,00
39,17
39,25
39,30
39,33
39,36
39,37
39,39
39,40
3
17,44
16,04
15,44
15,10
14,88
14,73
14,62
14,54
14,47
14,42
4
12,22
10,65
9,98
9,60
9,36
9,20
9,07
8,98
8,90
8,84
5
10,01
8,43
7,76
7,39
7,15
6,98
6,85
6,76
6,68
6,62
6
8,81
7,26
6,60
6,23
5,99
5,82
5,70
5,60
5,52
5,46
7
8,07
6,54
5,89
5,52
5,29
5,12
4,99
4,90
4,82
4,76
8
7,57
6,06
5,42
5,05
4,82
4,65
4,53
4,43
4,36
4,30
9
7,21
5,71
5,08
4,72
4,48
4,32
4,20
4,10
4,03
3,96
10
6,94
5,46
4,83
4,47
4,24
4,07
3,95
3,85
3,78
3,72
Test F
Formułowanie hipotez
H0:
H1:
σ12 = σ 22
H0:
H1:
σ12 = σ 22
σ12 ≠ σ 22
σ12 > σ 22
test dwustronny
test jednostronny
α dla testu jednostronnego odpowiada 2α testu dwustronnego
chemików
35
Przykład
σ12 = 0,05 (n1 = 8)
σ 22 = 0,04 (n2 = 7)
F=
0,05
= 1,25
0,04
Przykład
Czy różnice pomiędzy wariancjami dwóch metod są
statystycznie istotne?
F < crit -> H0
F0,05,7,6 = 5,70
chemików
36

Blok 2

Transkrypt

Podobne dokumenty

Blok 3

Przemówienie przedstawiciela fundatora tablicy

stat_matem_program_r..

Chemiczne puzzle czyli świat molekularnych maszyn Anna Micek

Statystyki stron - Programy Partnerskie

Komenda Powiatowa Policji w Bieruniu Objazd ul. Chemików w

Społeczny rodowód statystyki