Psychometria

Transkrypt

Psychometria

definicja rzetelności
błąd pomiaru: systematyczny i losowy
rozkład X + błąd losowy
Psychometria
rozkład X + błąd systematyczny
rozkład X
rozkład X
Co wyniki testu mówią nam o samym teście?
A. Rzetelność pomiaru testem.
W5
Błąd losowy nie wpływa na średnią grupową
a na wariancję (zróżnicowanie) wyników.
dr Łukasz Michalczyk
Błąd systematyczny nie wpływa na
wariancję (zróżnicowanie) wyników,
ale na średnią grupową.
1
3
TEN SLAJD JUŻ ZNAMY
błąd pomiaru: systematyczny i losowy
PLAN NAJBLIŻSZYCH
WYKŁADÓW
klasyczna teoria rzetelności testu
pojęcia: wariancja, kowariancja, odchylenie
standardowe, standardowy błąd pomiaru
TEORIA: Definicja rzetelności: ogólna i matematyczna (wykład 4)
PRAKTYKA: Metody określania rzetelności testów
psychologicznych (wykład 5)
wskaźnik rzetelności, współczynnik determinacji
2
4
Jak wielki jest związek pomiędzy wynikiem
otrzymanym (X) a wynikiem prawdziwym (T) ?
wskaźnik rzetelności (ang. reliability index)
wskaźnik
rzetelności
(ang. reliability
współczynnik
determinacji
index)
współczynnik
korealcji
kowariancja
X=T +E
„miarą siły związku
między dwiema
zmiennymi jest
współczynnik
determinacji”
odchylenia
standardowe
(Ferguson, Takayama, 1997)
„współczynnik korelacji” = „wskaźnik rzteleności”
5
X = T+ E
7
Definicja:
wskaźnik rzetelności (ang. reliability index)
Rzetelność pomiaru testem
Klasyczna teoria
rzetelności testu:
to kwadrat
proporcja
korelacji
wariancji
między
wyników
wynikami
prawdziwych
prawdziwymido
a
wariancji wyników otrzymanych.
otrzymanymi.
Aksjomat 2:
X = T+ E
Nie ma związku
pomiędzy błędami
pomiaru a wynikami
prawdziwymi
6
8
współczynnik determinacji
r=1
r=
tt
tt
r
tt
• X=T dla wszystkich badanych
• E=0
• ρTX=1
• σT2= σX2
<0,1>
Informuje jaką część wariancji wyników prawdziwych stanowi
wariancja wyników otrzymanych.
Wskazuje na zakres w jakim różnice indywidualne w wynikach
testowych można przypisać prawdziwym różnicom w zakresie
badanej cechy, a w jakim – błędom losowym.
9
Błąd
11
X =T + E
r=0
Wariancja
wyniku
prawdziwego
rzetelny test
tt
Błąd
Wariancja
wyniku
prawdziwego
• X=E dla wszystkich badanych
• ρXE=1
• σT2= σE2
mało rzetelny test
10
12
Jak wielki jest związek pomiędzy wynikiem otrzymanym (X) a wynikiem prawdziwym (T) ?
bład pomiaru: systematyczny i losowy
r=
tt
r
tt
<0,1>
test 1
test 2
Wariancja
wyniku
prawdziwego
40
40
pojęcia: wariancji, odchylenia standardowego,
standardowego błędu pomiaru
Wariancja
błędu
20
10
wskaźnik
rzetelności
40 / (40+20)
= 0,67
40 / (40+10)
= 0,80
właściwości rozkładu wyników u pojedynczej osoby
Informuje jaką część wariancji wyników prawdziwych stanowi wariancja wyników
otrzymanych.
właściwości rozkładu wyników w populacji
Wskazuje na zakres w jakim różnice indywidualne w wynikach testowych można przypisać
prawdziwym różnicom w zakresie badanej cechy, a w jakim – błędom losowym.
13
15
Jak wielki jest związek pomiędzy wynikiem otrzymanym (X) a wynikiem prawdziwym (T) ?
r=
tt
r
tt
<0,1>
test 1
test 2
Wariancja
wyniku
prawdziwego
20
60
Wariancja
błędu
10
10
wskaźnik
rzetelności
20 / (20+10)
= 0,67
60 / (60+10)
= 0,86
Andrzej 140
Andrzej
Wniosek: Im bardziej heterogeniczna jest badana cecha (większa
zmienność) tym „łatwiej” uzyskać rzetelny test
14
100
140
16
Andrzej
140
------
pojedyncza
osoba
-1
0
1
populacja
2,1% 0,1%
T
?
ponad 60% populacji
0,1%
2,1%
2,1% 0,1%
M
17
19
X=T +E
X=E
Andrzej
2,1%
0,1%
pojedyncza
osoba
140
1,5
------
0,1%
2,1%
2,1% 0,1%
T
ponad 60% populacji
-1
0
1
0
18
20
I założenie teorii
populacja a osoba
pojedyczna
Średnia arytmetyczna w rozkładzie wszystkich
wyników otrzymanych będzie równa średniej wyników
prawdziwych.
0,1%
PLAN NAJBLIŻSZYCH
WYKŁADÓW
II założenie teorii
pojedyncza
osoba
2,1%
2,1% 0,1%
rozkład wyników prawdziwych
Wariancja w rozkładzie wszystkich wyników
otrzymanych będzie większa od wariancji
wyników prawdziwych.
III założenie teorii
TEORIA: Definicja rzetelności: ogólna i matematyczna (wykład 4)
Rozkład błędów w rozkładzie populacji będzie
taki sam jak rozkład błędów pojedynczej osoby.
rozkład błędów
pomiaru
PRAKTYKA: Metody określania rzetelności testów
psychologicznych (wykład 5)
rozkład wyników otrzymanych
0
0,1%
T T
2,1%
2,1% 0,1%
M
T T
21
23
bład pomiaru: systematyczny i losowy
Psychometria
pojęcia: wariancji, odchylenia standardowego,
standardowego błędu pomiaru
Co wyniki testu mówią nam o samym teście?
A. Metody określania rzetelności testów
psychologicznych
właściwości rozkładu wyników u pojedynczej osoby
właściwości rozkładu wyników w populacji
W5
dr Łukasz Michalczyk
22
24
test - retest
Wynik prawdziwy jest
nieobserwowalny
(„stabilność bezwzględna”)
dwukrotne badanie tej samej grupy tym samym
testem
nie możemy więc obliczyć rzetelności;
odstęp czasowy: kilka tygodni - kilka miesięcy
możemy za to oszacować jej wielkość;
miara rzetelności: współczynnik korelacji między
dwoma pomiarami (r-Pearsona)
za każdym razem oszacowanie to próba oceny udziału wariancji
wyniku prawdziwego w wariancji wyniku otrzymanego.
Musi być spełnione założenie równoległości
pomiaru tzn. M1 = M2
25
27
Rodzaje oszacowań
Wynik prawdziwy
Wynik otrzymany
test - retest
testy równoległe
test o większej
rzetelności
Błąd pomiaru
test o mniejszej
rzetelności
jednokrotne badanie danym testem
metoda połówkowa
zgodność wewnętrzną
Pomiar 1
zgodność sędziów kompetentnych
26
Pomiar 2
Pomiar 1
Pomiar 2
Im większy błąd losowy tym mniejsza korelacja między
oboma pomiarami.
28
testy równoległe
testy równoległe
(wersje alternatywne)
(wersje alternatywne)
Średnia wyników otrzymanych w teście A równa się średniej wyników
otrzymanych w teście B.
ZALETY
Odchylenie standardowe wyników otrzymanych w teście A równa się
odchyleniu standardowemu wyników otrzymanych w teście B.
Interkorelacje w teście A są takie same jak& interkorelacje w teście B.
Test A (wyniki otrzymane) koreluje z zewnętrznym kryterium tak samo
jak test B.
WADY
1. minimalizacja efektu
zapamiętywania
1. nie można wykluczyć, że
nadal występuje efekt
uczenia się i wprawy
2. istnienie dwóch wersji
testu - użyteczne nie tylko
jako miara rzetelności, ale
także porównanie wyników
osiągnięć.
2. tworzenie dwóch wersji
jest mało ekonomiczne.
29
31
Metoda połówkowa
testy równoległe
„współczynnik równoważności
międzypołówkowej”
rzetelność = współczynnik
równoważność
międzytestowej
(r=Pearsona)
część A testu$
część B testu$
rzetelność = korelacja między parami wyników
równoważnych połówek testu
czas!
rzetelność = współczynnik
stabilności względnej
(r=Pearsona)
30
32
Metoda połówkowa
1.
3.
5.
7.
9.
część B testu$
inne to:
1. dobór losowy
2. podział dosłownie na pół
3. wg kryterium podobieństwa
parzyste - nieparzyste
część A
Metoda połówkowa
część A testu$
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
część B testu$
wzór Spearmana - Browna
część B
2.
4.
6.
8.
10.
k– stosunek liczby pozycji testowych dłuższego testu do liczby pozycji testowych
krótszego testu
33
Metoda połówkowa
część A testu$
35
Metoda połówkowa
część A testu$
część B testu$
część A testu$
część B testu$
np. mamy test o rzetelności rtt=0,60
wzór Spearmana - Browna = poprawka na zredukowaną
długość testu
szacowanie rzetelności całego testu na podstawie rzetelności jego połowy
- rzetelność (współczynnik korelacji)
całego testu
Długość testu
k
Przewidywana rzetelność
40 itemów
2
0,75
60 itemów
80 itemów
3
4
0,81
0,85
100 itemów
5
0,88
120 itemów
6
0,90
- współczynnik korelacji pomiędzy
połówkami testu
krótszego testu
34
36
Metoda połówkowa
część A testu$
Zgodność wewnętrzna
część B testu$
Współczynnik alfa Cronbacha (2005)
K= liczba itemów w teście
Si2=wariancja odpowiedzi i-tego itemu
SX2= wariancja wyników testu
np. mamy test o rzetelności rtt=0,60
Długość testu
k
40 itemów
2
Przewidywana rzetelność
0,75
60 itemów
80 itemów
3
4
0,81
0,85
100 itemów
5
0,88
120 itemów
6
0,90
używany w przypadku
różnych formatów
odpowiedzi
krótszego testu
37
39
Zgodność oceny sędziów
kompetentnych
Zgodność wewnętrzna
Kuder, Richardson (2005)
K= liczba itemów w teście
p= procent poprawnych odpowiedzi
q= 1-p (procent błędnych odpowiedzi)
Sx2= wariancja wyników testu
bardziej rzetelny
mniej rzetelny
stosowany gdy odpowiedzi osoby badanej podlegają swobodnej ocenie diagnosty
pytanie 1
....
pytanie 30
źródłem błedu (E) - subiektywność oceny sędziów, czyli rozbieżność pomiędzy
nimi w ocenie odpowiedzi
używany w przypadku
dwukategorialnych
formatów odpowiedzi
(tak/nie)
WSPÓŁCZYNNIKI KORELACJI:
r - Pearsona => gdy dwóch sędziów
W - Kendalla => gdy więcej sędziów
38
40
Jakie czynniki
Interpretacja wartości współczynnika rzetelności
wpływają na rzetelność testu?
rtt > 0,90 – bardzo rzetelny pomiar, test może być stosowany zarówno w badaniach
naukowych, jak i do formułowania diagnoz indywidualnych
1.poziom trudności pozycji testowych
2.długość narzędzia (liczba pozycji testowych)
3.metoda oceny rzetelności
4.format odpowiedzi
5.wariancja badanej zmiennej w próbie
6.procedura: sposób podania testu, jasna instrukcja
7.osoba testująca
8.podobieństwo pozycji testowych
9.warunki fizyczne sytuacji w jakiej test był wypełniany oraz stan badanego
10.jakość pozycji testowych
0,90 > rtt > 0,80 – rzetelny pomiar, test może być stosowany w badaniach naukowych, jak i do
diagnoz indywidualnych, które będą mniej precyzyjne
0,80 > rtt > 0,70 – przeciętna rzetelność, test powinien być stosowany jedynie w badaniach
naukowych
0,70 > rtt > 0,60 – niska rzetelność, test może być stosowany warunkowo w badaniach
naukowych
0,60 > rtt > 0,50 – wątpliwa rzetelność pomiaru, test bezużyteczny
41
Metoda
KR tzn. Kudera
Richardsona
Źródło błędów
pomiar wykonany jeden po drugim:
test - retest
czynniki losowe związane z
osobą badań, ujawniające się w
krótkim czasie
pomiar z przerwą czasową:
test - retest
Zmienność w czasie warunków
badania i stanu badanych
pomiar wykonany jeden po drugim:
wspólczynnik równoważności
międzytestowej:
dobór treści
pomiar z przerwą czasową:
wspólczynnik stabilności względnej
dobór treści z zmienność w czasie
metoda połówkowa
dobór treści
współczynnik KR lub alfa Cronbacha
dobór treści
zgodność sędziów kompetentnych
różnice między sędziami
43
Plan wykładów
4. - 7. Co wyniki testu mówią nam o samym teście?
A. Rzetelność pomiaru testem.
B. Trafność pomiaru testem.
C. Właściwości psychometryczne pozycji testowych.
42
44

Psychometria

Transkrypt

Podobne dokumenty

Katowickie Spotkania Psychometryczne

Testy do oznaczania grup krwi - Weterynaryjny Bank Krwi im. Milusia