Trafność kryterialna

Psychometria
Co wyniki testu mówią nam o samym teście?
klasyczna teoria rzetelności
testu
B. Trafność pomiaru testem.
W6
dr Łukasz Michalczyk
rzetelność
rozkład X + błąd losowy
rozkład X
trafność
rozkład X + błąd systematyczny
rozkład X
Trafność
czy udało się zmierzyć to, co zamierzaliśmy zmierzyć
Błąd losowy nie wpływa na średnią grupową
a na wariancję (zróżnicowanie) wyników.
Błąd systematyczny nie wpływa na
wariancję (zróżnicowanie) wyników,
ale na średnią grupową.
Rodzaje trafności
trafność treściowa
a) trafność treściowa (wewnętrzna),
b) trafność kryterialna (diagnostyczna i prognostyczna),
Analiza trafności treściowej jest niezbędnym etapem prac
konstrukcyjnych testu
c) trafność teoretyczna.
etapy oceny trafności treściowej
• Precyzyjna definicja cechy
Definicja:
Trafność treściowa (wewnętrzna)
to reprezentatywność danej puli pozycji dla
uniwersum pozycji mierzących daną cechę.
• Opis aspektów cechy: podwymiarów czy fasad cechy
• Ocena liczby pozycji w każdym podwymiarze oraz teście
jako całości
• Ocena pozycji w każdym podwymiarze oraz w całym teście
przez grupę ekspertów na skalach ocen (trafność
treściowa) lub osób badanych (typowość)
trafność kryterialna
Definicja:
Trafność kryterialna
trafność diagnostyczna
trafność prognostyczna
to stopień, w jakim test pozwala na przewidywanie
określonego kryterium zewnętrznego.
trafność kryterialna
trafność kryterialna
kryterium
jest to zachowanie czy właściwość, o której chcemy
wnioskować z wyniku ocenianego testu
kryterium jest zewnętrzne w stosunku do testu
Przykłady:
efektywność pracy zawodowej,
stopnie szkolne,
diagnoza psychiatryczna czy psychologiczna,
oceny sędziów kompetentnych,
wyniki innych testów
trafność diagnostyczna
trafność prognostyczna
trafność kryterialna
trafność kryterialna
dane z metaanalizy
poprawka na nierzetelność kryterium
Poprawka na nierzetelność kryterium:
rkt
rs-k = -------------Rtt-k
rs-k - skorygowany współczynnik korelacji, rkt - współczynnik korelacji
przed skorygowaniem, Rtt-k współczynnik rzetelności kryterium.
1. Testy zdolności – korelacje około 0,50 ze wskaźnikami
efektywności pracy oraz osiągnięciami szkolnymi (0,70 – szkoła
podstawowa, 0,50 – szkoła średnia oraz 0,30 – szkoła wyższa).
2. Skale osobowości – korelacje około 0,30 ze wskaźnikami
efektywności pracy oraz 0,50 z diagnozą kliniczną
(psychiatryczną).
trafność kryterialna
poprawka na nierzetelność kryterium i testu
trafność kryterialna
Dane z dwóch metaanaliz trafności kryterialnej skal osobowości i efektywności pracy
(w nawiasach korelacje skorygowane na nierzetelność kryterium i/lub skali).
Poprawka na nierzetelność kryterium i testu:
rkt
rs-kt = -------------Rtt-k Rtt-t
rs-kt - skorygowany współczynnik korelacji, rkt - współczynnik korelacji przed
skorygowaniem, Rtt-k współczynnik rzetelności kryterium, Rtt-t -współczynnik
rzetelności testu.
Skala
Mount i Barrick (1991)
Tett, Jackson i Rothstein (1991)
Neurotyczność
-0,04 (-0,07)
-0,15 (-0,22)
Ekstrawersja
0,06 (0,10)
0,10 (0,16)
Otwartość
-0,02 (-0,03)
0,18 (0,27)
Sumienność
0,13 (0,23)
0,12 (0,18)
Ugodowość
0,04 (0,06)
0,22 (0,33)
trafność kryterialna
Cechy OCEAN a powodzenie zawodowe
(Judge, Higgins, Thoresen i Barrick, 1999).
Openness to experience (Otwartość na doświawcenie)
Conscientiousness (Sumienność)
Extraversion (Ekstrawersja)
Agreeableness (Ugodowość)
Neuroticism (Neurotyzm)
Definicja:
N
Cechy Pięcioczynnikowego Modelu
Osobowości badane w dzieciństwie,
zostały odniesione do subiektywnie
ocenianego sukcesu zawodowego oraz
zobiektywizowanych wskaźników
sukcesu zawodowego, badanych w
dorosłości - po upływie 50 lat.
Trafność teoretyczna
O
A
C
E
Związki między:
a) cechami temperamentu: reaktywnością emocjonalną i aktywnością,
b) cechami osobowości: depresyjnością oraz uległością,
c) paleniem tytoniu
-0,60
aktywność
• Metody bazujące na analizie związku pomiędzy
• metoda zmian nieprzypadkowych
depresyjność
reaktywność
metody szacowania trafności teoretycznej
konstruktem a zachowaniem:
a zachorowaniem na raka płuca.
-0,76
to zgodność treści mierzonej przez test z konstruktem
teoretycznym.
0,23
• metoda sprawdzania różnic międzygrupowych
-0,23
-0,21
uległość
-0,51
-0,24
0,21
RAK PŁUC
0,56
palenie
Korelacje cech osobowości z diagnozą medyczną
(tutaj dla raka płuc) wynosiły ok. 0,20. Podobne
wyniki uzyskuje się w innych badaniach.
Zawadzki, 2001
• metoda badania procesu rozwiązania testu
metody szacowania trafności teoretycznej
metoda zmian nieprzypadkowych
• Metody bazujące na analizie macierzy korelacji pomiędzy
testem, a innymi testami przeznaczonymi do badania
danego konstruktu
• metoda badania wewnętrznej struktury testu
• zmiany rozwojowe
• „Postulat lekowy” - metoda opracowana w psychiatrii i
stosowana przez H. Eysencka.
• metoda analizy macierzy korelacji i analizy czynnikowej
(eksploracyjnej i konfirmacyjnej) danego testu oraz
testów, badających ten sam konstrukt
• badanie trafności konwergencyjnej i dyskryminacyjnej
(zbieżnej i różnicowej) za pomocą analizy macierzy
Wielu Cech- Wielu Metod wg Campbella i Fiskego
metody szacowania trafności teoretycznej
metoda zmian nieprzypadkowych
• Metody bazujące na analizie związku pomiędzy
konstruktem a zachowaniem:
• metoda zmian nieprzypadkowych
•
metoda sprawdzania różnic międzygrupowych
• metoda badania procesu rozwiązania testu
Wiek a
aktywność,
badana FCZ-KT
(wyniki
standaryzowane
7 prób
narodowych).
metoda zmian nieprzypadkowych
metody szacowania trafności teoretycznej
• Metody bazujące na analizie związku pomiędzy
• zmiany rozwojowe
• „Postulat lekowy” - metoda opracowana w psychiatrii i
stosowana przez H. Eysencka.
konstruktem a zachowaniem:
• metoda zmian nieprzypadkowych
• metoda sprawdzania różnic międzygrupowych
• metoda badania procesu rozwiązania testu
Założenia:
Ekstrawersja jest wyznaczana przez poziom pobudzenia
korowego (ekstrawertycy wykazują niski poziom
pobudzenia)
metody szacowania trafności teoretycznej
metoda sprawdzania różnic międzygrupowych
• Metody bazujące na analizie związku pomiędzy
konstruktem a zachowaniem:
• metoda zmian nieprzypadkowych
• metoda sprawdzania różnic międzygrupowych
• metoda badania procesu rozwiązania testu
ocena różnic w wynikach testu, uzyskanych przez różne
grupy demograficzne, wyodrębnione w oparciu o teorię
różnice międzygrupowe we wrażliwości i
wytrzymałości
metoda sprawdzania różnic międzygrupowych
Hipotezy:
• Muzycy – wysoki poziom wrażliwości sensorycznej (zdolność
specjalna), ale niski poziom wytrzymałości;
badania Nyborg’a
• Sportowcy – wysoki poziom wytrzymałości (zdolność specjalna), ale
niski wrażliwości sensorycznej;
• Przestępcy (mordercy) – wysoki poziom wytrzymałości i niski poziom
wrażliwości sensorycznej;
różnice międzygrupowe we wrażliwości i
wytrzymałości
metody szacowania trafności teoretycznej
• Metody bazujące na analizie związku pomiędzy
konstruktem a zachowaniem:
Grupa
Wrażliwość
sensoryczna
Wytrzymałość
Przestępcy (mordercy)
13,39
11,18
Sportowcy (zapaśnicy)
13,43
11,18
Artyści (muzycy)
15,68
8,76
Norma (mężczyźni)
15,00 (3,45)
10,26 (4,78)
Nauczycielki
16,67
12,57
Artystki (muzycy)
17,32
6,38
Norma - kobiety
16,23 (2,86)
8,04 (4,58)
• metoda zmian nieprzypadkowych
• metoda sprawdzania różnic międzygrupowych
• metoda badania procesu rozwiązania testu
metoda badania procesu rozwiązania testu
• obserwacja kolejności wykonywanych czynności
• analiza elementów zadania sprawiających najwięcej
trudności
• analiza elementów pomijanych
• analiza popełnianych błędów
• wgląd w procesy odpowiadania na pozycje testu
• zmiana dotychczasowej koncentracji na analizie
samych odpowiedzi
metody szacowania trafności teoretycznej
• Metody bazujące na analizie macierzy korelacji pomiędzy
testem, a innymi testami przeznaczonymi do badania
danego konstruktu
• metoda badania wewnętrznej struktury testu
• metoda analizy macierzy korelacji i analizy czynnikowej
Analiza czynnikowa
eksploracyjna lub konwergencyjna
wymiary inteligencji
Niska
Wysoka
Analiza czynnikowa
eksploracyjna lub konwergencyjna
wymiary inteligencji
Wysokie zdolności
matematyczne
IV!
I!
(eksploracyjnej i konfirmacyjnej) danego testu oraz
testów, badających ten sam konstrukt
• badanie trafności konwergencyjnej i dyskryminacyjnej
(zbieżnej i różnicowej) za pomocą analizy macierzy
Wielu Cech- Wielu Metod wg Campbella i Fiskego
Niskie zdolności
werbalne
III!
Niskie zdolności
matematyczne
Wysokie zdolności
werbalne
II!
Analiza czynnikowa
eksploracyjna lub konwergencyjna
wymiary inteligencji
Wysokie zdolności
matematyczne
Niskie zdolności
werbalne
Niskie zdolności
przestrzenne
Wysokie zdolności
przestrzenne
Aspekt zbieżny trafności (trafność konwergencyjna)
Aspekt zbieżny i różnicowy trafności
Niskie zdolności
matematyczne
eksploracyjna lub konwergencyjna
pełen energii
ekstrawersja
zazdrosny
Gdy można wykazać niską korelację z innymi testami mierzącymi
inne cechy
Oceny z
matematyki"
Test zdolności
matematycznych"
nerwowy
zrelaksowany
Wielu Cech - Wielu Metod
Trafność zbieżna$
rozmowny
kapryśny
Analiza macierzy
Aspekt różnicowy trafności (trafność dywergencyjna)
nieśmiały
drażliwy
Wielu Cech - Wielu Metod
Wysokie zdolności
werbalne
Analiza czynnikowa
wycofany
Analiza macierzy
neurotyzm
Trafność rozbieżna$
WF"
Analiza macierzy
Plan wykładów
Wielu Cech - Wielu Metod
Aspekt różnicowy trafności (trafność dywergencyjna)
Gdy można wykazać niską korelację z innymi testami mierzącymi
inne cechy
4. - 7. Co wyniki testu mówią nam o samym teście?
A. Rzetelność pomiaru testem.
Założenie:
każda z szeregu cech mierzona jest przy użyciu więcej niż
jednej metody.
W idealnej sytuacji każda cecha powinna być mierzona przy
zastosowaniu każdej z metod.
Rodzaje trafności"
Trafność
kryterialna"
Trafność
prognostyczna"
Trafność
treściowa"
Trafność"
diagnostyczna"
Trafność
teoretyczna"
Trafność"
zbieżna"
Trafność"
różnicowa"
B. Trafność pomiaru testem.
C. Właściwości psychometryczne pozycji testowych.