Psychometria
Transkrypt
Psychometria
definicja rzetelności błąd pomiaru: systematyczny i losowy rozkład X + błąd losowy Psychometria rozkład X + błąd systematyczny rozkład X rozkład X Co wyniki testu mówią nam o samym teście? A. Rzetelność pomiaru testem. W5 Błąd losowy nie wpływa na średnią grupową a na wariancję (zróżnicowanie) wyników. dr Łukasz Michalczyk Błąd systematyczny nie wpływa na wariancję (zróżnicowanie) wyników, ale na średnią grupową. 1 3 definicja rzetelności TEN SLAJD JUŻ ZNAMY błąd pomiaru: systematyczny i losowy PLAN NAJBLIŻSZYCH WYKŁADÓW klasyczna teoria rzetelności testu pojęcia: wariancja, kowariancja, odchylenie standardowe, standardowy błąd pomiaru TEORIA: Definicja rzetelności: ogólna i matematyczna (wykład 4) PRAKTYKA: Metody określania rzetelności testów psychologicznych (wykład 5) wskaźnik rzetelności, współczynnik determinacji 2 4 TEN SLAJD JUŻ ZNAMY TEN SLAJD JUŻ ZNAMY Jak wielki jest związek pomiędzy wynikiem otrzymanym (X) a wynikiem prawdziwym (T) ? Jak wielki jest związek pomiędzy wynikiem otrzymanym (X) a wynikiem prawdziwym (T) ? wskaźnik rzetelności (ang. reliability index) wskaźnik rzetelności (ang. reliability współczynnik determinacji index) współczynnik korealcji kowariancja X=T +E „miarą siły związku między dwiema zmiennymi jest współczynnik determinacji” odchylenia standardowe (Ferguson, Takayama, 1997) „współczynnik korelacji” = „wskaźnik rzteleności” 5 X = T+ E TEN SLAJD JUŻ ZNAMY 7 TEN SLAJD JUŻ ZNAMY Jak wielki jest związek pomiędzy wynikiem otrzymanym (X) a wynikiem prawdziwym (T) ? Definicja: wskaźnik rzetelności (ang. reliability index) Rzetelność pomiaru testem Klasyczna teoria rzetelności testu: to kwadrat proporcja korelacji wariancji między wyników wynikami prawdziwych prawdziwymido a wariancji wyników otrzymanych. otrzymanymi. Aksjomat 2: X = T+ E Nie ma związku pomiędzy błędami pomiaru a wynikami prawdziwymi 6 8 Jak wielki jest związek pomiędzy wynikiem otrzymanym (X) a wynikiem prawdziwym (T) ? Jak wielki jest związek pomiędzy wynikiem otrzymanym (X) a wynikiem prawdziwym (T) ? współczynnik determinacji współczynnik determinacji r=1 r= tt tt r tt • X=T dla wszystkich badanych • E=0 • ρTX=1 • σT2= σX2 <0,1> Informuje jaką część wariancji wyników prawdziwych stanowi wariancja wyników otrzymanych. Wskazuje na zakres w jakim różnice indywidualne w wynikach testowych można przypisać prawdziwym różnicom w zakresie badanej cechy, a w jakim – błędom losowym. 9 Jak wielki jest związek pomiędzy wynikiem otrzymanym (X) a wynikiem prawdziwym (T) ? Błąd 11 Jak wielki jest związek pomiędzy wynikiem otrzymanym (X) a wynikiem prawdziwym (T) ? współczynnik determinacji współczynnik determinacji X =T + E r=0 Wariancja wyniku prawdziwego rzetelny test tt Błąd Wariancja wyniku prawdziwego • X=E dla wszystkich badanych • ρXE=1 • σT2= σE2 mało rzetelny test 10 12 Jak wielki jest związek pomiędzy wynikiem otrzymanym (X) a wynikiem prawdziwym (T) ? współczynnik determinacji definicja rzetelności bład pomiaru: systematyczny i losowy r= tt r tt <0,1> test 1 test 2 klasyczna teoria rzetelności testu Wariancja wyniku prawdziwego 40 40 pojęcia: wariancji, odchylenia standardowego, standardowego błędu pomiaru Wariancja błędu 20 10 wskaźnik rzetelności, współczynnik determinacji wskaźnik rzetelności 40 / (40+20) = 0,67 40 / (40+10) = 0,80 właściwości rozkładu wyników u pojedynczej osoby Informuje jaką część wariancji wyników prawdziwych stanowi wariancja wyników otrzymanych. właściwości rozkładu wyników w populacji Wskazuje na zakres w jakim różnice indywidualne w wynikach testowych można przypisać prawdziwym różnicom w zakresie badanej cechy, a w jakim – błędom losowym. 13 15 Jak wielki jest związek pomiędzy wynikiem otrzymanym (X) a wynikiem prawdziwym (T) ? TEN SLAJD JUŻ ZNAMY współczynnik determinacji r= tt r tt <0,1> test 1 test 2 Wariancja wyniku prawdziwego 20 60 Wariancja błędu 10 10 wskaźnik rzetelności 20 / (20+10) = 0,67 60 / (60+10) = 0,86 Andrzej 140 Andrzej Wniosek: Im bardziej heterogeniczna jest badana cecha (większa zmienność) tym „łatwiej” uzyskać rzetelny test 14 100 140 16 TEN SLAJD JUŻ ZNAMY Andrzej 140 ------ TEN SLAJD JUŻ ZNAMY pojedyncza osoba -1 0 1 populacja 2,1% 0,1% T ? ponad 60% populacji 0,1% 2,1% 2,1% 0,1% M 17 19 X=T +E X=E TEN SLAJD JUŻ ZNAMY Andrzej 2,1% 0,1% pojedyncza osoba 140 1,5 ------ TEN SLAJD JUŻ ZNAMY 0,1% 2,1% 2,1% 0,1% T ponad 60% populacji -1 0 1 0 18 20 I założenie teorii populacja a osoba pojedyczna Średnia arytmetyczna w rozkładzie wszystkich wyników otrzymanych będzie równa średniej wyników prawdziwych. 0,1% PLAN NAJBLIŻSZYCH WYKŁADÓW II założenie teorii pojedyncza osoba 2,1% 2,1% 0,1% rozkład wyników prawdziwych Wariancja w rozkładzie wszystkich wyników otrzymanych będzie większa od wariancji wyników prawdziwych. III założenie teorii TEORIA: Definicja rzetelności: ogólna i matematyczna (wykład 4) Rozkład błędów w rozkładzie populacji będzie taki sam jak rozkład błędów pojedynczej osoby. rozkład błędów pomiaru PRAKTYKA: Metody określania rzetelności testów psychologicznych (wykład 5) rozkład wyników otrzymanych 0 0,1% T T 2,1% 2,1% 0,1% M T T TEN SLAJD JUŻ ZNAMY 21 23 definicja rzetelności bład pomiaru: systematyczny i losowy klasyczna teoria rzetelności testu Psychometria pojęcia: wariancji, odchylenia standardowego, standardowego błędu pomiaru Co wyniki testu mówią nam o samym teście? wskaźnik rzetelności, współczynnik determinacji A. Metody określania rzetelności testów psychologicznych właściwości rozkładu wyników u pojedynczej osoby właściwości rozkładu wyników w populacji W5 dr Łukasz Michalczyk 22 24 test - retest Wynik prawdziwy jest nieobserwowalny („stabilność bezwzględna”) dwukrotne badanie tej samej grupy tym samym testem nie możemy więc obliczyć rzetelności; odstęp czasowy: kilka tygodni - kilka miesięcy możemy za to oszacować jej wielkość; miara rzetelności: współczynnik korelacji między dwoma pomiarami (r-Pearsona) za każdym razem oszacowanie to próba oceny udziału wariancji wyniku prawdziwego w wariancji wyniku otrzymanego. Musi być spełnione założenie równoległości pomiaru tzn. M1 = M2 25 27 Rodzaje oszacowań Wynik prawdziwy Wynik otrzymany test - retest testy równoległe test o większej rzetelności Błąd pomiaru test o mniejszej rzetelności jednokrotne badanie danym testem metoda połówkowa zgodność wewnętrzną Pomiar 1 zgodność sędziów kompetentnych 26 Pomiar 2 Pomiar 1 Pomiar 2 Im większy błąd losowy tym mniejsza korelacja między oboma pomiarami. 28 testy równoległe testy równoległe (wersje alternatywne) (wersje alternatywne) Średnia wyników otrzymanych w teście A równa się średniej wyników otrzymanych w teście B. ZALETY Odchylenie standardowe wyników otrzymanych w teście A równa się odchyleniu standardowemu wyników otrzymanych w teście B. Interkorelacje w teście A są takie same jak& interkorelacje w teście B. Test A (wyniki otrzymane) koreluje z zewnętrznym kryterium tak samo jak test B. WADY 1. minimalizacja efektu zapamiętywania 1. nie można wykluczyć, że nadal występuje efekt uczenia się i wprawy 2. istnienie dwóch wersji testu - użyteczne nie tylko jako miara rzetelności, ale także porównanie wyników osiągnięć. 2. tworzenie dwóch wersji jest mało ekonomiczne. 29 31 Metoda połówkowa testy równoległe „współczynnik równoważności międzypołówkowej” rzetelność = współczynnik równoważność międzytestowej (r=Pearsona) część A testu$ część B testu$ rzetelność = korelacja między parami wyników równoważnych połówek testu czas! rzetelność = współczynnik stabilności względnej (r=Pearsona) 30 32 Metoda połówkowa „współczynnik równoważności międzypołówkowej” 1. 3. 5. 7. 9. część B testu$ „współczynnik równoważności międzypołówkowej” inne to: 1. dobór losowy 2. podział dosłownie na pół 3. wg kryterium podobieństwa parzyste - nieparzyste część A Metoda połówkowa część A testu$ 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. część B testu$ wzór Spearmana - Browna część B 2. 4. 6. 8. 10. k– stosunek liczby pozycji testowych dłuższego testu do liczby pozycji testowych krótszego testu 33 Metoda połówkowa „współczynnik równoważności międzypołówkowej” część A testu$ 35 Metoda połówkowa część A testu$ część B testu$ „współczynnik równoważności międzypołówkowej” część A testu$ część B testu$ np. mamy test o rzetelności rtt=0,60 wzór Spearmana - Browna = poprawka na zredukowaną długość testu szacowanie rzetelności całego testu na podstawie rzetelności jego połowy - rzetelność (współczynnik korelacji) całego testu Długość testu k Przewidywana rzetelność 40 itemów 2 0,75 60 itemów 80 itemów 3 4 0,81 0,85 100 itemów 5 0,88 120 itemów 6 0,90 - współczynnik korelacji pomiędzy połówkami testu k– stosunek liczby pozycji testowych dłuższego testu do liczby pozycji testowych krótszego testu 34 36 Metoda połówkowa „współczynnik równoważności międzypołówkowej” część A testu$ Zgodność wewnętrzna część B testu$ Współczynnik alfa Cronbacha (2005) K= liczba itemów w teście Si2=wariancja odpowiedzi i-tego itemu SX2= wariancja wyników testu np. mamy test o rzetelności rtt=0,60 Długość testu k 40 itemów 2 Przewidywana rzetelność 0,75 60 itemów 80 itemów 3 4 0,81 0,85 100 itemów 5 0,88 120 itemów 6 0,90 używany w przypadku różnych formatów odpowiedzi k– stosunek liczby pozycji testowych dłuższego testu do liczby pozycji testowych krótszego testu 37 39 Zgodność oceny sędziów kompetentnych Zgodność wewnętrzna Kuder, Richardson (2005) K= liczba itemów w teście p= procent poprawnych odpowiedzi q= 1-p (procent błędnych odpowiedzi) Sx2= wariancja wyników testu bardziej rzetelny mniej rzetelny stosowany gdy odpowiedzi osoby badanej podlegają swobodnej ocenie diagnosty pytanie 1 .... pytanie 30 źródłem błedu (E) - subiektywność oceny sędziów, czyli rozbieżność pomiędzy nimi w ocenie odpowiedzi używany w przypadku dwukategorialnych formatów odpowiedzi (tak/nie) WSPÓŁCZYNNIKI KORELACJI: r - Pearsona => gdy dwóch sędziów W - Kendalla => gdy więcej sędziów 38 40 Jakie czynniki Interpretacja wartości współczynnika rzetelności wpływają na rzetelność testu? rtt > 0,90 – bardzo rzetelny pomiar, test może być stosowany zarówno w badaniach naukowych, jak i do formułowania diagnoz indywidualnych 1.poziom trudności pozycji testowych 2.długość narzędzia (liczba pozycji testowych) 3.metoda oceny rzetelności 4.format odpowiedzi 5.wariancja badanej zmiennej w próbie 6.procedura: sposób podania testu, jasna instrukcja 7.osoba testująca 8.podobieństwo pozycji testowych 9.warunki fizyczne sytuacji w jakiej test był wypełniany oraz stan badanego 10.jakość pozycji testowych 0,90 > rtt > 0,80 – rzetelny pomiar, test może być stosowany w badaniach naukowych, jak i do diagnoz indywidualnych, które będą mniej precyzyjne 0,80 > rtt > 0,70 – przeciętna rzetelność, test powinien być stosowany jedynie w badaniach naukowych 0,70 > rtt > 0,60 – niska rzetelność, test może być stosowany warunkowo w badaniach naukowych 0,60 > rtt > 0,50 – wątpliwa rzetelność pomiaru, test bezużyteczny 41 Metoda KR tzn. Kudera Richardsona Źródło błędów pomiar wykonany jeden po drugim: test - retest czynniki losowe związane z osobą badań, ujawniające się w krótkim czasie pomiar z przerwą czasową: test - retest Zmienność w czasie warunków badania i stanu badanych pomiar wykonany jeden po drugim: wspólczynnik równoważności międzytestowej: dobór treści pomiar z przerwą czasową: wspólczynnik stabilności względnej dobór treści z zmienność w czasie metoda połówkowa dobór treści współczynnik KR lub alfa Cronbacha dobór treści zgodność sędziów kompetentnych różnice między sędziami 43 Plan wykładów 4. - 7. Co wyniki testu mówią nam o samym teście? A. Rzetelność pomiaru testem. B. Trafność pomiaru testem. C. Właściwości psychometryczne pozycji testowych. 42 44