„rozrywające” w testach na przykładzie zadań

Ewa Stożek, Henryk Dąbrowski
OKE Łódź
Zadania „rozrywające” w testach
na przykładzie zadań maturalnych z matematyki
Na podstawie analizy danych empirycznych z egzaminu maturalnego z matematyki 2005 i 2006 roku wyodrębniono zadania na tyle silnie różnicujące, iż można mówić o tym, że „rozrywają” populację zdających na dwie grupy. Podjęto próbę
opisu cech charakterystycznych tych zadań oraz określenia ich parametrów.
Na zróżnicowanie wyników na egzaminie maturalnym ma wpływ wiele
czynników, które powodują, że rozkłady są spłaszczone i/albo wielomodalne. Takimi
czynnikami są
np. typ szkoły lub deklarowany poziom zdawania przedmiotu
(uczniowie słabsi deklarują zdawanie tylko poziomu podstawowego, a lepsi kontynuują zdawanie na poziomie rozszerzonym). „Rozrywanie” rozkładu wyników poprzez te czynniki przedstawiają wykresy na rys. 1. Wszystkie prezentowane rozkłady
wyników odpowiadają danym zdających w szkołach na terenie objętym działaniem
Okręgowej Komisji Egzaminacyjnej w Łodzi.
Jednak przyczyną „rozrywania” mogą być także pojedyncze zadania, które
będziemy nazywać zadaniami rozrywającymi1. Aby to pokazać, ograniczymy rozważania do Arkusza II i absolwentów liceów ogólnokształcących (około 6 tysięcy zdających) , wytrącając w ten sposób wpływ innych (być może nie wszystkich) czynników różnicujących populację.
Zadania poziomu rozszerzonego z matematyki w 2005 roku były dla absolwentów liceów ogólnokształcących zadaniami trudnymi (łatwość 0,35). Daje się wyodrębnić dwa podrozkłady z wierzchołkami (modami) 10 i 20 punktów odpowiednio.
Dalsza analiza zadań pokazuje, że drugą modę generują wyniki uczniów, którzy poprawnie rozwiązali zadanie 14. (por rys.2) Zadanie 14. okazuje się dla tej populacji
zadaniem rozrywającym: ci, którzy poprawnie je rozwiązali (około 44% zdających)
uzyskali wyższe wyniki z całego testu niż grupa osób, która otrzymała za to zadanie
0 punktów (33%).
1
por. E.Stożek Zadania „rozrywające” w testach, w materiałach XII Konferencji Diagnostyki Edukacyjnej, Lublin 9-11.X.2006
Rozkład wyników Arkusz I - matematyka 2006
Rozkład wyników AI - matematyka 2006
5%
4%
4%
liczebność
liczebność
3%
2%
3%
2%
1%
1%
0%
0
0%
0
2
4
6
2
4
6
8 10 12 14 16 18 20 22 24 26 28 30 32 34 36 38 40 42 44 46 48 50
liczba punktów
8 10 12 14 16 18 20 22 24 26 28 30 32 34 36 38 40 42 44 46 48 50
liczba punktów
LO
Rozkład wyników Arkusz II - matematyka 2006
LP,LU,T
Rozkład wyników Arkusz I - matematyka 2006
4%
6%
5%
3%
liczebność
liczebność
4%
2%
3%
2%
1%
1%
0%
0
0%
0
2
4
6
8 10 12 14 16 18 20 22 24 26 28 30 32 34 36 38 40 42 44 46 48 50
liczba punktów
2
4
6
8 10 12 14 16 18 20 22 24 26 28 30 32 34 36 38 40 42 44 46 48 50
liczba punktów
poziom podstawowy
poziom rozszerzony
Rys. 1 Przykłady wielomodalnych rozkładów wyników na egzaminie maturalnym z matematyki wraz z przykładami czynników rozrywających
Przypomnijmy to zadanie:
Zadanie 14. (5 pkt) – poziom rozszerzony
1 + 4 + 7 + ... + (3n − 2)
n →∞ 5 + 7 + 9 + ... + ( 2n + 3)
Oblicz: lim
Aby rozwiązać to zadanie, należało zauważyć, że licznik i mianownik ułamka, to
sumy ciągu arytmetycznego. Jeśli zdający poprawnie rozpoznawali ciąg arytmetyczny, to z reguły doprowadzali zadanie do końca. Jednak dla zaskakująco dużej części
populacji zadanie okazało się niezrozumiałe. Łatwość tego zadania 0,58 wskazuje na
jego umiarkowaną trudność dla całej populacji. Jego wartość różnicującą można potraktować jako element pożądany w teście maturalnym.
Zadania poziomu rozszerzonego w Arkuszu II egzaminu maturalnego w 2006 roku
dla absolwentów liceów ogólnokształcących były trudne (łatwość 0,42). W porównaniu z testem 2005 roku wzrosło zróżnicowanie wyników (odchylenie standardowe
wynosiło dla tej populacji 10,32 punktu w 2005 roku i 12,7 punktu w 2006 roku).
Tym razem jednym z zadań rozrywających okazało się najłatwiejsze zadanie w teście
(por. rys.3). Wyniki za cały Arkusz II tych zdających, którzy rozwiązali zadanie 20.
koncentrują się wokół mody 30 punktów.
Zadanie 20. (4 pkt) – poziom rozszerzony
Dane są funkcje f ( x) = 3
x 2 −5 x
1
i g ( x) =  
9
−2 x 2 − 3 x + 2
.
Oblicz, dla których argumentów x wartości funkcji f są większe
od wartości funkcji g .
Zadanie sprawdza umiejętność rozwiązywania nierówności wykładniczej. Punkty
były przyznawane za wykonanie kolejnych prostych czynności: zapisanie nierówności, wykorzystanie monotoniczności funkcji wykładniczej i rozwiązanie nierówności
kwadratowej. Ponad 15% zdających nie otrzymała żadnego punktu za to zadanie,
14% uzyskało od 1do 2 punktów, a całkowicie poprawnie rozwiązało to zadanie
prawie 53% uczniów. Podobnie jak poprzednio wydaje się, że tego typu różnicowanie populacji jest wartościowe jako cecha testu, który jest jednocześnie egzaminem
wstępnym na wyższą uczelnię.
Rozkład wyników AII - matematyka 2005 - absolwenci LO
4%
liczebność
3%
2%
1%
0%
0
2
4
6
8 10 12 14 16 18 20 22 24 26 28 30 32 34 36 38 40 42 44 46 48 50
liczba punktów
Rozkład wyników AII - matematyka 2005 - absolwenci LO
bez zadania 14
5%
liczebność
4%
3%
2%
1%
0%
0
2
4
6
8 10 12 14 16 18 20 22 24 26 28 30 32 34 36 38 40 42 44 46 48 50
liczba punktów
Rozkład wyników Arkusz AII - matematyka 2005 - abslowenci LO
12%
liczebność
10%
8%
6%
4%
2%
liczba punktów
nie rozwiązali zadania 14
poprawnie rozwiązali zadanie 14
Rys.2 Zadanie 14. – zadanie rozrywające Arkusza II – matematyka 2005.
50
48
46
44
42
40
38
36
34
32
30
28
26
24
22
20
18
16
14
12
8
10
6
4
2
0
0%
Rozkład wyników AII - matematyka 2006 - absolwenci LO
4%
liczebność
3%
2%
1%
0%
0
2
4
6
8 10 12 14 16 18 20 22 24 26 28 30 32 34 36 38 40 42 44 46 48 50
liczba punktów
Rozkład wyników Arkusz II - matematyka 2006 - absolwenci LO
bez zadania 20
4%
liczebność
3%
2%
1%
0%
0
2
4
6
8 10 12 14 16 18 20 22 24 26 28 30 32 34 36 38 40 42 44 46 48 50
liczba punktów
Rozkład wyników Arkusz II - matematyka 2006 - absolwenci LO
10%
liczebność
8%
6%
4%
2%
liczba punktów
uzyskali za zadanie 20 od 0 do 2 pkt
poprawnie rozwiązali zadanie 20
Rys.3 Zadanie 20. – zadanie rozrywające Arkusza II – matematyka 2006.
50
48
46
44
42
40
38
36
34
32
30
28
26
24
22
20
18
16
14
12
8
10
6
4
2
0
0%
Zestawmy łatwość i moc różnicującą omawianych zadań:
łatwość
moc różnicująca
zadanie 14 (2005)
0,58 (umiarkowanie trudne)
0,68 (dobrze różnicuje)
zadanie 20 (2006)
0,72 (łatwe)
0,65 (dobrze różnicuje)
Czy można na tej podstawie wnioskować, że wszystkie zadania łatwe i dobrze różnicujące będą zadaniami „rozrywającymi”?
Takie wnioskowanie nie jest uprawnione. W rozpatrywanych przykładach ze sprawdzianu2 zadaniami rozrywającymi okazały się zadania, które były trudne i dobrze
różnicowały. Może więc chodzi o to, żeby to były po prostu zadania dobrze różnicujące? Ale większość zadań Arkusza II to zadania dobrze różnicujące. Parametry łatwości i mocy różnicującej są zbyt ogólne i mówią za mało o zadaniu. Zadanie „rozrywające” można rozpoznać po jego krzywej charakterystycznej3.
Spróbujmy zatem wyrysować krzywe charakterystyczne dla zadań 14 i 20.
Zrobimy to w nieco uproszczony sposób: obliczymy łatwości omawianych
zadań dla grup osób, których wyniki znalazły się w kolejnych staninach. Kolejny
stanin możemy traktować jako określony poziom umiejętności ucznia, a łatwość zadania, jako prawdopodobieństwo udzielenia poprawnej odpowiedzi. Krzywą charakterystyczną uzyskamy jako krzywą regresji nieliniowej (logistycznej) z trzema parametrami (w tym celu wykorzystamy dostępną w programie SPSS opcję regresji nieliniowej). Krzywą charakterystyczną zadania opisuje trójparametryczna funkcja logistyczna postaci: p (θ ) = c +
1− c
1+ e
−1, 702*a (θ − b )
, gdzie θ oznacza poziom pewnej cechy
latentnej (np. poziomu osiągnięć, poziomu zdolności), p – prawdopodobieństwo
udzielenia poprawnej odpowiedzi na zadanie, natomiast a, b, c są parametrami. Parametr a jest związany z mocą różnicującą zadania, a parametr b – z łatwością zadania. Parametr c w zadaniach wielokrotnego wyboru jest nazywany parametrem zgadywania i jest związany z podatnością zadania na zgadywanie.
2
por. E.Stożek Zadania „rozrywające” w testach, w materiałach XII Konferencji Diagnostyki Edukacyjnej, Lublin 9-11.X.2006
3
Hulin CH.L., Parsons C.K., Wprowadzenie do teorii odpowiedzi na pozycje testu,[w:] J.Brzeziński
(red.) Trafność i rzetelność testów psychologicznych. Wybór tekstów. GWP, Gdańsk 2005, s.213-271
Zadanie 14 (2005)
1,0
1
0,8
a = 1,21
b = -0,31
c= 0
łatwość
0,8
0,6
0,6
0,4
0,4
0,2
0,2
0
-2
-1,5
-1
-0,5
0
0,5
1
1,5
2
-1
-0,5
0
0,5
1
1,5
2
0,0
1
2
3
4
5
6
7
8
9
num er stanina
Zadanie 20 (2006)
1,0
1
0,8
a = 1,37
b = -0,60
c= 0
łatwość
0,8
0,6
0,6
0,4
0,4
0,2
0,2
0
-2
-1,5
0,0
1
2
3
4
5
6
7
8
9
numer stanina
Rys.5 Krzywe charakterystyczne dla zadań 14. i 20.
Zadanie 14. i 20. mają podobne parametry krzywych charakterystycznych. Krzywe
charakterystyczne tych zadań wyraźnie wskazują na ich „rozrywający” charakter:
duża (większą od 1) wartość parametru a i jednocześnie parametr b bliski 0. Wartość
parametru b (punkt przegięcia) wskazuje podział populacji na dwie grupy
o podobnych liczebnościach, a wartość parametru a (kąt nachylenia stycznej do wykresu w punkcie przegięcia) wskazuje na duże różnice w umiejętnościach tych grup.
Charakterystyka zadania poprzez analizowanie parametrów krzywej charakterystycznej daje więcej informacji o zadaniu niż analiza współczynników łatwości
i mocy różnicującej. Wydaje się zasadnym, aby na etapie standaryzacji testu analizować krzywe charakterystyczne zadań.