test_jako_narzędzie_pomiaru_wiedzy
Transkrypt
test_jako_narzędzie_pomiaru_wiedzy
Szkoła Policji w Katowicach Metodyka Szkolenia Test jako narzędzie pomiaru wiedzy Opracowanie: O ŁA PO CJ LI I SZK kom. mgr Dariusz Walczak Wydział Metodyki i Organizacji Szkolenia Wydawnictwo Szkoły Policji w Katowicach 2004 2 3 SPIS TREŚCI Wprowadzenie 5 Rozdział I Rodzaje testów 7 1. Podział testów 7 2. Test ustny 8 3. Test pisemny Rozdział II Taksonomia celów nauczania 16 Rozdział III Budowa testu 18 4 5 WPROWADZENIE Ambicją każdego nauczyciela jest stworzenia ucznia, który nie tylko dogoni, ale przerośnie swojego mistrza. Dla osiągnięcia tego celu nie wystarczą jednak tylko same dobre chęci. Oprócz warsztatu dydaktycznego na wysokim poziomie, potrzebne są jeszcze obiektywne narzędzia, które na bieżąco pozwolą monitorować postępy ucznia, wychwytywać jego braki, wskazywać sposoby ich usunięcia. Wysoce obiektywną i stale doskonaloną metodą sprawdzania osiągnięć szkolnych jest pomiar dydaktyczny przeprowadzony z zastosowaniem testów. Ogromną zaletą tej metody jest różnorodność budowy testów, co pozwala dostosować ich formę i poziom do umiejętności i wiedzy grupy, jak również wymagań programowych. Aby test wiedzy mógł spełnić pokładane w nim oczekiwania, musi spełniać określone kryteria. Powinien odpowiadać wymaganiom, m. in. w zakresie obiektywizacji, trafności i czułości. Obiektywizm testu należy rozumieć w dwóch aspektach. Po pierwsze słuchacze udzielają odpowiedzi na identyczne pytania i w tych samych warunkach (np. ten sam czas na rozwiązanie testu). Po drugie, słuchacze oceniani są wg tych samych kryteriów, co pozwala wyeliminować subiektywizm osoby sprawdzającej, a dzięki temu weryfikacja wiedzy jest bardziej tsprawiedliwac. Aby obiektywizm testu był spełniony, wymagane jest zachowanie następujących warunków: stworzenie tych samych warunków dla wszystkich testowanych, wyeliminowanie możliwości ściągania i podpowiadania, rozwiązywanie jednakowych zadań, dokonywanie sprawdzania w tym samym czasie, dokonanie sprawdzenia wyników według tych samych, precyzyjnie określonych kryteriów. Trafność testu polega na wykazywaniu zgodności wyników z wynikami uzyskanymi niezależnie, za pomocą innych sprawdzianów. Test jest trafny, gdy mierzy tylko i wyłącznie to, co ma mierzyć. Czułość testu polega na różnicowaniu słuchaczy ze względu na zasób posiadanych umiejętności i wiadomości. Zadania reprezentujące wybrany zakres 6 kształcenia powinny być zróżnicowane pod względem stopnia trudności. Dzięki zastosowaniu tego narzędzia powinniśmy wyselekcjonować tych słuchaczy, którzy są bardzo dobrzy oraz tych, którzy są słabi. Jeżeli na podobnym poziomie test rozwiązują wszyscy słuchacze w grupie, to oznacza, że stopień trudności był niski, a test nie jest czuły. Nawet tak krótki opis wymagań stawianych testom pokazuje, jak odpowiedzialne i trudne zadanie spoczywa na barkach osoby tworzącej to narzędzie. Niniejszy skrypt ma na celu pokazać możliwości w zakresie wyboru formy testu, przedstawia krótką ich charakterystykę, przykłady, a także opis możliwych zastosowań. 7 ROZDZIAŁ I. RODZAJE TESTÓW 1. PODZIAŁ TESTÓW Jak wcześniej wspomniano budowa testów jest bardzo zróżnicowana, dzięki czemu mogą być one stosowane w różnych celach. Testy można dzielić w zależności od przyjętego kryterium: a) Ze względu na typ czynności wyoonywanycn pazez pucnacza wyaczniayy te tm Ustny – polegający na wymawianiu przez słuchacza słów lub zdań będących rozwiązaniem testu. Pisemny – polegający na zapisywaniu rozwiązania zadania przez słuchacza w różnej formie. Praktyczny – w którym uczeń demonstruje sposób wykonania działania lub wytwór fizyczny jego pracy. b) Z uwagi na uopad odnie ienia wyniocw te towania i aodzaj poyiaau wyaczniayy te tm Sprawdzający – układem odniesienia wyników testu są wymagania programowe, np. postępowanie kwalifikacyjne lub egzamin końcowy, punktem odniesienia są określone progi punktowe. Egzamin zdaje ten, kto uzyskał określoną liczbę punktów. Różnicujący – układem odniesienia wyniku każdego ucznia są wyniki innych uczniów. W tej sytuacji egzamin zdaje np. 30 osób z najlepszymi wynikami. Tutaj nie ma minimalnego progu punktowego do zdobycia. c) Ze względu na zaawan owanie oon tauocyjnem Nieformalny – nie został poddany próbnym zastosowaniom i nie posiada statystycznie obliczonych obiektywnych norm. Sstandaryzowany – przeszedł proces prób, ulepszeń, normowania. Został już wykorzystany a następnie poddany analizie, dzięki czemu usunięto ewentualne nieprawidłowości. Są to tzw. testy profesjonalne1. Powyższy podział jest niezależny, co oznacza, że każdy test można określić 1 Na podstawie: B. Niemierko: Pomiar wyników kształcenia, Warszawa 1999, s. 55. 8 jedną z cech w poszczególnych podpunktach np. jako test pisemny, standaryzowany, sprawdzający. Ze względów praktycznych w skrypcie omówiony zostanie ten pierwszy podział, ma on bowiem największe znaczenie w pracy wykładowcy policyjnego. 2. TEST USTNY Ten rodzaj testu pozwala weryfikować nie tylko wiedzę, ale również wiele innych elementów, takich jak: umiejętność wyciągania wniosków, analizowania, komunikacji pozawerbalnej, panowania nad emocjami, wysławiania się, prowadzenia rozmowy itp. Test wiedzy polega na tym, że słuchacz losuje zestaw pytań (pytanie może być tez zadane ustnie) i zwykle po kilku minutach namysłu ustnie przedstawia odpowiedź. Tutaj słuchacz nie ma możliwości „zgadywania” odpowiedzi, kształci również umiejętność panowania nad emocjami, wysławiania się. Ten rodzaj testu może być trudny do przeprowadzenia w przypadku dużej liczby słuchaczy i stosunkowo ograniczonego czasu. Jest łatwy do przygotowania przez każdego nauczyciela. Preferuje osoby o bogatym słownictwie, oczytane. 3. TEST PISEMNY Ten rodzaj testu bardzo dokładnie sprawdza umiejętność zapamiętania informacji na poziomie wyobrażeń, pojęć oraz umiejętność samodzielnego przetwarzania informacji na tych poziomach2. Mogą one występować w dwóch formach - zadań otwartych i zadań zamkniztych. W zadaniach otwartych słuchacz samodzielnie formułuje i zapisuje odpowiedzi, przez co są one bardziej czasochłonne dla niego. 3.1. Pisemne zadania otwarte A. Zadanie aoz zeazonej odpowiedzi „RO” – jest to zadanie otwarte, na zadany temat, w formie rozprawki, oceniane według rozwinięcia tematu, struktury, poprawności. Są łatwe do przygotowania przez nauczyciela, ale kłopotliwe przy ocenianiu. Trudno zachować tutaj obiektywne kryteria. Wymagają też dobrego przygotowania 2 Tamże, s. 95. 9 merytorycznego od oceniającego. Decydując się ten rodzaj testu warto pamiętać o kilku zasadach: zadanie powinno wymagać od ucznia zastosowania podstawowych wiadomości w nowej sytuacji, a nie tylko odtworzenia zapamiętanych informacji, zadanie powinno być tak sformułowanie, aby każdy oceniający mógł zastosować te same, obiektywne kryteria oceny. B. Niemierko za A.J. Nitko przytacza następujący zakres tematyczny dla tego typu zadań: a) Porównanie – np.: tPrzedstaw i porównaj definicje przestępstwa i wykroczeniac. b) Wiązanie przyczyny i skutku – np.: tJakie są główne przyczyny werbowania ludzi do sekt religijnycl lub subkultur młodzieżowyclc. c) Uzasadnienie – np.: tDlaczego zgadzasz się lub nie, ze stwierdzeniem, że ...c d) Streszczanie – np.: tOmów węzłowe punkty przebiegu postępowania przygotowawczegoc. e) Wnioskowanie – np.: tJak powinien zaclować się policjant w następującej sytuacji: ... (tu następuje opis)c. f) Klasyfikowanie – np.: tWskaż, co wspólnego łączy niżej wymienione pojęciac. g) Tworzenie – np.: tJakie są alternatywne możliwości postępowania w następującej sytuacjic. h) Stosowanie – np.: tJak będą przebiegać oględziny miejsca zdarzenia przy zastosowaniu metody subiektywnej, w następującej sytuacji?c. i) Analizowanie – np.: tW załączonym uzasadnieniu o ukaraniu policjanta w postępowaniu dyscyplinarnym wskaż błędy w rozumowaniuc. j) Syntetyzowanie – np.: tPrzedstaw plan działań pościgowycl przy następującycl założeniaclc. k) Ocenianie – np.: tOceń następujące postępowanie policjanta w trakcie interwencji domowejc. Podsumowując powyższy zakres tematyczny pytań otwartych warto podkreślić, że nie ma tam pytań na odtworzenie, gdzie wystarczające jest zapamiętanie treści, nawet bez ich zrozumienia, ale weryfikowane są również inne umiejętności. 10 Test z zadaniami rozszerzonej odpowiedzi (RO) ZALETA 1. Wszechstronność angażowania słuchacza do odpowiedzi, swoboda wypowiedzi. 2. Pozytywny wpływ na uczenie się, słuchacz solidniej przygotowuje się 3. Związek z działaniem praktycznym. 4. Łatwość przeprowadzenia. 5. Stosunkowo szybki do przygotowania. WADA 1. Wybiórczo sprawdza wiedzę. 2. Wyniki są silnie uzależnione od zdolności poszczególnych słuchaczy. 3. Czasochłonny proces prowadzenia testu. 4. Ocena jest mało obiektywna. B. Zadanie oactoiej odpowiedzi „ZO” – wymaga rozwiązania podanego w formie pojedynczego słowa, liczby, zdania lub wyrażenia. Eliminuje wady zadań RO. W tych zadaniach oceniana jest bowiem tylko wartość merytoryczna, a nie styl. Bardzo ważną zaletą tych zadań jest również możliwość stworzenia szablonu prawidłowych odpowiedzi, co bardzo istotnie wpływa na większy obiektywizm w ocenie i czas weryfikacji. Przykład: a) Podaj definicję przestępstwa. b) Czy w następującej sytuacji (…) obywatel może dokonać zatrzymania sprawcy przestępstwa? c) Ile dni mogą być prowadzone czynności w niezbędnym zakresie w sprawie o przestępstwo? C. Zadanie z luoą „L” – składa się z zadań, w których słuchacz w puste miejsca wpisuje brakujący wyraz, znak, symbol, liczbę. Słuchacz może też dokończyć zdanie, wstawiając w miejsce kropek potrzebne wyrazy. Jest to w istocie bardzo uproszczona wersja pytania z krótką odpowiedzią. Przykład: a) Organami władzy ustawodawczej są ……… i ………. . b) Czynności …………. w sprawie o wykroczenie powinny zostać ukończone w ciągu miesiąca. c) Komendant ………… Policji jest centralnym organem administracji ……....… . 11 Charakterystyka zadań krótkiej odpowiedzi i z luką ZALETY WADY 1. Dobra reprezentatywność treści 1. Poszatkowanie treści kształcenia na kształcenia. pojedyncze pytania i jednozdaniowe 2. Bardziej obiektywne punktowanie w wypowiedzi. Rzeczywistość taka nie jest. stosunku do zadań RO. 2. Przede wszystkim weryfikuje wiedzę z niskich kategorii (A,B) celów kształcenia. 3. Niepodatność na zgadywanie odpowiedzi przez uczniów. 3. Niemożliwość automatycznego sczytywania 4. Łatwość konstrukcji. wyników testowania. Wymienione wyżej trzy rodzaje zadań należą do kategorii zadań otwartych. Ich wspólną cechą jest to, że powinny być stosowane przede wszystkim do sprawdzania ważnych celów kształcenia. O ile sprawdzanie umiejztności przedstawiania swoich myśli na wybrany temat powinno odbywać się poprzez zadania otwarte, o tyle sprawdzanie szczegółowej wiedzy powinno odbywać się w drodze zadań z krótką odpowiedzią lub luką. 3.2. Pisemne zadania zamknizte Poniżej zaprezentowane zostaną zadania zamknięte. Ich cechą szczególną jest to, że w większym lub mniejszym stopniu są podatne na tzgadywanie odpowiedzic. Nie znając materiału, ale stosując metodę twykluczaniac nie pasujących odpowiedzi, słuchacz zwiększa szanse na ttrafieniec prawidłowej odpowiedzi. Nie można również zapominać, że testy zamknięte są nieco sztuczną metodą, zawierają bowiem gotowe zestawy odpowiedzi, w tym jedną odpowiedź prawidłową. Tymczasem rzeczywistość nie jest tylko czarno-biała, stąd zadania zamknięte przy wielu swoich zaletach nie powinny stanowić jedynego sposobu sprawdzania wiedzy. A. Zadanie wyboau wielooaotnego – polega na wskazaniu prawidłowej lub najlepszej odpowiedzi spośród kilku podanych. Na zadanie to składa się trzon, kilka odpowiedzi, z których najczęściej jedna lub kilka jest prawidłowych, te odpowiedzi nazywane są werstraktorami. Inne pełnią rolę dystraktorów – odpowiedzi mających pozory poprawności, bądź będące tylko częściowo prawidłowe. Zakres tematyczny tego typu zadań jest bardzo duży, a trzon pytania może przybierać różne formy. Poniżej zaprezentowano przykładowe zakresy tematyczne oraz 12 brzmienie trzonów tych pytań: 1. Definiowanie: tCo to jest broń palna?c. 2. Ustalanie związku np.: tJaki jest związek pomiędzy usiłowaniem włamania a przestępstwem?c, 3. Naprawianie błędu np.: „...[Opis nieprawidłowego postępowania (niedopełnienie jakiegoś obowiązku) policjanta]... . Jak należało postąpić w tej sytuacji?c. 4. Ocenianie np.: tW której z poniższycl sytuacji policjant może użyć broni palnej bez ostrzeżenia?c. 5. Porządkowanie np.: tKtóry z poniższycl algorytmów postępowania policjanta na miejscu zdarzenia jest prawidłowy?c. 6. Wskazanie błędu np.: „(Opis postępowania policjanta w związku z użyciem śpb). Która z zasad stosowania śpb została naruszona?c. 7. Ustalanie różnicy np.: tJakie są różnice między przestępstwem a wykroczeniem?c. 8. Ustalanie zasady np.: tKtóry z poniższycl przykładów odzwierciedla zasadę ostrzeżenia przy stosowaniu śpb?c. To tylko przykłady jak mogą brzmieć trzony pytań z zadaniami zamkniętymi3. Jak zatem budować poprawnie taki test? Pomocne może tutaj być przestrzeganie kilku zasad dotyczących budowy trzonu, jak i budowy dystraktorów: Zasady dotyczące budowy trzonu: treść pytania powinna dotyczyć sytuacji życiowej, znanej słuchaczowi, należy unikać przykładów podręcznikowych, unikaj przeczeń, a jeżeli je stosujesz, wyróżnij je, nie stosuj podstępu, tj. pytań o rzeczy, które nie istnieją, minimum zdań, maksimum treści, twórz zadania z jedną tylko prawidłową odpowiedzią. 3 Na podstawie: B. Niemierko, op. cit., s. 120 – 121. 13 Zasady dotyczące budowy dystraktorów: • odpowiedzi powinny być tematycznie jednorodne, • nie powinny zawierać pojęć wspólnych, które można przenieść do trzonu pytania, • odpowiedzi powinny być dopasowane gramatycznie do trzonu pytania, • nie powinny odbiegać długością od odpowiedzi prawidłowej, • powinny być logiczne wobec trzonu i „atrakcyjne” dla rozwiązującego test. Przestrzeganie tych zasad powinno owocować narzędziem pomiarowym dobrej jakości. Testy z tego typu zadaniami są doskonałe dla dużych grup słuchaczy i nadają się w szczególności do badania umiejztności podejmowania decyzji. B. Zadania na dobieaanie(D) – polegają na dobraniu jednej pary z dwóch lub więcej kolumn. Nadają się do badania wiedzy z zakresu: „kto? gdzie? kiedy?”. W celu podniesienia atrakcyjności testu, w drugiej kolumnie można zamieścić więcej haseł niż w pierwszej kolumnie. Przykład: W pierwszej kolumnie zamieszczono nazwy czynności o różnym clarakterze prowadzone przez Policję. Dobierz z drugiej kolumny podstawowy czas trwania tycl czynności. a) czynności w niezbędnym zakresie b) czynności sprawdzające c) czynności wyjaśniające d) dochodzenie e) śledztwo 1) 5 dni 2) 7 dni 3) 2 tygodnie 4) do 30 dni 5) miesiąc 6) 2 miesiące 7) 3 miesiące Zasady budowania zadań na dobieranie: - w jednym teście powinny znajdować się hasła związane tematycznie, - należy unikać łączenia haseł, które można prosto skojarzyć, tutaj zadaniem słuchacza jest znalezienie zależności, którą powinien wydedukować na podstawie posiadanej wiedzy, - z uwagi na rzadkość stosowania takich testów, należy bardzo dokładnie objaśnić polecenie dla słuchacza oraz poprzeć je przykładem, - odpowiedzi (2 kolumna) powinny być krótsze niż hasła (pierwsza kolumna), 14 - wszystkie zadania powinny się mieścić na jednej stronie. Uczą i sprawdzają słuchacza w zakresie umiejętności poszukiwania związków między znanymi informacjami. C. zadania paawda – fap z Jest to bardzo prosta forma zadania zamkniętego. Najczęściej słuchacz ma do wyboru dwie odpowiedzi ttakc i tniec. Po przeczytaniu testu wybiera jedną z nich. Bardzo dobrze weryfikują treści zawarte w procedurach, podręcznikach. Poniżej przedstawiono kilka przykładów takich zadań. - Wszystkie przestępstwa są czynami zabronionymi. - Przestępstwo różni się od wykroczenia organem orzekającym - Zbrodnia zagrożona jest karą co najmniej 2 lat pozbawienia wolności. - Kradzież roweru wartości 250 zł jest przykładem wykroczenia. - Można przyjąć, że wzrost bezrobocia spowoduje wzrost przestępczości. - Przed użyciem pałki służbowej należy ostrzec osobę o możliwości jej użycia. Zadaniem słuchacza na każde z tych pytań jest udzielenie tylko jednej z dwóch możliwych odpowiedzi, „tak” albo „nie”. Charakterystyka zadań zamkniztych ZALETY WADY 1. Można badać szeroki zakres programu szkolenia. 2. Identyczne warunki dla każdego. 3. Obiektywne punktowanie wyników. 4. Bardzo szybkie sprawdzenie wyników. 5. Wdrażanie do podejmowania decyzji. 6. Możliwość zbadania w krótkim okresie bardzo dużej liczby osób. 1. Niemożność tworzenia syntez przez uczniów. 2. Fałszywy obraz świata i wiedzy ludzkiej jako zamkniętych systemów stałych i czytelnych prawidłowości. 3. Przewaga form zadań nad treścią kształcenia. 4. Trudny w tworzeniu, czasochłonny, nauczyciel musi być bardzo dobrze „przygotowany” do tworzenia takiego narzędzia. 5. Możliwość „zgadywania” odpowiedzi. Jak widać z powyższego zestawienia, nie ma idealnego testu, każdy posiada tak samo zalety jak i wady. Konkretna potrzeba szkoleniowa powoduje, że dany rodzaj testu, ze względu na swoje cechy, jest najbardziej odpowiedni. Testy mogą być budowane w bardzo różnorodny sposób, a co za tym idzie mogą 15 badać różne umiejętności. Oczywiście, może się pojawić pytanie, który z nich jest najlepszy, który najlepiej weryfikuje wiedzę. Odpowiedź jest stosunkowo prosta. Nie ma idealnego rozwiązania bowiem wybór rodzaju testu zależy między innymi od takich czynników jak: a) założenia programowe, b) wiedza ogólna słuchacza, c) rodzaj szkolenia, d) oczekiwane przez nas rezultaty, e) stopień opanowania zagadnień zawodowych, f) czas na przygotowanie testu, g) liczba osób poddawanych weryfikacji. Dopiero wypadkowa tych i innych czynników decyduje, jaki rodzaj testu należy wybrać. Należy przy tym pamiętać, że w procesie nauczania należy stosować różnorodne formy weryfikacji wiedzy i umiejętności słuchaczy. W ten bowiem sposób uczący zmuszony jest do w zecn taonnego pazygotowywania się do sprawdzianów weryfikujących jego postępy w nauce. Przeciwdziała to również schematyzmowi w procesie uczenia się, np. korzystanie w procesie oceniania wyłącznie z testów wielokrotnego wyboru, z jedną odpowiedzią prawidłową, powoduje u słuchacza tuczenie sięc pod test, a nie w celu opanowania materiału. 16 ROZDZIAŁ II. TAKSONORIA CEAÓW NA CZANIA Rozważając tematykę testów nie sposób uciec od zagadnienia taksonomii (klasyfikacji) celów nauczania. Budując test zawsze rodzi się pytanie, po co nauczyciel to robi, co chce osiągnąć. Proces nauczania to nie statek płynący bez oprzyrządowania po morzu, tutaj „port docelowy” jest jasno sprecyzowany. Test ma na celu sprawdzenie, jak daleko słuchacz jest od tego „portu”, ile wie, czy cel nauczania określony w programie został osiągnięty. Cele nauczania bywają różnie określane, raz bardziej ogólnie, innym razem szczegółowo. Konsekwencją tego jest konieczność dokonania pewnej klasyfikacji celów nauczania. Aby miała ona sens powinna być hierarchiczna, musi określać cele od najniższych do najwyższych. Na potrzeby szkolne przyjęta została taksonomia zaproponowana przez B. Niemierko w książce tABC testów osiągnięć szkolnychc, zwana taksonomią ABC. Jest to o tyle istotne, że w rozdziale III, w którym opisany będzie sposób budowania testu zamkniętego, posługiwać się będziemy właśnie powyższym podziałem. Zgodnie z nim Niemierko dzieli cele nauczania na dwa poziomy: a) wiadomości, b) umiejętności, a każdy z tych poziomów dzieli się na dwie kategorie. Ponieważ ogromnym problemem przy tworzeniu testu jest zbudowanie pytań odpowiadających kategoriom zaznaczonym w planie testu, poniżej pokrótce scharakteryzowane zostaną obie kategorie pytań. A) poziom wiadomości a) oategoaia A: zapamiętanie, w tej kategorii pytania dotyczą definicji, praw, zasad, klasyfikacji, zasad działania, procedur, algorytmów. Do odpowiedzi wy taaczy słuchaczowi pazypoynienie sobie danej treści, bez konieczności jej zrozumienia. b) oategoaia B: zrozumienie, słuchacz umie operować wiedzą teoretyczną, co w przejawia się w umiejętności przedstawiania znanych sobie informacji twłasnymi słowamic, potrafi streścić i porównać posiadane informacje z innymi. B) poziom umiejztności a) oategoaia C: zastosowanie wiadomości w sytuacjach typowych, słuchacz potrafi wykorzystać posiadaną wiedzę w sytuacjach, bezpośrednim bądź potencjalnym znaczeniu praktycznym. b) oategoaia D: zastosowanie wiadomości w sytuacjach problemowych, te pytania stoją najwyżej w klasyfikacji celów nauczania. Ta kategoria obejmuje złożone procesy umysłowe mające na celu znalezienie rozwiązania w sytuacji nieznanej dotychczas 17 słuchaczowi. Wykorzystuje on tutaj wiadomości o różnym charakterze, a znalezione rozwiązanie jest na swój sposób zawsze dla niego twórcze. Podział ten można przedstawić w postaci poniższej tabeli: Taksonomia celów nauczania wg B. Niemierki I Poziom „Wiadomości” II Poziom „Umiejętności” Określenie Określenie konkretne wieloznaczne czasowniki operacyjne) A. Zapamiętanie wiadomości Wiedzieć B. Zrozumienie wiadomości Rozumieć C. Stosowanie wiadomości w sytuacjach typowych Kształtować D. Stosowanie wiadomości w sytuacjach problemowych Kształtować Nazwać Zdefiniować Wymienić Zidentyfikować Wyliczyć Streścić Wyjaśnić Zilustrować Rozróżnić Rozwiązać Skonstruować Zastosować Porównywać Sklasyfikować Narysować Scharakteryzować Zmierzyć Wybrać sposób Określić Zaprojektować Wykreślić Dowieść Przewidzieć Zanalizować Wykryć Ocenić Zaproponować 18 ROZDZIAŁ III. B DOWA TEST Na potrzeby Szkoły Policji w Katowicach najczęściej stosuje się testy z zadaniami wielokrotnego wyboru z jedną prawidłową odpowiedzią, rzadziej testy z zadaniami rozszerzonej odpowiedzi. Testy tego typu znajdują zastosowanie w ramach prowadzonych postępowań kwalifikacyjnych, jak również egzaminów po części szkolenia, czy też końcowych. W ramach procesu oceniania w trakcie zajęć poszczególni nauczycieli stosują różnorodne rodzaje testów. Charakteryzując w poprzednim rozdziale poszczególne testy zwrócono uwagę na fakt, że o ile testy rozszerzonej odpowiedzi są stosunkowo proste do przeprowadzenia przez każdego nauczyciela, o tyle już zbudowanie testu z zadaniami wielokrotnego wyboru wymaga bardzo dobrego przygotowania od nauczyciela. Ze względu na fakt, że w Szkole Policji w Katowicach szczególne znaczenie mają testy z zadaniami wielokrotnego wyboru, poniżej zostanie omówiony schemat budowania takiego właśnie narzędzia oceny. Przystępując do opracowania testu w pierwszej kolejności należy opracować: założenia organizacyjne testu: • nazwa testu, jego charakterystyka (jaki zakres programowy obejmuje), rodzaj i forma zadań, plan testu. Aby lepiej zrozumieć przebieg tworzenia takiego testu poniżej przedstawione zostaną hipotetyczne założenia. Jako zagadnienia mające podlegać weryfikacji wybrano: A.p. Rateriał nauczania 1. Przeszukania i czynności podobne 2. Prawo karne i karne procesowe 3. Zasady pełnienia służby w Policji 4. Konflikty interpersonalne 5. Zatrzymanie osoby 6. Postępowanie w sprawach o wykroczenia W pierwszej kolejności należy ustalić zakres treści będących przedmiotem weryfikacji. Należy ustalić, jakich konkretnie zagadnień mają dotyczyć pytania, a także z ilu pytań ma się składać test. Zakładamy, że jest to test diagnozujący po określonej części 19 szkolenia, pisemny, standaryzowany, sprawdzający wiedzę, zawierający zadania zamknięte wielokrotnego wyboru z jedną odpowiedzią prawidłową. Ma się składać z 24 pytań. W następnej kolejności należy do każdego zagadnienia przypisać rangę materiału. Jej wielkość waha się w przedziale od 1 do 3. A zatem do wskazanych wcześniej zagadnień przypiszemy obecnie rangi: Tabela nr 1. A.p. Rateriał nauczania Ranga 1. Przeszukania i czynności podobne 3 2. Prawo karne i karne procesowe 2 3. Zasady pełnienia służby w Policji 1 4. Konflikty interpersonalne 1 5. Zatrzymanie osoby 3 6. Postępowanie w sprawach o wykroczenia 2 7. Suma 12 Im wyższą rangę przypiszemy, tym więcej zadań z danego zagadnienia znajdzie się w teście. Aby rangowanie materiału miało sens, wartości przypisane poszczególnym zagadnieniom muszą być różne. Rangowania nie nalezy utożsamiać wyłącznie z tważnościąc danego zagadnienia, choć oczywiste jest, że z reguły najwyższą rangę przyznajemy temu zagadnieniu, które naszym zdaniem jest najważniejsze, a więc pośredni związek istnieje. Rangowanie ma przede wszystkim na celu określenie liczby zadań z danego zagadnienia. Kolejna czynności to obliczenie liczby zadań w poszczególnych zagadnieniach. W tym celu sumujemy wszystkie rangi, w naszym przykładzie otrzymujemy cyfrę t12c. Liczbę zadań całego testu (24) dzielimy przez sumę rang (12) w wyniku czego otrzymamy wskaźnik t2c. Teraz pozostaje nam już tylko pomnożenie rang przypisanych do każdego zagadnienia przez wskaźnik, w naszym przypadku liczbę t2c. Tabela nr 2. L.p. Materiał nauczania Ranga materiału 3 Liczba zadań 6 1. Przeszukania i czynności podobne 2. Prawo karne i karne procesowe 2 4 3. Zasady pełnienia służby w Policji 1 2 4. Konflikty interpersonalne 1 2 20 5. Zatrzymanie osoby 6. Postępowanie w sprawach 3 6 2 4 12 24 o wykroczenia 7. Suma W dalszej kolejności następuje rangowanie celów kategorii A, B, C, D (wiedzy, zrozumienia). Chodzi o określenie, jaki zakres wiedzy słuchacza ma być badany. Pytania w kategorii A i B sprawdzają wiedzę na poziomie: zapamiętanie i zrozumienie. Pytania w kategoriach C i D sprawdzają umiejętności w zakresie zastosowania w sytuacjach typowych i nietypowych. Jeżeli test będzie wykorzystywany w egzaminie końcowym, albo przeznaczony jest dla słuchacza o większej wiedzy (np. kurs specjalistyczny), to proporcjonalnie więcej pytań powinno być z kategorii C i D. Tabela nr 3. Kategoria pytania A B C D Ranga celów 5 3 3 1 Liczba zadań 10 6 6 2 RAZEM 12 24 Ponieważ suma rang z naszym przykładzie wynosi „12”, w pozycji „ranga celów” i „razem” wpisujemy cyfrę „12”. Następnie dla każdej kategorii pytania tj. A, B, C, D przypisujemy odpowiednią rangę, tak, aby suma wyniosła „12”. W dalszej kolejności zaproponowane rangi mnożymy przez wskaźnik uzyskany poprzednio (czyli t2c), co pozwala nam obliczyć liczbę zadań dla poszczególnych kategorii. Ich suma musi być zgodna z założoną sumą wszystkich zadań. Kolejnym etapem przygotowywania testu jest rangowanie poziomów wymagań – podstawowego i ponadpodstawowego. Pozwala to na określenie liczby w poszczególnych poziomach. Tabela nr 4. Poziom P PP RAZEM Ranga poziomów 9 3 12 Liczba zadań 18 6 24 zadań 21 W kolumnie tranga poziomów” i „razem”, wpisujemy sumę rang, czyli „12”. Następnie poszczególnym poziomów przypisujemy dowolną rangę, ale w ten sposób, aby suma rang z obu poziomów dała cyfrę „12”. Określoną rangę mnożymy przez wskaźnik obliczony wcześniej, co pozwala nam obliczyć liczbę zadań dla każdego poziomu. Ich suma musi być zgodna z ustaloną liczbą zadań w teście. Ostatnią czynnością jest opracowanie planu testu. Polega to na uzupełnieniu poniższej tabeli o te dane, które wcześniej wyliczyliśmy. Wymagania programowe Zakres treści Przeszukania i czynności podobne Prawo karne i karne procesowe Zasady pełnienia służby w Policji Konflikty interpersonalne Zatrzymanie osoby Podstawowe A B C D xx x x x x xx x x C D A Waga Liczba Zakład materiału zadań 3 6 2 4 x x 1 2 x x 1 2 xx x x 3 6 2 4 12 24 Postępowanie w sprawach xx o wykroczenia Waga celów Liczba zadań B Ponadpodstawowe x x 5 2 10 4 2 4 x 1 2 1 2 Waga poz. 9 3 Liczba zad. poz. 18 6 x 1 2 RAZEM Uzupełnianie tabeli rozpoczynamy od wpisania zakresu treści, wagi materiału i liczby zadań. To te dwie części tabeli, które zaznaczono pojedynczą, grubą linią. Jest to przeniesienie danych zawartych w tabeli nr 2. Następnie uzupełniamy wagę poziomów i liczbę zadań w poszczególnych poziomach. To ta część tabeli, którą zaznaczono pogrubioną, linią podwójną. W tej części wpisujemy dane z tabeli nr 4. W następnej kolejności wpisujemy wagę celów w poszczególnych poziomach i liczbę zadań. To te dane, które zawiera tabela nr 3. O ile jednak w przypadku dwóch poprzednich tabel polegało to na tprzekopiowaniu danychc, o tyle na tym etapie musimy dokonać jeszcze podziału celów kategorii na poziom podstawowy i ponadpodstawowy. Jeżeli zatem kategorii 22 pytań A przyznano rangę t5c i wyliczono 10 zadań, to teraz należy to rozdzielić na poziom podstawowy i ponadpodstawowy. W niniejszym założeniu przyjęto, że wszystkie pytania będą na poziomie podstawowym. Dla pytań kategorii B i C przyznano rangę t3c i wyliczono po 6 zadań. Przyjęto, że w obu przypadkach dwie rangi będą na poziomie podstawowym – 4 zadania, a jedna na poziomie ponadpodstawowym – 2 zadania. Wreszcie dla pytań kategorii D przyznano rangę t1c i wyliczono 2 zadania. Przyjęto, że oba będą za poziomie ponadpodstawowym. Część tabeli z powyższymi danymi – dla lepszego zobrazowania – zaznaczono kolorem szarym. Ostatnim etapem budowania planu testu jest wypełnienie tabeli poprzez wstawienie znaku txc w wierszach przy poszczególnych zakresach materiału. Wcześniej naniesione dane w tabeli pomagają nam rozplanować pytania zgodnie z przyjętymi założeniami, co do kategorii i poziomu pytania.