Pułapki ankiet oraz ocena nauczycieli 07.02.2014i

Pułapki ankiet studenckich
oraz inne sposoby oceny
nauczycieli
Jadwiga Mirecka
Emerytowany profesor
Zakład Dydaktyki Medycznej
CMUJ
1
Studenci jako „eksperci „w oparciu o
doświadczenie
Mogą oceniać:
1. Program
2. Proces nauczania
3. Nauczycieli
4. Organizację
5. Instytucję
2
Czemu może służyć studencka ocena
zajęć/nauczycieli ?
- Dostarczeniu informacji zwrotnej nauczycielom
ciągłemu doskonaleniu
- Dostarczeniu danych dla administracji
- Jako podstawa dla dokonania wyboru studiów/zajęć
przez studentów
- Jako baza danych do badań naukowych
- Jako element zapewniania jakości kształcenia
3
Różne sposoby zbierania opinii
studentów
Ankiety
Grupy dyskusyjne
Doraźna informacja zwrotna
4
Studencka ocena nauczycieli
Sposób prezentacji materiału
Umiejętność zainteresowania przedmiotem
Pobudzanie do krytycznego myślenia
Zachęcanie do samodzielnego uczenia się
Wymagania i sprawiedliwe ocenianie
Stosunek do studentów
Ogólna atmosfera na zajęciach
Dostępność dodatkowych konsultacji
5
Ocena nauczycieli w aspekcie różnych ról
przez nich spełnianych:
- dostarczyciel informacji
- mistrz umiejętności praktycznych
- wzorzec zachowań
- egzaminator/ osoba oceniająca
- autor materiałów dydaktycznych
- organizator zajęć
6
Test Satysfakcji Studenta (SST)
•
•
•
•
student w roli ”klienta””
zbiorczy ogląd całych studiów
wskazanie mocnych i słabych stron
wyniki naniesione na ”macierz”
decyzyjną
7
SST:
cd.
Zawiera 3 rodzaje pytań:
√ Ocena satysfakcji
√ Ocena ważności
√ Schemat zagadnień związanych ze studiowaniem
Nie dotyczy określonego przedmiotu
Nie dotyczy określonego nauczyciela
Pytania odzwierciedlają percepcję studenta
Jest to ciągłe badanie podłużne, z rocznymi raportami i
centralnie podejmowanymi działaniami
Wyniki są publikowane
8
Aspekty studiowania oceniane przy
pomocy SST
Usługi biblioteczne
Usługi komputerowe
Miejsca wypoczynku
Warunki mieszkaniowe
Organizacja zajęć i ocena
Nauczanie i uczenie się
Życie towarzyskie
Rozwój indywidualny
Warunki finansowe
Środowisko uczelni
9
Bardzo
niezadow
alający
Niezadow
alający
Do
zaakcepto
wania
zadowalaj
ący
Bardzo
zadowalaj
ący
E
D
C
B
A
7
e
d
c
b
a
5,5
(e)
(d)
(c)
(b)
(a)
Bardzo
ważny
Ważny
Mało
ważny
1
2,75
3,75
4,25
5,25
5
7
10
Bardzo
niezadowalaj
ący
Bardzo
ważny
Ważny
Niezadowalaj
ący
Do
zaakceptowa
nia
Zadowalający
Bardzo
zadowalający
Doskonalić w
miarę
możliwości
Utrzymać
wysokie
standardy
Podjąć
natychmiasto
we działania
Działania są
priorytetowe
Podjąć
działania w
najbliższej
przyszłości
Podjąć
działania w
celu istotnej
poprawy
Uwzględnić w
planowaniu
działań
Interwencja
może być
konieczna
Utrzymać
standardy
Nie spoczywać
na laurach
5,5
Poprawić w
miarę
możliwości
Nie
dopuszczać
do zmiany na
gorzej
Nie zwracać
uwagi
Utrzymać
standardy w
miarę
możliwości
Nie
podejmować
żadnych działań
5
2,75
3,75
5,25
7
Mało
ważny
1
4,25
7
11
Uboczne czynniki wpływające na
wyniki ankiet studenckich
12
1. Zależność od poziomu wymagań
nauczyciela
-
-
Oceny nauczyciela korelują z ocenami otrzymanymi od
tego nauczyciela
(70% studentów potwierdza iż ocena nauczyciela zależy od
spodziewanej oceny ) (Greenwald, G. M. Gillmore 1997)
38% nauczycieli obniżyło poziom kursu w reakcji na oceny
studenckie
(Ryan J.J, i inn. 1980)
.
13
2. Efekt „uwodzenia”
(ocena oparta na ogólnym wrażeniu)
- wewnętrznie sprzeczny i bzdurny wykład wygłoszony przez
aktora z przekonaniem i entuzjazmem oceniony b. wysoko
(Naftulin, D. M i inn.1973)
- nauczyciel, prezentujący te same wykłady oceniony wyżej
po kursie modelowania głosu i gestykulacji (studenci
wierzyli, że nauczyli się więcej)
(Williams W.M i Ceci S.J. 1997)
14
3. Efekt pierwszego wrażenia
- ocena osobowości nowego nauczyciela na podstawie
video bez dźwięku wysoce koreluje (0,76 – 0,84) z oceną
po odbytym kursie
(Ambady N i R.Rosenthal 1993)
- Wrażenie wytworzone w ciągu pierwszych 2 tygodni zajęć
( a czasem 30 sek) odzwierciedlone w końcowej ocenie
nauczyciela
(Tom, Tong i Hesse 2010
Wrażenie z oglądu przenoszone na inne aspekty kursu
(podręczniki, materiału..)
15
4. Ocena „kosmetyczna”
wyżej oceniani:
- nauczyciele przystojni
- nauczyciele z „właściwej rasy”
- nauczyciele z własnego kraju
- osoby młode
Felton,J., Mitchell, J., Stinson> 2004)
16
5. Ocena „genderowa”
- Kobiety oceniane niżej zwłaszcza
przez studentów mężczyzn (oceny
mężczyzn nie zależą od płci
studentów)
- Niższa ocena kobiet w sali
wykładowej) - E.Voeten 2013)
- Profesjonalny ubiór kobiet ma
większe znaczenie
- Kobiety bardziej „karane” za bycie
wymagającymi
J.A.Centra i N.B.Gaubatz 2000
17
6. Większa waga ocen negatywnych
- gdy średnia ocena nauczyciela ok. 4 (w skali 1-5) to
student niezadowolony wpływa na ocenę bardziej niż
zadowolony (- 3 punkty vs. +1)
- łatwiej jest zyskać przeciwników niż popleczników
- studenci niezadowoleni są silniej motywowani do udziału
w ankietowaniu (negatywna selekcja)
18
7. Wątpliwy przedmiot pomiaru
- jakość nauczania to znacznie więcej niż „występ”
wobec grupy (zachowanie się nauczyciela)
- niejednakowa trudność przedmiotów (matematyka,
nauki przyrodnicze) nakład pracy,– niewskazane
porównywanie pomiędzy dyscyplinami (Ramsden
1991)
19
8. Inne czynniki niezależne od
nauczyciela
- wpływ liczebności grup na wynik (Feldman 1978)
- pora odbywania zajęć (dzień tygodnia, godziny!!!)
- to czy przedmiot obowiązkowy, czy fakultatywny
- miejsce przedmiotu w toku studiów (lepsze oceny
na latach wyższych)
20
9. Nie dość odpowiedzialne ferowanie
opinii przez studentów
- anonimowość – studenci dają wyższe oceny gdy
muszą się podpisać (ale w sposób uniemożliwiający
identyfikację przez ocenianego)
- emocje (depresja, lęk, gniew)
- konflikt z nauczycielem / rozbieżność zainteresowań
- bezbronność nauczyciela wobec krzywdzącej opinii
21
10. Oczekiwania studentów
- najważniejszy czynnik wpływający na ocenę nauczyciela
(Mc. Keachic 1979)
(„samo potwierdzająca się przepowiednia” przy czym
nauczyciel nie ma na to wpływu
22
11. Wyzwanie dla wolności
akademickiej
- studenci oceniają gorzej nauczyciela, który głosi opinie
odmienne od ich własnych poglądów (kontrowersyjność)
(Schueler G.F.1988)
- studenci nagradzają nauczycieli, którzy mówią to co oni
chcą usłyszeć (zdecydowane poglądy bywają
„karane”)
(Williams W.M i Ceci S.J. 1997)
M. Memer: Student Evaluations A Critical Review
23
Specyfika grupy studenckiej
studentów
-
płeć
rasa
pochodzenie społeczne
poprzednie doświadczenia edukacyjne
cechy osobowości
24
Wpływ ocen studenckich na nauczycieli
- Niewielu zmienia sposób uczenia
- Niektórzy starają się „zrobić dobre wrażenie”:
obniżają wymagania
oceniają łagodniej
częstują jedzeniem
organizują „party” dla studentów
wprowadzają studentów w dobry nastrój
-----------------------------------------------------------------------------53% nauczycieli potwierdziło, że zna takich co tak
postępują (Crumbley i Reichelt 2009)
25
Błędy popełnianie przy wykorzystywaniu ankiet
studenckich
•W zakresie interpretacji danych
- niewłaściwa analiza statystyczna
- redukcja wielowymiarowych danych do jednego
parametru
- arbitralne ustalanie granic dla kategorii
- porównywanie różnych nauczycieli bez uwzględnienia
innych czynników (dyscypliny, wielkości grupy)
----------------------------------------------------------------------Prowadzi to do: niepewności nauczycieli, ich frustracji i
braku satysfakcji z pracy
26
Wartość oceny nauczycieli przy pomocy ankiet
studenckich wzrasta:
• Przy odpowiednim skonstruowaniu pytań ankietowych
• Przy ich poprawnej interpretacji
• Po przeszkoleniu studentów w zakresie zasad udzielania
informacji zwrotnej
• Sprawdzeniu czynników zaburzających wynik
•Uwzględnieniu innych sposobów oceny nauczycieli
27
Inne sposoby oceny nauczycieli
Ocena przez kolegów (Wizytacje)
Samoocena - portfolio
Ocena przez bezpośrednich przełożonych
Wyniki standaryzowanych egzaminów
Ocena przez osoby z zewnątrz
Nagrania video
28
Ocena przez kolegów
Wizytacja
Niezapowiedziana
W oparciu o standaryzowane kryteria np.:
wiedza nauczyciela na dany temat
sposób prezentacji (przygotowanie)
metody dydaktyczne
angażowanie studentów
Ocena materiałów dydaktycznych
29
Ocena przez kolegów
Wady
Brak rzetelności
Powinien być więcej niż 1 obserwator
Obserwacja fragmentaryczna
Winna mieć charakter formujący (nie dla
decyzji personalnych)
30
Korelacja ocen studenckich i innych
- Korelacja z samooceną - mała do średniej
- Korelacja z oceną przez kolegów – żadna
- Korelacja z oceną przez administrację - żadna
- Korelacja z oceną przez absolwentów – wysoka
- Korelacja z obiektywnymi wynikami egzaminów umiarkowana
31
Portfolio nauczyciela
Opis działalności dydaktycznej
Podnoszenie kwalifikacji nauczycielskich
Opinie innych
Dokumentacja: -materiały dydaktyczne,
-prezentacje wykładowe,
-scenariusze zajęć
-zestawy pytań egzaminacyjnych,
-przykłady napotkanych problemów
-zapis refleksji nad własnym nauczaniem
32
•Śmierć Sokratesa – Jacques Lois David
1787
33