Ocena efektów kształcenia na kierunku FILOLOGIA
Transkrypt
Ocena efektów kształcenia na kierunku FILOLOGIA
Ocena efektów kształcenia na kierunku FILOLOGIA ANGIELSKA w roku akademickim 2012/13 Podstawa prawna: rozporządzenie Ministra Nauki i Szkolnictwa Wyższego z dnia 5 października 2011 r. w sprawie warunków prowadzenia studiów na określonym kierunku i poziomie kształcenia §11 ust. 2. I. Informacje wstępne 1. Kierunek, poziom, formy studiów Filologia angielska, poziom I i II, studia stacjonarne i niestacjonarne 2. Zespół przygotowujący ocenę Kierunkowy Zespół Zapewniania Jakości Kształcenia w składzie: Prof. dr hab. Maria Wysocka - przewodnicząca Dr hab. Małgorzata Nitka Dr hab. Jacek Mydla Dr hab. Adam Wojtaszek Dr Tomasz Burzyński Dr Marta Mamet-Michalkiewicz Dr Konrad Szcześniak Dr Marcin Zabawa Mgr Aleksandra Szymańska-Tworek – przedstawiciel doktorantów Igor Karkoszka – przedstawiciel studentów (p. Igor Karkoszka ukończył już studia, natomiast nowy przedstawiciel studentów nie został jeszcze wybrany). 3. Zespół opiniujący1 ocenę Instytut Języka Angielskiego oraz Instytut Kultur i Literatur Anglojęzycznych Kierunek: filologia angielska Instytut Języka Angielskiego Prof. Prof. dr hab. Maria Wysocka Prof. dr hab. Rafał Molencki Prof. dr hab. Danuta Gabryś-Barker Dr hab. Dr hab. Ewa Bogdanowska-Jakubowska Dr hab. Bożena Cetnarowska Dr hab. Jolanta Latkowska Dr hab. Andrzej Łyda Prof. UŚ Dr hab. Andrzej Porzuczek 1 Można opinię minimum kadrowego uzyskać bezpośrednio na zebraniu z jego uczestnikami. 1 Dr hab. Kamilla Termińska–Korzon Dr hab. Adam Wojtaszek Dr Dr Beata Abdallah-Krzepkowska Dr Magdalena Bartłomiejczyk Dr Izabela Delakowicz-Galowy Dr Grzegorz Drożdż Dr Monika Grotek Dr Ewa Gumul Dr Przemysław Janikowski Dr Ireneusz Kida Dr Artur Kijak Dr Grażyna Kiliańska- Przybyło – st. wykładowca Dr Marcin Kuczok Dr Urszula Michalik Dr Joanna Nykiel Dr Krzysztof Olszewski– st. wykładowca Dr Adam Pluszczyk Dr Arkadiusz Rojczyk Dr David Schauffler Dr Konrad Szcześniak Dr Krystyna Warchał – st. wykładowca Dr Marcin Zabawa Dr Magdalena Żyłko-Groele Instytut Kultur i Literatur Anglojęzycznych Prof. Prof. dr hab. Zbigniew Białas Prof. dr hab. Ewa Borkowska Prof. zw. dr hab. Wojciech Kalaga Dr hab. Dr hab. Rafał Borysławski Dr hab. Leszek Drong Dr hab. Paweł Jędrzejko Dr hab. Sławomir Masłoń Dr hab. Jacek Mydla Dr hab. Małgorzata Nitka Dr hab. Marta Zając Dr Dr Tomasz Burzyński Dr Sonia Front Dr Tomasz Kalaga Dr Marzena Kubisz Dr Marek Kulisz – st. wykładowca Dr Karolina Lebek Dr Anna Malinowska Dr Marta Mamet-Michalkiewicz 2 Dr Marcin Mazurek Dr Maciej Nowak Dr Agnieszka Pośpiech Dr Marcin Sarnek Dr Eugenia Sojka – st. wykładowca Dr Agnieszka Woźniakowska II. Ocena efektów kształcenia 1. Ocena form weryfikacji efektów kształcenia i kryteriów oceny a. Wyniki oceny form weryfikacji efektów kształcenia i kryteriów oceny -- Specjalności prowadzone przez Instytut Kultur i Literatur Anglojęzycznych Przed rozpoczęciem roku akademickiego 2013/14 w Instytucie Kultur i Literatur Anglojęzycznych dokonano szczegółowego przeglądu opisów modułów i wprowadzone modyfikacje i korekty zasugerowane przez prowadzących zajęcia w poprzednim roku akademickim, tak by mogły być ujęte w sylabusach obowiązujących od października 2013. Część zmian miała charakter porządkujący i polegała na „kosmetyce” nomenklatury używanej w opisach modułów, która została w miarę możliwości ujednolicona (np. w opisach modułów przygotowywanych przez różnych wykładowców w pierwszym etapie wprowadzania KRK - w roku 2012 - używane były wymiennie terminy : test / kolokwium pisemne / sprawdzian oznaczające tę samą, w sensie technicznym, formę weryfikacji). W przypadku modułów gdzie uznano zastosowane formy weryfikacji za nieadekwatne, bądź niesprawdzające się w praktyce, wprowadzone zostały odpowiednie korekty. Pozostałe zmiany objęły modyfikację merytoryczną: do większości modułów została dopisana, jako opcjonalna forma weryfikacji, z której wykładowca mógł skorzystać, „rozmowa kontrolna” zdefiniowana jako „Ustna ocena stopnia przygotowania studenta do zajęć dokonywana na bieżąco w trakcie trwania modułu. Ocena może dotyczyć znajomości zadanego na dane zajęcia tekstu oraz znajomości problemów i zagadnień uprzednio omówionych.” W opinii wielu wykładowców potrzebne było uwzględnienie w sposobach weryfikacji formy pozwalającej oceniać stopień przygotowania studentów do zajęć i ich aktywności, motywującej ich do pracy i nagradzającej zarazem sumienność i regularność. Spora liczba sylabusów przygotowanych na rok akademicki 2013/14 zawierała wśród obowiązkowych form weryfikacji także i tę, a w sposobie ustalania oceny końcowej modułu przewidziano dla niej stosowną wagę, np. 20-30 %. Częściej niż w poprzednim roku akademickim wykładowcy stosowali przy ustalaniu oceny końcowej modułu średnią ważoną, w ten sposób wartościując stosowane sposoby weryfikacji pod kątem ich trudności. Wprowadzono też do opisów modułów alternatywne formy weryfikacji, tak by dać wykładowcom większą swobodę w indywidualnym doborze sposobów weryfikacji np. umożliwiając wybór między testem a pracą semestralną, przy czym możliwe też było sięgniecie po oba proponowane sposoby. Było to szczególnie potrzebne w przypadku modułów o dużej wartości punktów ECTS, a zatem wymagających wielu godzin pracy własnej studentów. 3 Ujęte w opisach modułów i sylabusach sposoby weryfikacji obejmowały najbardziej popularne formy, czyli oczywiście egzaminy, przeważnie pisemne, testy oraz prace semestralne, ale także prezentacje w formie ustnych wypowiedzi oraz projekty indywidualne i zespołowe, często stosowane na specjalności Projektowanie rozrywki interaktywnej oraz lokalizacja gier i oprogramowania (SPRINT-WRITE). Wszystkie sylabusy zawierały precyzyjny zapis sposobu ustalania oceny końcowej modułu, a szczegółowe kryteria oceny były opisane w stosownej rubryce formularza. W przypadku testów i egzaminów pisemnych był podany próg zaliczenia, 65%, a w przypadku innych form weryfikacji kryteria brane pod uwagę przy ocenie były z reguły jasno określone, z uwzględnieniem oczekiwanych efektów kształcenia. Większość sylabusów zawierała też informacje dotyczące procesu weryfikacji na tyle precyzyjne na ile możliwe było to do ustalenia w momencie pisania sylabusów. W przypadku braku podania konkretnego terminu, podany było czas w jakim ów termin będzie uzgadniany (np. początek grudnia jako termin ustalania daty egzaminu w sesji zimowej). Po dokonaniu szczegółowej analizy Zespół nie wnosi zastrzeżeń i uwag; w zdecydowanej większości przeanalizowanych danych z opisów modułów oraz z opartych na nich sylabusów (patrz załącznik „Ocena sylabusów”) formy weryfikacji zostały właściwie dobrane i zróżnicowane stosownie do specyfiki modułu, a kryteria oceny opisane. -- Specjalności prowadzone przez Instytut Języka Angielskiego Po dokonaniu szczegółowej analizy zespół nie wnosi zastrzeżeń i uwag w zdecydowanej większości przeanalizowanych danych z modułów oraz sylabusów. Zaobserwowano: - zgodność wyszczególnionych w modułach form weryfikacji efektów kształcenia z formami weryfikacji efektów kształcenia zawartymi w sylabusach; - obecność szczegółowego opisu form weryfikacji efektów kształcenia w modułach i zgodność tego opisu z ich opisem przedstawionym w sylabusach; - wyczerpujący i prawidłowy merytorycznie opis form weryfikacji efektów kształcenia w sylabusach z uwzględnieniem kodów zajęć, osób przeprowadzających zajęcia, grup uczonych w danym roku akademickim, kryteriów oceny oraz przebiegu procesu weryfikacji; - obecność szczegółowego opisu kryteriów oceny danego modułu z uwzględnieniem specyfiki i charakteru danego modułu w sylabusach. Zasadniczo nie zaobserwowano nieprawidłowości związanych np. z niejasno sprecyzowanym minimalnym progiem procentowym potrzebnym do uzyskania zaliczenia modułu. W określonych (nielicznych) przypadkach nie jest podana dokładna liczba (np. minimum 65% punktów na ocenę dostateczną), co wynika jednak ze specyfiki danego modułu i sposobu oceniania (np. ocena wypowiedzi ustnej w ramach „fonetyki praktycznej” lub ocena tłumaczenia pisemnego określonego tekstu w ramach „tłumaczenia tekstów literackich”). W takich przypadkach są podane kryteria, według których jest oceniania praca studenta. 4 Poniżej znajdują się wybrane przykłady prawidłowo opisanych modułów wraz z przypisanymi im formami weryfikacji efektów kształcenia: 1) studia I stopnia, stacjonarne, semestr 1, specjalność: tłumaczeniowa z j. niemieckim, moduł: wstęp do językoznawstwa – formy weryfikacji efektów kształcenia: dyskusja, test zaliczeniowy oraz egzamin – zgodność opisu w module ze szczegółowym opisem w sylabusie oraz jasno przedstawione kryteria oceny w sylabusie. 2) studia I stopnia, stacjonarne, semestr 1, specjalność: tłumaczeniowa z j. arabskim, przedmiot: rozumienie tekstu – formy weryfikacji efektów kształcenia: test bieżący, test okresowy, egzamin – zgodność opisu w module ze szczegółowym opisem w sylabusie oraz jasno przedstawione kryteria oceny w sylabusie. 3) studia I stopnia, stacjonarne, semestr 2, specjalność: nauczycielska z j. niemieckim, przedmiot: konwersacje - formy weryfikacji efektów kształcenia: aktywne uczestnictwo w zajęciach, prezentacje, część ustna egzaminu PNJA - zgodność opisu w module ze szczegółowym opisem w sylabusie oraz jasno przedstawione kryteria oceny w sylabusie. 4) studia I stopnia, stacjonarne, semestr 4, specjalność: nauczycielska z językiem niemieckim, moduł: gramatyka opisowa – formy weryfikacji efektów kształcenia: sprawdzian pisemny, ocena pracy studenta podczas zajęć oraz egzamin końcowy – zgodność opisu w module ze szczegółowym opisem w sylabusie oraz jasno przedstawione kryteria oceny (minimum 65% punktów na ocenę pozytywną). 5) studia II stopnia, stacjonarne, semestr 1, specjalność: nauczycielska, moduł: seminarium magisterskie – formy weryfikacji efektów kształcenia: zaliczenie - zgodność opisu w module ze szczegółowym opisem w sylabusie oraz jasno przedstawione kryteria oceny w sylabusie. 6) studia II stopnia, stacjonarne, semestr 2, specjalność: tłumaczeniowa z językiem arabskim, moduł: tłumaczenie symultaniczne - formy weryfikacji efektów kształcenia: test ustny - zgodność opisu w module ze szczegółowym opisem w sylabusie oraz jasno przedstawione kryteria oceny w sylabusie. 7) studia II stopnia, niestacjonarne, semestr 1, specjalność: język biznesu, moduł: językoznawstwo kontrastywne - formy weryfikacji efektów kształcenia: sprawdziany pisemne oraz egzamin - zgodność opisu w module ze szczegółowym opisem w sylabusie oraz jasno przedstawione kryteria oceny w sylabusie. 8) studia II stopnia, niestacjonarne, semestr 3, specjalność: tłumaczeniowa, moduł: tłumaczenie tekstów literackich – formy weryfikacji efektów kształcenia: praca pisemna (tłumaczenie fragmentów dzieł literackich) – zgodność opisu w module z opisem w sylabusie. Przedstawiono również kryteria oceny (odsyłając do wymagań merytorycznych opisanych szczegółowo w zakładanych efektach kształcenia). 9) studia II stopnia, niestacjonarne, semestr 4, specjalność: specjalistyczne odmiany jęz. angielskiego, moduł: korespondencja służbowa i handlowa – formy weryfikacji efektów 5 kształcenia: ocena pracy studenta na zajęciach (prace pisemne na zajęciach) oraz sprawdzian testowy – zgodność opisu w module ze szczegółowym opisem w sylabusie oraz jasno przedstawione kryteria oceny (minimum 70% punktów na ocenę pozytywną). b. Zauważone trudności i nieprawidłowości -- Specjalności prowadzone przez Instytut Kultur i Literatur Anglojęzycznych Drobne nieprawidłowości polegające na braku zgodności sposobów weryfikacji zawartymi w sylabusie z tymi zawartymi w opisie modułu zostały skorygowane przed rozpoczęciem roku akademickiego w trakcie przeglądy sylabusów. Wynikały z automatycznego przepisania sposobów weryfikacji z ubiegłorocznych sylabusów, bez uwzględnienia zmian dokonanych w opisach modułów. -- Specjalności prowadzone przez Instytut Języka Angielskiego Zauważone nieprawidłowości dotyczą głównie drobnych niezgodności pomiędzy listą i/lub opisem form weryfikacji efektów kształcenia w module i sylabusie. Ograniczają się one do niepełnego przedstawienia form weryfikacji efektów kształcenia i/lub do niepełnego opisu kryteriów oceny. Należy jednak podkreślić, że są to przypadki incydentalne i dotyczą spraw marginalnych. 1) studia I stopnia, niestacjonarne, semestr 1, specjalność: tłumaczeniowa z językiem hiszpańskim, moduł: lektorat języka łacińskiego – brak indywidualnego wyszczególnienia w sylabusie uprzednio deklarowanych w module form weryfikacji efektów kształcenia: kolokwium, zaliczenie, aktywność na zajęciach; są one przedstawione w sylabusie zbiorczo. Kryteria oceny przedstawione są w sylabusie prawidłowo. 2) studia I stopnia, stacjonarne, semestr 4, specjalność: język biznesu, przedmiot: konwersacja – formy weryfikacji efektów kształcenia: w module wyszczególniona została prezentacja oraz egzamin ustny; sylabus rozszerza nieco listę: obok prezentacji i egzaminu ustnego wyszczególniona jest również ocena pracy studenta na zajęciach (aktywność na zajęciach). Pozostałe aspekty opisane w module i sylabusie są zgodne ze sobą; jasno przedstawiono też kryteria oceny. 3) studia I stopnia, stacjonarne, semestr 4, specjalność: tłumaczeniowa z jęz. arabskim, przedmiot: fonetyka praktyczna – formy weryfikacji efektów kształcenia: w module wyszczególniony został test pisemny, ocena wypowiedzi ustnej oraz egzamin PNJA, w sylabusie znajduje się zaś ocena wypowiedzi ustnej oraz egzamin PNJA. W sylabusie nie został zatem uwzględniony test pisemny. 4) studia I stopnia, stacjonarne, semestr 3, specjalność: tłumaczeniowa z jęz. chińskim, przedmiot: fonetyka praktyczna – występuje tutaj podobna nieścisłość, jak w przypadku powyżej. Nie uwzględniono testu pisemnego w sylabusie (został on natomiast uwzględniony w module). 6 5) studia II stopnia, niestacjonarne, semestr 2, specjalność: tłumaczeniowa, moduł: elementy stylistyki i gramatyki - formy weryfikacji efektów kształcenia zawarte w module: zaliczenie na podstawie wypowiedzi ustnych w trakcie zajęć oraz na podstawie prac pisemnych – brak sprecyzowania w sylabusie wypowiedzi ustnej jako jednego z kryteriów oceny w ramach opisanej formy „zaliczenie”. 6) studia II stopnia, stacjonarne, semestr 4, specjalność: nauczycielska, przedmiot: konwersacja – formy weryfikacji efektów kształcenia: w module wyszczególniona została m.in. prezentacja (referat) nt. pracy magisterskiej studenta; w sylabusie natomiast znajduje się informacja o prezentacji na wybrany przez studenta temat. W sylabusie znajdziemy również ocenę aktywności studenta na zajęciach (co nie zostało uwzględnione w module). Pozostałe aspekty opisane w module i sylabusie są zgodne ze sobą; jasno przedstawiono też kryteria oceny. c. Wnioski i propozycje zmian dotyczące doskonalenia programu kształcenia Zespół stwierdza, że w zdecydowanej większości przypadków formy weryfikacji efektów kształcenia zostały dobrze i szczegółowo opisane. Opisy w sylabusach są zgodne z opisami w modułach; także szczegółowy opis form weryfikacji nie budzi zastrzeżeń: wyszczególniono kryteria oceny oraz podano minimalną liczbę punktów potrzebną do uzyskania oceny pozytywnej np. ze sprawdzianów pisemnych. Zauważone nieprawidłowości sprowadzają się głównie do drobnych nieścisłości pomiędzy modułami a sylabusami. W związku z powyższym – w odniesieniu do szczegółowo wymienionych przypadków (patrz punkt b.) – zaleca się precyzyjniejsze określanie form weryfikacji efektów kształcenia w sylabusach i każdorazowe sprawdzanie ich zgodności z formami wyszczególnionymi w odpowiednim module (co ważne jest zwłaszcza przy uaktualnianiu sylabusów na początku każdego roku akademickiego). W niektórych przypadkach zaleca się ponadto rozważenie, czy nie jest możliwe ściślejsze sprecyzowanie (w sylabusach) wymogów dotyczących uzyskania określonej minimalnej liczby punktów (wyrażonej za pomocą procentów) potrzebnej do uzyskania zaliczenia. Opracował zespół w składzie: mgr Marcin Bergier, dr Marcin Zabawa (specjalności IJA) dr hab. Małgorzata Nitka (specjalności IKILA) 2. Ocena narzędzi weryfikacji efektów kształcenia -- specjalności prowadzone przez Instytut Kultur i Literatur Anglojęzycznych: 7 Studia I stopnia, specjalności: kultura i literatura angielskiego obszaru językowego, kultura-media-translacja, projektowanie rozrywki interaktywnej oraz lokalizacja gier i oprogramowania (SPRINT-WRITE) studia II stopnia, specjalności: kultura i literatura angielskiego obszaru językowego, kultura-media-translacja (stacjonarne i niestacjonarne) a. Wyniki oceny. Na początku lipca 2014 roku zostały zebrane od pracowników IKILA przykładowe narzędzia weryfikacji efektów kształcenia wykorzystane w roku akademickim 2013/14. Analizie poddano ogółem 146 narzędzi weryfikacji efektów kształcenia o zróżnicowanym charakterze. Wśród nich znalazło się: 71 dotyczących zajęć realizowanych na studiach I stopnia, 39 dotyczących zajęć realizowanych na studiach II stopnia, 20 dotyczących zajęć realizowanych na studiach niestacjonarnych II stopnia, oraz 17 dotyczących zajęć realizowanych przez pracowników Instytutu Kultur i Literatur Anglojęzycznych w ramach specjalności oferowanych przez Instytut Języka Angielskiego. Oceniano 24 narzędzi weryfikujących efekty kształcenia realizowanego w formie wykładów, 118 związanych z ćwiczeniami oraz 2 sprawdzające efekty kształcenia w ramach seminariów. Prowadzący zajęcia przedłożyli 75 szablonów testów, 35 zestawów wytycznych dotyczących przygotowania pracy pisemnej, 24 zestawów zagadnień egzaminacyjnych, 8 zestawów wytycznych dotyczących przygotowania się studenta do rozmowy kontrolnej, 6 zestawów zagadnień do kolokwiów, 5 zestawów wytycznych dotyczących przygotowania prezentacji multimedialnej oraz jeden zestaw zadań projektowych. Ponieważ narzędzia weryfikacji stosowane w czasie sesji poprawkowych wykorzystywały te same szablony i formy, przy zmodyfikowanych pytaniach, nie były one z reguły przedstawiane do analizy, gdyż dublowały już załączone przez danego wykładowcę materiały. Analiza dokonana przez Kierunkowy Zespół Zapewnienia Jakości Kształcenia na Kierunku filologia angielska polegała przede wszystkim na weryfikacji materiałów przedstawionych przez prowadzących pod kątem zgodności założeń i celów stojących u podstaw konstruowania narzędzi z efektami kształcenia ujętymi w opisach poszczególnych modułów. Szczególną uwagę poświęcono kwestii możliwości miarodajnego testowania konkretnych efektów kształcenia przy wykorzystaniu narzędzi wykorzystywanych przez prowadzących. Podczas weryfikacji 8 uwzględniono także stopień uszczegółowienia poszczególnych narzędzi, ich konstrukcję techniczną, formę redakcyjną, klarowność i komunikatywność. Ogólna ocena przedstawionych przez prowadzących narzędzi jest pozytywna, jednakże Zespół, po przeprowadzeniu szczegółowej analizy, sformułował zalecenia ułatwiające dalsze doskonalenie procesu weryfikacji efektów kształcenia (są one przedstawione poniżej). Ocena testów: Przedłożone szablony testów i zestawów zadań spełniają kryterium weryfikacji efektów kształcenia ujętych w opisach modułów. Zakres zagadnień obejmowanych przez poszczególne narzędzia w większości przypadków jest szeroki, a stopień uszczegółowienia zazwyczaj wystarczający. Poziom przygotowania redakcyjnego i edytorskiego jest zróżnicowany. Szablony testów nie zawsze posiadają klarowną i komunikatywną formę, natomiast zadania umieszczone w szablonach w przeważającej ilości zawierają jasno określone cele. W niektórych szablonach testów i zestawów zadań brakuje poleceń, co może jednak być spowodowane faktem, iż odpowiednie instrukcje i polecenia były przekazane studentom w formie ustnej i dlatego nie umieszczono ich już w szablonach przekazanych do analizy. Proponuje się wprowadzenie do większości analizowanych szablonów instrukcji dotyczących ich wypełniania. Zabezpieczyć mogłoby to przed ewentualnymi pomyłkami wynikającymi z niezrozumienia zasad udzielania prawidłowych odpowiedzi. Uwagi szczegółowe: W przypadku szablonów testów zaliczeniowych z przedmiotu „Rozumienie tekstu” (będącego częścią modułu Praktycznej Nauki Języka Angielskiego) w większości szablonów nie pojawia się ćwiczenie sprawdzające rozumienie fragmentu tekstu. Takie ćwiczenie jest obligatoryjnym zadaniem podczas egzaminu z Praktycznej Nauki Języka Angielskiego, dlatego umiejętność czytania ze zrozumieniem powinna również być sprawdzana w teście zaliczeniowym. W kilku szablonach testów sprawdzających umiejętność translacji brakuje dłuższych ćwiczeń translatorycznych. Ocena umiejętności przekładu nie powinna być dokonywana jedynie na podstawie znajomości słownictwa, czy też przekładu krótkich zdań/wypowiedzi. Ocena wytycznych dotyczących przygotowania prac pisemnych i prezentacji Przedłożone zestawy wytycznych spełniają kryterium weryfikacji efektów kształcenia ujętych w opisach modułów. Zakres proponowanych tematów należy zasadniczo ocenić jako wystarczająco szeroki. Wymogi dotyczące zawartości pracy, jej formy i terminów przedłożenia zostały spełnione w większości przypadków. Zespół stwierdził jednak, że w niektórych przypadkach nie zostały określone wymogi redakcyjne i merytoryczne oraz/lub nie określono terminów przedłożenia prac, jednak należy zauważyć, że wymienione są one z reguły w sylabusach i były przekazywane też studentom w formie ustnej instrukcji. 9 Ocena zestawów zagadnień do egzaminów Przedłożone zestawy zagadnień spełniają kryterium weryfikacji efektów kształcenia ujętych w opisach modułów. Obejmowany przez zagadnienia zakres w każdym przypadku ocenić należy jako wystarczająco szeroki. Przedstawione narzędzia przygotowane zostały w dużej mierze starannie pod względem redakcyjnym. Ich treść jest jasna i klarowna. Nieznaczna część przedłożonych zestawów posiada zbyt powierzchowną formę sformułowań – mogą one budzić wątpliwości, co do zasadniczej treści poszczególnych zagadnień. W kilku przypadkach zagadnienia zostały ustrukturyzowane w postaci punktów i podpunktów – to przekłada się na jeszcze bardziej klarowną formułę. Zdaniem Zespołu, o ile to możliwe, warto upowszechniać tą formułę prezentowania zagadnień. b. Zauważone trudności i nieprawidłowości. W większości przypadków brakuje informacji o sposobie zaliczenia wykładu – prowadzący ograniczają się jedynie do podania pytań/zagadnień egzaminacyjnych Podobnie jak w przypadku sylabusów, odnotowano trudności z uzyskaniem materiałów od pracowników zewnętrznych Pozostałe uwagi dotyczącą głównie kwestii czysto technicznych i logistycznych. Mimo wyraźnych instrukcji ze strony Zespołu Część narzędzi weryfikacyjnych nie została podpisana, stąd brak możliwości identyfikacji prowadzącego. Duża część szablonów nie posiada szczegółowych informacji dot. prowadzonych zajęć (dotyczy to przede wszystkim zajęć, które są prowadzone w formie wykładu i ćwiczeń) c. Wnioski i propozycje zmian. Uwagi i zalecenia zawarte w przedstawionej wyżej ocenie zostaną przekazane pracownikom, a Zespół opracuje wzór nagłówka z informacjami opisującymi przedstawiane narzędzie weryfikacji, tak by uniknąć w przyszłości ewentualnych problemów z ich identyfikacją i archiwizacją -- Specjalności prowadzone przez Instytut Języka Angielskiego Na początku roku akademickiego 2014/2015 przeprowadzono przegląd stosowanych przez wykładowców na kierunku filologia angielska narzędzi weryfikacji efektów kształcenia. Ocenie poddano ponad 30 losowo wybranych testów bieżących, zaliczeniowych i egzaminacyjnych użytych w ramach wielu modułów nauczania wszystkich najważniejszych specjalności prowadzonych przez Instytut Języka Angielskiego. 10 W zależności od specyfiki przedmiotu, wykorzystano testy pisemne przeprowadzane w trakcie zajęć, a także tłumaczenia pisemne i ustne. Tradycyjne testy pisemne, charakteryzujące się możliwością przyznawania określonej liczby punktów za poszczególne zadania, uznawane były za zaliczone w przypadku uzyskania 60-65% maksymalnego możliwego wyniku. W przypadku tłumaczeń stosowano również metodę polegającą na obniżaniu oceny maksymalnej proporcjonalnie do ilości i wagi popełnionych błędów. Stwierdzono, że zastosowane narzędzia pozwalają na rzetelną ocenę, w jakim stopniu zamierzone efekty kształcenia zostały osiągnięte przez uczestników odnośnych kursów. W przypadku zastrzeżeń dotyczących np. określania proporcji punktowych między poszczególnymi zadaniami, objętości testu, czy precyzji instrukcji, zasugerowano prowadzącym rozważenie dokonania stosownych korekt w narzędziach planowanych do wykorzystania w bieżącym roku akademickim. Przekazano prowadzącym także uwagi bardziej szczegółowe, np. sugerujące unikanie testowania za pomocą tekstów charakteryzujących się możliwością silnego emocjonalnego oddziaływania na studentów, staranny (minimalizujący prawdopodobieństwo przypadkowego udzielenia poprawnej odpowiedzi) dobór opcji w popularnych testach wielokrotnego wyboru oraz zwrócenie uwagi, czy odpowiedzi na poszczególne pytania nie są podane w treści innych przykładów lub zadań. Nie stwierdzono przypadków istotnych wad narzędzi weryfikacji, mogących w znaczący sposób utrudnić lub uniemożliwić ocenę stanu wiedzy, umiejętności i kompetencji społecznych studenta. Instytut systematycznie gromadzi przykładowe wzory lub opisy narzędzi weryfikacji efektów kształcenia wykorzystywanych na wszystkich prowadzonych specjalnościach. Opracował zespół w składzie: dr Marta Mamet-Michalkiewicz (specjalności IKILA) dr hab. Andrzej Porzuczek (specjalności IJA) 3. Ocena wyników sesji egzaminacyjnych a. Wyniki sesji. Podczas obydwu sesji egzaminacyjnych na kierunku Filologia Angielska wystawiono w sumie 35039 ocen. Większa ich część (20234) przypada na sesję zimową, natomiast nieco mniejsza (14805) na sesję letnią. Owa dysproporcja spowodowana jest głównie znacznym zmniejszeniem się liczby studentów na I roku studiów I stopnia po I semestrze (rezygnacje, niezaliczenie sesji) oraz wyjazdami studentów na stypendia zagraniczne. Łączna liczba ocen jest ogromna, ponieważ na wszystkich 24 specjalnościach prowadzonych przez Instytut Języka Angielskiego i Instytut Kultur i Literatur Anglojęzycznych w ramach kierunku Filologia Angielska studiuje prawie 1800 studentów. 11 Jeśli chodzi o sesję zimową, to rozkład ocen uzyskanych przez studentów w obydwu terminach wyglądał następująco: Jeśli chodzi o 1 termin, to z wykresu wynika, że rozkład poszczególnych stopni jest bardzo prawidłowy. Świadczy to o tym, że studenci w wymiarze globalnym oceniani są przez wykładowców rzetelnie i sumiennie, a wysokość oceny jest miarodajnym odpowiednikiem poziomu wiedzy studentów. Jak się okazuje, około ¾ ocen niedostatecznych jest następnie poprawiana w 2 terminie, a w efekcie ¼ pozostaje bez zmian. Większość osób, które nie uzyskały pozytywnej oceny z zaliczeń bądź egzaminów zostaje skierowana na powtarzanie przedmiotu bądź roku, część natomiast rezygnuje ze studiów. Sesja zimowa stanowi więc swoistą weryfikację stopnia przygotowania kandydatów do studiów i powoduje, że osoby najbardziej niedopasowane i nieprzystające do profilu poszczególnych grup zostają wyeliminowane. Wykres przestawiający 12 wyniki sesji poprawkowej pokazuje także, że sporo zdających raczej źle radzi sobie z podejściem do 2 terminu: jedynie około 1/3 uzyskuje ocenę 3,5 lub wyższą. Analiza dystrybucji ocen w zależności od przedmiotu wskazuje, że w kilku przypadkach proporcje ocen negatywnych i pozytywnych są bardzo mocno zachwiane. Szczególnie źle wypadł w sesji zimowej egzamin z Historii Angielskiego Obszaru Językowego i z Historii Literatury Brytyjskiej na specjalnościach tłumaczeniowych i biznesowych, gdzie oceny niedostateczne stanowiły ponad 90% w pierwszym i ponad 30% w drugim terminie. Tylko nieco lepiej wyglądało to w ramach specjalności nauczycielskich i kulturowych. Tragiczne pod tym względem były jednak wyniki wśród studentów zaocznych, gdzie spośród ponad 70 zdających ostatecznie pozytywną ocenę uzyskało zaledwie 12 osób. Po egzaminie z Praktycznej Nauki Języka Angielskiego na pierwszym roku studiów proporcje ocen pozytywnych i negatywnych były tylko niewiele lepsze od tych uzyskanych z opisywanych powyżej przedmiotów. O ile jednak w przypadku PNJA surowe podejście i stawianie wysokich wymagań studentom, którzy przyjmowani są na podstawie wyników matury (nie zawsze miarodajnych) jest jak najbardziej zasadne, to jednak wydaje się, że w przypadku modułów literaturoznawczych można rozważyć zmianę wymagań egzaminacyjnych, gdyż mamy tu do czynienia z przedmiotem zupełnie dla świeżo upieczonych studentów nowym, a w większości przypadków jedynie uzupełniającym ich wykształcenie filologiczne w ramach specjalności zorientowanych na nieco inne treści (tłumaczenie, język biznesu). Zważywszy jednak, że w opinii wykładowców przygotowane przez nich egzaminy różnią się poziomem trudności od analogicznych egzaminów na innych specjalnościach, rozwiązaniem alternatywnym mogłaby być modyfikacja planów studiów, skutkująca między innymi przesunięciem modułów literaturoznawczych na późniejsze semestry. Należałoby także zwrócić uwagę na grupę przedmiotów, gdzie tendencja jest zgoła odmienna i wystawiane oceny to prawie wyłącznie oceny bardzo dobre. W ich przypadku kryteria oceny zostały ewidentnie zaniżone, lub też omawiane treści nie są odpowiednio dostosowane do poziomu studentów. Liczby wskazują na to, że miało to miejsce w przypadku pojedynczych wykładowców prowadzących zajęcia w konkretnych grupach, na przykład z przedmiotów Konwersacja i Rozumienie tekstu na 3 semestrze specjalności Język Biznesu, albo też Językoznawstwa kontrastywnego na 1 semestrze studiów niestacjonarnych, specjalność nauczycielska. Widać też, że prawdopodobnie zbyt łatwo jest uzyskać bardzo wysoką ocenę z Konwersacji (tendencja obecna w ramach wielu specjalności) oraz z przedmiotów informatycznych. Jeśli chodzi o sesję letnią, to rozkład ocen uzyskanych przez studentów w obydwu terminach wyglądał następująco: 13 Tak jak w przypadku sesji zimowej, rozkład ocen jest prawidłowy. Warto jednak zwrócić uwagę na to, że procent ocen niedostatecznych z ponad 10 w przypadku sesji zimowej spada do około 5 w sesji letniej, oraz że znakomita większość ‘dwójkowiczów’ przystępuje do drugiego terminu. I tutaj także obserwujemy pozytywną zmianę w zakresie procentu osób uzyskujących pozytywny wynik egzaminu bądź zaliczenia poprawkowego. Liczba 104 ocen niedostatecznych przekłada się bowiem na zaledwie około 20 osób, które opuszczają szeregi studiujących na tym etapie, pozostałe osoby kierowane są na powtarzanie przedmiotu bądź roku. W sesji letniej nie występują już tak wielkie dysproporcje pomiędzy ocenami negatywnymi a pozytywnymi w ramach niektórych przedmiotów, choć w dalszym ciągu zaznacza się względna trudność modułów literackich, które sprawiają studiującym największy kłopot. Niezbyt dobrze wypadł też egzamin z Praktycznej Znajomości Języka Angielskiego na 4 semestrze specjalności Kultura-Media-Translacja. Przedmiotami / modułami najłatwiejszymi do zaliczenia okazały się 14 zwyczajowo Konwersacja oraz Brytyjska Filozofia Języka i Praktyki Pedagogiczne (same piątki!) na drugim poziomie studiów, specjalność nauczycielska. Poza tymi kilkoma dziwnymi przypadkami jednostronnej dystrybucji bardzo dobrych ocen nie zaobserwowano w tym zakresie nieprawidłowości. Reasumując, analiza wyników sesji zimowej i letniej potwierdza prawidłowy przebieg i organizację procesu weryfikacji efektów kształcenia na kierunku Filologia Angielska. Sporządził dr hab. Adam Wojtaszek członek KZZJK (Filologia Angielska) Załączniki do oceny: 1) raport_sesja_zima_2013-14_tylko_FA_18.11.xml 2) raport_sesja_lato_2013-14_tylko_FA_20.11.xml b. Wnioski Wnioski przedstawione są w punkcie a. Należy poruszyć w tym miejscu kwestie techniczne; oczekiwanie od Zespołów dokonania analizy wyników sesji powinno być połączone z udostępnieniem im odpowiednich narzędzi pomocnych w opracowaniu i usystematyzowaniu danych według wspólnie wypracowanych potrzeb. Powtarza się problem właściwej współpracy między Diots a pracownikami naukowo-dydaktycznymi, którzy wykonując narzucone im zadania muszą dostosować się do systemu, podczas gdy to oni powinni zlecać tworzenie rozwiązań ułatwiających im pracę. Np. wyniki sesji są dostępne wyłącznie w wersji dla całego wydziału (p. załącznik raport_sesja_zima_201314_zaznaczone_FA_17.11) skąd na podstawie kodów z ogromnej liczby wierszy trzeba było wyodrębniać te dotyczące konkretnego kierunku. III. Podsumowanie 1. Ocena podsumowująca Proces dydaktyczny przebiegał zgodnie z planem oraz programami nauczania. Uzyskane zostały zakładane w programach nauczania rezultaty kształcenia. Wdrożona procedura monitorowania efektów kształcenia zakłada systematyczne zbieranie i analizowanie wzorów testów i prac pisemnych (kolokwia pisemne i egzaminy pisemne) oraz wykazów pytań egzaminacyjnych (kolokwia ustne i egzaminy ustne), które stanowią techniki weryfikacji efektów kształcenia wykazanych i zdefiniowanych w sylabusach modułów. 15 2. Propozycje zmian doskonalących (z uwzględnieniem wniosków z innych prac KZZJK) a) Uzyskane w roku 2013/14 niskie oceny z Praktycznej Nauki Języka Angielskiego uzyskane przez studentów I roku, podczas egzaminu w sesji zimowej, spowodowały podjęcie prac nad przekształceniem modelu kształcenia językowego w ramach tego przedmiotu. Pierwszym etapem zmian jest zmodyfikowanie planów studiów I stopnia na specjalnościach „kultura i literatura angielskiego obszaru językowego” oraz „kultura-media-translacja”. Skonstruowany przez nas projekt rozwijania poszczególnych sprawności językowych został poddany sprawdzeniu w 3 grupach studenckich, w ramach badań pilotażowych. Ostateczne zmiany w programie studiów innych specjalności zostaną wprowadzone po uzyskaniu wyników pilotażu i ich przeanalizowaniu. b) Konieczne są usprawnienia w systemie informatycznym, ułatwiające a nie generujące pracę. c) Za istotną trudność należy uznać brak określonych przez regulamin studiów jednoznacznych zasad obliczania oceny końcowej modułu (np. przeliczanie średniej przy kilku sposobach weryfikacji na ocenę: średnia 3.75 może być przeliczona jako 4.0, albo jako 3.5). Różne wydziały, a czasem instytuty w obrębie jednego wydziału stosują różne interpretacje. W przypadku części neofilologicznej udało się wypracować wspólne zasady stosowane przez wszystkie instytuty w Sosnowcu, co ułatwiło pracę wszystkim wykładowcom, ale jest rozwiązaniem połowicznym w sytuacji, gdy np. w katowickiej części wydziału takich wspólnych zasad nie ma, albo są one inne. Tym samym studenci studiujący na dwóch kierunkach mogą na podstawie identycznych ocen składowych otrzymywać inną ocenę końcową (inne traktowanie oceny niedostatecznej, inne przedziały ocen przy obliczaniu średnich, itp.). Mimo postulowania przez p. Dziekan dr hab. Monikę Bielińską wprowadzenia odpowiednich zapisów przy okazji nowelizacji, nie udało się tego dokonać. Jest to fundamentalne niedopatrzenie, paradoksalnie krzywdzące studentów tych wydziałów i instytutów, które poważnie podeszły do sprawy zadbania o jakość kształcenia stosując wyższy próg zaliczenia czy bardziej rygorystyczne obliczanie oceny końcowej modułu. Uzyskanie wyższej średniej i co za tym idzie stypendium naukowego, może być trudniejsze niż w przypadku studentów innych wydziałów gdzie stosowane są o wiele bardziej dowolne czy liberalne zasady. Powyższy postulat wprowadzenia jednolitych zasad obliczania OKM na poziomie całej uczelni został już przedstawiony przez Zespół w ubiegłym roku akademickim. 16