PLIK PDF - Uniwersytet Warszawski
Transkrypt
PLIK PDF - Uniwersytet Warszawski
Ramy teoretyczne i praktyczne ewaluacji kompetencji językowych. Przykład egzaminów certyfikacyjnych z języków obcych w UW Ludmiła Sobolew Jolanta Sujecka-Zając Rada Koordynacyjna ds. Certyfikacji Biegłości Językowej Uniwersytet Warszawski 22.09.2014 Plan wystąpienia • Poświadczanie kompetencji językowych – odniesienie teoretyczne • Funkcje ewaluacji kompetencji językowej • ESOKJ a ewaluacja kompetencji językowych - Poziomy biegłości i ich wskaźniki – problemy teoretyczne i praktyczne - Wskaźniki biegłości a ich operacjonalizacja • Podsumowanie części teoretycznej • Przykłady rozwiązań w kontekście prac Rady Koordynacyjnej ds. Certyfikacji Biegłości Językowej Poświadczanie kompetencji językowych – punkt odniesienia • „Przez certyfikację biegłości językowej należy rozumieć potwierdzanie nabytych przez uczącego się kompetencji językowych w odniesieniu do uznanego, powszechnie rozpoznawalnego standardu” (Urbanikowa, 2011:118, podkr. własne). Rolę takiego standardu pełni Europejski System Opisu Kształcenia Językowego (2001/2003 wyd. pol.) (ang. CEFR, fr. CECR), z całą pewnością jest zarazem „uznany” i „powszechnie rozpoznawalny”, ale…. Funkcje ewaluacji kompetencji językowej • Ewaluacja jest współcześnie pojęciem złożonym, obejmuje rozmaite działania zarówno nauczyciela jak i uczącego się, a jej cele mogą być diagnostyczno-planistyczne, regulująco-modyfikujące oraz sumujące i certyfikujące. W realiach współczesnego kształcenia językowego wszystkie typy ewaluacji współwystępują w różnych konfiguracjach zależnie od etapu kształcenia. • Ewaluacja ma za zadanie dostarczyć informacji w zakresie kompetencji, performancji (indywidualnej realizacji), wyników i skutków uwzględniając różnice kulturowe, indywidualne, sytuacyjne i w oparciu o trzy filary testowania: rzetelność, trafność i praktyczność (Piccardo, Berchoud et al., 2011: 46). Kontekst dydaktyczny ewaluacji kompetencji językowej • - ewaluacja jest kompleksowa i wielowymiarowa (assessment is complex ans multidimensional); • • • • • - ewaluacja wspiera i sprzyja uczeniu się (assessment can support and foster learning) ; - kształcenie oparte jest na współodpowiedzialności (responsibility can be shared); - błąd jest zjawiskiem naturalnym (making errors is a natural proces); - profil uczącego się podlega dynamicznym zmianom (profiles are dynamic); - kształcenie językowe nie dotyczy wyłącznie języka (learning the language is not only about the language); • - swoboda w adaptowaniu (celów, sytuacji, potrzeb..) (freedom of adapting). ESOKJ a ewaluacja kompetencji językowych • Doświadczenie pokazuje, że najczęściej po ten dokument sięgają osoby zajmujące się ewaluacją. Skale poziomów biegłości językowej służą jako materiał wyjściowy przy opracowywaniu testów znajomości języka oraz testów certyfikacji językowej. Jeśli skale te są rzeczywiście stosowane w tworzeniu zadań weryfikujących kompetencje językowe, kompetencje te i egzaminy są porównywalne między jednym językiem a drugim. Tworzy się w ten sposób sieć certyfikacji potencjalnie transparentnych. Można by powiedzieć, że w tej dziedzinie ESOKJ nie jest tylko zwykłym punktem odniesienia. • Osoby zajmujące się ewaluacją podchodzą do tego dokumentu najbardziej rygorystycznie (Janowska 2011:75) Poziomy biegłości i ich wskaźniki – problemy teoretyczne i praktyczne • Efekt „odwróconej metonimii” (Coste, 2011:15): całość stała się synonimem części (ESOKJ = poziomy biegłości i deskryptory) • ESOKJ zawiera ogółem 514 deskryptorów: jak do nich podchodzić? Czy wszystkie muszą być stosowane przy opracowywaniu testu? Czy są gotowymi odpowiedziami na pytanie, jak ułożyć test zgodny z duchem dokumentu Rady Europy? • Z jednej strony ułatwiają formułowanie celów kształcenia językowego, wyznaczanie progresji, samoocenę, konstruowanie programów, porównywanie poziomów w różnych systemach kształcenia. Zauważa się jednakże, że ich opracowanie na drodze badania empirycznego prowadzonego w określonym kontekście (Szwajcaria) musiało odcisnąć się na wyborach autorów, podobnie jak fakt, iż są one raczej wyobrażeniem nauczycieli na temat tego, jak powinna być wyrażona dana umiejętność językowa niż odzwierciedleniem faktycznych zachowań językowych. Rozdziały 4 i 5 ESOKJ: od performancji do kompetencji • Rozdział 4 ESOKJ zatytułowany jest „Posługiwanie się językiem i użytkownik • języka” (2003:50), zawiera deskryptory dla prowadzonych działań językowych takich jak wypowiedzi ustne czy pisemne, rozumienie tekstu słuchanego i czytanego, interakcja ustna. • Są to działania językowe związane z życiem codziennym, wśród przykładowych skal znajdą się : opisywanie doświadczeń i przeżyć, przedstawianie własnego stanowiska, pisanie sprawozdań, rozprawek i opracowań, słuchanie komunikatów i instrukcji, słuchanie programów radiowych i telewizyjnych oraz nagrań itp. Deskryptory z rozdziału 4 odwołują się do konkretnego działania komunikacyjnego (performancji), będą pomocne w opracowaniu zadań testowych, wyborze tekstów, przedstawieniu wyników. • Rozdział 5 nosi tytuł „Kompetencje użytkownika/uczącego się języka” (ESOKJ, 2003:94), wśród nich znajdują się kompetencje ogólne oraz komunikacyjne kompetencje językowe. • Wskaźniki biegłości wyrażają: zakres ogólny stosowania środków językowych, zakres słownictwa, poprawność leksykalną, gramatyczną, fonologiczną i ortograficzną, ponadto wskaźniki odnoszące się do stosowności socjolingwistycznej oraz kompetencji pragmatycznej. Tym sposobem nastąpiło przejście od „szczegółu” do „ogółu”, na poziom bardziej abstrakcyjny, bo oderwany od konkretnego działania językowego, a wskazujący na uwarunkowania niezbędne do realizacji działania z poziomu performancji. Rola deskryptorów • Wskaźniki biegłości zawarte w rozdziale 4 i 5 ESOKJ są hasłowymi elementami wykorzystywanymi przez egzaminatorów i autorów testów, ale wymagającymi uszczegółowienia zależnie od celu i sytuacji egzaminacyjnej. Jak to podkreślają sami autorzy ESOKJ: „ Celem opracowania zestawu konkretnych, przykładowych wskaźników biegłości, wraz z podaniem kryteriów i metod ich określania, jest stworzenie możliwości ich twórczego zastosowania przez użytkowników w danym kontekście edukacyjnym” (2003:44, podkr. własne). • „ Skąd mam wiedzieć, że mój poziom B1 odpowiada waszemu poziomowi B1?” (Piccardo et alii, 2011:48). Ta wiedza wynika z jednej strony z samego ESOKJ, a z drugiej- z publikacji, które w sposób szczególny mają na celu właśnie takie kalibrowanie testów, aby pomimo różnic kontekstowych, mogły być porównywalne od strony testowanych kompetencji na danym poziomie biegłości. Nie tylko ESOKJ… • The CEFR and language examinations - a toolkit : • Manual for Relating Language Examination to the Common European Framework of Reference for Languages: learning, teaching, assessment ccompanied by Further Material on Maintaining Standards across Languages, Contexts and Administrations by exploiting Teacher Judgment and IRT Scaling • A technical Reference Supplement to the Manual for Relating Examinations to the CEFR, • A Manual for Language test development and examining for use with the CEFR – produced by ALTE on behalf of the Language Policy Unit, Council of Europe (2011), • • • • Illustrations of the European levels of language proficiency, Content analysis grids for speaking, writing, listening and reading materials, The proceedings of the colloquium on Standard Setting Research and its Relevance to the CEFR Reference Level Descriptions (RLD) for national and regional languages. ECML (Centrum Języków Nowożytnych, Graz) • Noijons J., Beresova J., Breton G., Szabo G., 2011, Relating language examinations to the Common European Framework of Reference for Languages : learning, teaching, assessment (CEFR) : Highlights from the Manual, Graz :Conseil de l`Europe. • Piccardo E., Berchoud M., Cignatta T., Mentz O., Pamula M., 2011, Pathways through assessing, learning and teaching in the CEFR, Graz : Conseil de l`Europe Wersja francuskojęzyczna: Relier les examens de langues au Cadre européen commun de référence pour les langues: apprendre, enseigner, évaluer (CECR): les points essentiels du Manuel. • Candelier M., 2012, Le CARAP-FREPA, Un Cadre de référence pour les Approches Plurielles des Langues et des Cultures/ A Framework of Reference for Pluralistic Approaches to Languages and Cultures, ECML/Conseil de l’Europe. Wskaźniki biegłości a ich operacjonalizacja • Deskryptor opisujący umiejętności wymagane w danym działaniu językowym nie jest jeszcze elementem testu, musi zatem być poddany analizie i uszczegółowieniu. Na etapie przygotowania testu dobrze jest opracować tabele specyfikacyjne dla wybranych do testowania wskaźników biegłości. W tabeli specyfikacyjnej powinny znaleźć się następujące informacje (Tagliante, 2005:63): • • • • Wymagane wiadomości (savoir) i umiejętności (savoir-faire), Zadania, które pozwolą na zweryfikowanie pkt. 1, Wskaźniki stopnia opanowania i ich kryteria. Przykład A1 (konwersacja): potrafi zapytać, jak ktoś się ma i reagować na nowiny. Kompetencja socjolingwistyczna Kompetencja dyskursywna strategie Odpowiedniość spójność Werbalne/ treść Kompetencje językowa umiejętności Wiedza Rozpocząć rozmowę, Przywitać się morfosyntaktyczna Formułowanie zdań Formuły i zwroty prostych grzecznościowe stosowne do sytuacji sytuacyjna niewerbalne Zachowanie Podstawowy Obecność spójników uśmiech Reguł wymowy Kontakt społeczny takich jak „i”, „ale”, nie zakłócające stosowny do rozmówcy „więc” rozumienia Zadawanie Wyrazy pytające Jw. pytań Użycie form „ty: Pan/Pani leksyka fonetyka Zwroty formulaiczne i Dostosowane rozmówcy do Respektowanie rejestru -------językowego Mimika Jw. Kompensowanie braków ekspresja Pytania bezpośrednie, intonacyjne prośba wyjaśnienia o Reformułowanie Tryb warunkowy sytuacji grzecznościowej w Leksyka odpowiednia Jw. do poziomu A1 Odpowiadanie na Czasowniki „być”, Leksyka A1 proste pytania „mieć”, „robić” Pożegnać się Jw. Podstawowe utarte Jw. zwroty grzecznościowe ------ Jw. Prośba o powtórzenie Podstawowy kontakt ------społeczny, stosowny do rozmówcy ------------ Rola inwentarzy językowych • Opracowane dotychczas inwentarze to (ibidem:43): • - dla j. angielskiego: Waystage Level (1991), Threshold Level (1991) i Vantage Level (2001) • - dla j. francuskiego : Referentiels A1 (2007) i A 1.1 (2005), Referentiel A2 (2008), B1 (2011) i B2 (2004), dla poziomów C1 i C2 interesująca do konsultacji jest rozprawa doktorska autorstwa Patricka RIBA (2010) La spécification et la certification pour le français des niveaux C1 et C2 du Cadre européen commun de référence pour les langues Dirigée par M. Jean-Claude Beacco (https://www.academia.edu/1956116/La_specification_des_niveaux_C1_et_C2_pour_le_francai s_classement_semantique_de_8000_locutions_francaises ; • - dla j. niemieckiego: Profile Deutsch A1, A2, B1, B2 (2002) oraz w 2005 C1 i C2 • - dla j. hiszpańskiego (2006): A1 –A2 (tom 1), B1-B2 (tom 2) i C1-C2 (tom 3) • - dla j. polskiego jako obcego (2004) A1 – elementarny poziom zaawansowania w języku polskim jako obcym (W. Martyniuk). Inwentarze cd. • Cambridge Learner Corpus (CLC): 43 miliony wyrazów, 138 języków ojczystych, wszystkie poziomy ESOKJ, dane z 180.000 egzaminów pisemnych • The English Profile Programme (z wykorzystaniem Cambridge Learner Corpus) www.englishprofile.org słownictwo i struktury gramatyczne • • Nowe publikacje: Hawkins, J.A & Filipovič,L. (2012) Criterial Features in L2 English: Specifying the Reference Levels of the Common European Framework (English Profile Studies). Cambridge University Press. • Green.A. Language Functions Revisited: Theoretical and Empirical Bases for Language Construct Definition across the Ability Range. Cambridge University Press. • Hawkins, J. A & Buttery, P. (2010) Criterial Features in L2 English: Specifying the Reference Levels of The Common European Framework. Cambridge University Press. Podsumowanie części teoretycznej • Proces ewaluacji musi być dla wszystkich jej uczestników synonimem nieustannej refleksji nad jej planowaniem, realizacją, przebiegiem i ostatecznymi wynikami. 1. Nie ma i nie będzie gotowych rozwiązań. 2. Wskaźniki biegłości językowej „są to jedynie niezobowiązujące propozycje, mające służyć refleksji, dyskusji i dalszym działaniom” (ESOKJ, 2003:9). 3. Wszyscy uczestnicy są zaproszeni do refleksji, dyskusji, propozycji… ta otwarta koncepcja ewaluacji jest najlepszym dowodem na to, że skończyła się era pomiaru w sensie zewnętrznych, jednakowych dla wszystkich kanonów wymagań realizowanych mechanicznie i równie mechanicznie sprawdzanych. Obiektywizm oceniania jest pojęciem bez pokrycia, bowiem nawet techniki uznawane za obiektywne (wielokrotny wybór, prawda/fałsz..) są jedynie technikami zobiektywizowanego oceniania, same w sobie są nadal subiektywne (wybór dystraktorów, części tekstu, itp..). Sztuka ewaluacji wymaga zatem kreatywności, otwartości, refleksji, ale także rygoryzmu i konsekwencji w realizacji przyjętych standardów. Prace nad modelem certyfikacji w UW • Prace nad modelem egzaminu certyfikacyjnego z języków obcych zostały rozpoczęte w roku 2001/2002 i miały przebieg następujący: • 1) Zespół powołany przez dziekana Wydziału Neofilologii opracował tabele poziomów biegłości językowej według wytycznych Rady Europy ( ESOKJ) uzupełnione dla potrzeb nauczania języków obcych w Uniwersytecie Warszawskim (styczeń 2002). • 2) Wydział Neofilologii wraz z Wydziałem Lingwistyki Stosowanej i Filologii Wschodniosłowiańskich, powołały komisję ekspercką pod kierunkiem prof. Jana Rusieckiego do opracowania modelu egzaminu, przy współpracy Szkoły Języków Obcych oraz pełnomocnika rektora ds. organizacji nauczania języków obcych (od października 2002). Tezy do dyskusji nad założeniami modelu egzaminu certyfikacyjnego • Definicja biegłości językowej według ESOKJ, zdefiniowanie umiejętności językowych stanowiących cel pomiaru. • Rodzaj testu językowego - test biegłości; określenie ogólnego poziomu językowego, czy z uwzględnieniem sprawności, czy precyzujemy minimum językowe – kryteria doboru materiału leksykalnego, leksyko-gramatycznego, funkcjonalnego. • Jakie komponenty biegłości powinny być sprawdzane [sprawności, gramatyka, socjo-pragmatyka]? • Poziom biegłości językowej można sprawdzać w sposób bezpośredni, komunikacyjny, testując wszystkie cztery sprawności: mówienie, rozumienie ze słuchu, czytanie i pisanie za pomocą zadań zbliżonych do warunków naturalnej komunikacji językowej. • Poziom biegłości językowej można również sprawdzać w sposób pośredni, testując składniki kompetencji językowej leżącej u podstaw biegłości za pomocą całkowicie zobiektywizowanych testów wyboru wielokrotnego pozwalających jedynie na rozpoznanie i wybór prawidłowej formy. Obecny model testu pisemnego stanowi połączenie obu tych podejść. Jak adaptować ESOKJ na potrzeby certyfikacji biegłości językowej studentów UW? • Kryteria doboru /modyfikacji deskryptorów: a. uwzględniające potrzeby polskich użytkowników Jakie priorytety: komponent gramatyczny, poprawność językowa są uznawane za istotne? b. podlegające rygorom testu (testable) • Które nadają się do operacjonalizacji w zadaniach testowych ? • Które są łatwo mierzalne? Poziom C1 • Rozumienie ze słuchu według ESOKJ • Rozumie szeroki zakres nagrań audio wraz z ich niestandardowym użyciem, a także potrafi wyłowić subtelne szczegóły dotyczące domniemanych postaw i wzajemnych relacji rozmówców. • Zastosowanie w teście UW • 1.2. tekst typu dyskusja z niestandardowym użyciem języka. • 1.2. tekst typu dyskusja ( 3 rozmówców) z użyciem języka zawierającego różnorodność wymowy (regionalizmy, wymowa nierodzimego użytkownika języka), zwroty potoczne/ kolokwializmy Jak dobierać i formułować deskryptory ESOKJ dla studentów? test pisania • A2 Napisanie prostej wypowiedzi w ok. 30- 50 słowach w formie krótkiego listu lub notatki. Test sprawdzany przez dwóch egzaminatorów według nast. kryteriów: podstawowa poprawność gramatyczna; poprawność pisowni głównych wyrazów. Student potrafi napisać krótki i prosty tekst na podstawie podanych informacji, związany z potrzebami życiowymi • B1 Napisanie dwóch prostych wypowiedzi w ok. 70 - 80 słów każda, w formie listu lub e-mail, notatki, instrukcji, itp..Test sprawdzany przez dwóch egzaminatorów według nast. kryteriów: zgodność i z tematem, podstawowa spójność tekstu, podstawowa poprawność gram. i ortograficzna. Student potrafi napisać krótki użyteczny tekst (list, krótkie wypracowanie) na podstawie podanych informacji. przekazujących informacje, zawierających prośbę lub opisującej doświadczenia lub wrażenia • B2 Napisanie jednego tekstu: -wypracowanie / sprawozdanie wyrażające opinię lub argumentację (ok. 200 -250 słów)Test sprawdzany przez dwóch egzaminatorów według kryteriów: zgodność wypowiedzi z tematem, płynność, spójność tekstu, poprawność gramatyczna i ortograficzna. Student potrafi napisać zwięzły, spójny tekst wyrażający jego pogląd lub opinię. • C1. Napisanie wypowiedzi (ok. 250 słów) w formie artykułu, rozprawki, recenzji, sprawozdania, listu formalnego, wyrażenie opinii na znany temat lub w nawiązaniu do problematyki tekstów znajdujących się w teście. Test sprawdzany przez dwóch egzaminatorów według ustalonych kryteriów: zgodność wypowiedzi z tematem, płynność, spójność tekstu, poprawność gramatyczna i ortograficzna. Student wykazuje się umiejętnością: a) tworzenia tekstów poprawnych językowo, stosownych stylistycznie, spójnych b. znajomością wymogów formalnych (układ tekstu, kompozycja). Czytanie ze zrozumieniem Poziom B2 (ESOKJ 2003: 70-71) • Potrafi czytać z dużą samodzielnością , dostosowując styl i tempo czytania do różnych tekstów i celów, a także wykorzystując wybiórczo odpowiednie źródła. Dysponuje dużym zasobem słownictwa, lecz może mieć trudności ze zrozumieniem rzadko używanych wyrażeń idiomatycznych. • Czyta korespondencję związaną z własnymi zainteresowaniami i bez trudu rozumie jej główne znaczenie. • Potrafi szybko określić treść i wagę wiadomości, artykułów i opracowań na różne tematy zawodowe, decydując czy są warte dokładniejszego przeczytania • Potrafi zebrać informacje koncepcje i opinie z wysoko wyspecjalizowanych źródeł w swojej dziedzinie. • Rozumie specjalistyczne teksty spoza swojej dziedziny, jeśli czasem może skorzystać ze słownika, by potwierdzić własną interpretację danej terminologii. • Rozumie artykuły i opracowania związane ze współczesnymi problemami, w których autorzy zajmują określone stanowiska i wyrażają określone poglądy. Format i zakres testu czytania B2 • Czytanie dwóch autentycznych tekstów i odpowiadanie na pytania. • Pytania do tekstu w formie: zadań wyboru wielokrotnego, z 4 odpowiedziami podanymi do wyboru: a, b, c, d oraz uzupełnianie luk w tekście odpowiedziami podanymi do wyboru (5 opcji) • Student rozumie główny sens wypowiedzi, istotne informacje szczegółowe, rozumie opinie i argumenty; domyśla się znaczenia kluczowych słów z kontekstu; rozumie organizację tekstu i rozpoznaje styl. • Typy i tematyka tekstów: Teksty prasowe, artykuły popularno-naukowe, fragmenty tekstów literackich Test użycia języka – progresja leksykalna i gramatyczna A so gone thing A so as to preventing object A far beyond to see escape B like went matter C such going case B for against preventing reject B so much further seeing refuge B1 C so that prevent refuse D in order to to prevent deny C as far as it goes having seen getaway B2 D so far so good being seen retreat C1 Podsumowanie 2 • Aby w sposób trafny poświadczać biegłość językową należy: • 1. Lepiej precyzować opisy sprawności cząstkowych w zakresie produkcji i recepcji przekładając je na konkretne zadania testowe. • 2. Lepiej opisywać (inwentaryzować) i definiować poziomy w zakresie słownictwa i struktur gramatycznych dla poszczególnych języków (criterial features) na wszystkich poziomach biegłości ESOKJ w celu konstrukcji trafnych testów użycia języka. Dziękujemy za uwagę!