PLIK PDF - Uniwersytet Warszawski

Ramy teoretyczne i praktyczne ewaluacji
kompetencji językowych. Przykład egzaminów
certyfikacyjnych z języków obcych w UW
Ludmiła Sobolew
Jolanta Sujecka-Zając
Rada Koordynacyjna ds. Certyfikacji Biegłości Językowej
Uniwersytet Warszawski 22.09.2014
Plan wystąpienia
• Poświadczanie kompetencji językowych – odniesienie teoretyczne
• Funkcje ewaluacji kompetencji językowej
• ESOKJ a ewaluacja kompetencji językowych
- Poziomy biegłości i ich wskaźniki – problemy teoretyczne i praktyczne
- Wskaźniki biegłości a ich operacjonalizacja
• Podsumowanie części teoretycznej
• Przykłady rozwiązań w kontekście prac Rady Koordynacyjnej ds.
Certyfikacji Biegłości Językowej
Poświadczanie kompetencji językowych – punkt
odniesienia
• „Przez certyfikację biegłości językowej należy rozumieć potwierdzanie
nabytych przez uczącego się kompetencji językowych w odniesieniu do
uznanego, powszechnie rozpoznawalnego standardu”
(Urbanikowa, 2011:118, podkr. własne).
Rolę takiego standardu pełni Europejski System Opisu Kształcenia
Językowego (2001/2003 wyd. pol.) (ang. CEFR, fr. CECR),
z całą pewnością jest zarazem „uznany” i „powszechnie rozpoznawalny”, ale….
Funkcje ewaluacji kompetencji językowej
• Ewaluacja jest współcześnie pojęciem złożonym, obejmuje rozmaite
działania zarówno nauczyciela jak i uczącego się, a jej cele mogą być
diagnostyczno-planistyczne, regulująco-modyfikujące oraz sumujące i
certyfikujące. W realiach współczesnego kształcenia językowego wszystkie
typy ewaluacji współwystępują w różnych konfiguracjach zależnie od etapu
kształcenia.
• Ewaluacja ma za zadanie dostarczyć informacji w zakresie kompetencji,
performancji (indywidualnej realizacji), wyników i skutków uwzględniając
różnice kulturowe, indywidualne, sytuacyjne i w oparciu o trzy filary
testowania: rzetelność, trafność i praktyczność (Piccardo, Berchoud et al., 2011: 46).
Kontekst dydaktyczny
ewaluacji kompetencji językowej
• - ewaluacja jest kompleksowa i wielowymiarowa (assessment is complex ans
multidimensional);
•
•
•
•
•
- ewaluacja wspiera i sprzyja uczeniu się (assessment can support and foster learning) ;
- kształcenie oparte jest na współodpowiedzialności (responsibility can be shared);
- błąd jest zjawiskiem naturalnym (making errors is a natural proces);
- profil uczącego się podlega dynamicznym zmianom (profiles are dynamic);
- kształcenie językowe nie dotyczy wyłącznie języka (learning the language is not only
about the language);
• - swoboda w adaptowaniu (celów, sytuacji, potrzeb..) (freedom of adapting).
ESOKJ a ewaluacja kompetencji językowych
• Doświadczenie pokazuje, że najczęściej po ten dokument sięgają osoby
zajmujące się ewaluacją. Skale poziomów biegłości językowej służą jako
materiał wyjściowy przy opracowywaniu testów znajomości języka oraz
testów certyfikacji językowej. Jeśli skale te są rzeczywiście stosowane w
tworzeniu zadań weryfikujących kompetencje językowe, kompetencje te i
egzaminy są porównywalne między jednym językiem a drugim. Tworzy się w
ten sposób sieć certyfikacji potencjalnie transparentnych. Można by
powiedzieć, że w tej dziedzinie ESOKJ nie jest tylko zwykłym punktem
odniesienia.
• Osoby zajmujące się ewaluacją podchodzą do tego dokumentu najbardziej
rygorystycznie (Janowska 2011:75)
Poziomy biegłości i ich wskaźniki – problemy teoretyczne i praktyczne
• Efekt „odwróconej metonimii” (Coste, 2011:15): całość stała się synonimem części
(ESOKJ = poziomy biegłości i deskryptory)
• ESOKJ zawiera ogółem 514 deskryptorów: jak do nich podchodzić? Czy wszystkie
muszą być stosowane przy opracowywaniu testu? Czy są gotowymi odpowiedziami
na pytanie, jak ułożyć test zgodny z duchem dokumentu Rady Europy?
• Z jednej strony ułatwiają formułowanie celów kształcenia językowego,
wyznaczanie
progresji,
samoocenę,
konstruowanie
programów,
porównywanie poziomów w różnych systemach kształcenia. Zauważa się
jednakże, że ich opracowanie na drodze badania empirycznego prowadzonego w
określonym kontekście (Szwajcaria) musiało odcisnąć się na wyborach autorów,
podobnie jak fakt, iż są one raczej wyobrażeniem nauczycieli na temat tego, jak
powinna być wyrażona dana umiejętność językowa niż odzwierciedleniem
faktycznych zachowań językowych.
Rozdziały 4 i 5 ESOKJ: od performancji do kompetencji
• Rozdział 4 ESOKJ zatytułowany jest „Posługiwanie się językiem i użytkownik
• języka” (2003:50), zawiera deskryptory dla prowadzonych działań językowych
takich jak wypowiedzi ustne czy pisemne, rozumienie tekstu słuchanego i
czytanego, interakcja ustna.
• Są to działania językowe związane z życiem codziennym, wśród
przykładowych skal znajdą się : opisywanie doświadczeń i przeżyć, przedstawianie
własnego stanowiska, pisanie sprawozdań, rozprawek i opracowań, słuchanie
komunikatów i instrukcji, słuchanie programów radiowych i telewizyjnych oraz
nagrań itp. Deskryptory z rozdziału 4 odwołują się do konkretnego działania
komunikacyjnego (performancji), będą pomocne w opracowaniu zadań
testowych, wyborze tekstów, przedstawieniu wyników.
• Rozdział 5 nosi tytuł „Kompetencje użytkownika/uczącego się języka”
(ESOKJ, 2003:94), wśród nich znajdują się kompetencje ogólne oraz
komunikacyjne kompetencje językowe.
• Wskaźniki biegłości wyrażają: zakres ogólny stosowania środków
językowych, zakres słownictwa, poprawność leksykalną, gramatyczną,
fonologiczną i ortograficzną, ponadto wskaźniki odnoszące się do
stosowności socjolingwistycznej oraz kompetencji pragmatycznej. Tym
sposobem nastąpiło przejście od „szczegółu” do „ogółu”, na poziom
bardziej abstrakcyjny, bo oderwany od konkretnego działania
językowego, a wskazujący na uwarunkowania niezbędne do realizacji
działania z poziomu performancji.
Rola deskryptorów
• Wskaźniki biegłości zawarte w rozdziale 4 i 5 ESOKJ są hasłowymi
elementami wykorzystywanymi przez egzaminatorów i autorów testów, ale
wymagającymi uszczegółowienia zależnie od celu i sytuacji egzaminacyjnej.
Jak to podkreślają sami autorzy ESOKJ: „ Celem opracowania zestawu
konkretnych, przykładowych wskaźników biegłości, wraz z podaniem
kryteriów i metod ich określania, jest stworzenie możliwości ich twórczego
zastosowania przez użytkowników w danym kontekście edukacyjnym”
(2003:44, podkr. własne).
• „ Skąd mam wiedzieć, że mój poziom B1 odpowiada waszemu poziomowi B1?” (Piccardo et alii,
2011:48). Ta wiedza wynika z jednej strony z samego ESOKJ, a z drugiej- z publikacji, które w sposób
szczególny mają na celu właśnie takie kalibrowanie testów, aby pomimo różnic kontekstowych, mogły
być porównywalne od strony testowanych kompetencji na danym poziomie biegłości.
Nie tylko ESOKJ…
• The CEFR and language examinations - a toolkit :
• Manual for Relating Language Examination to the Common European Framework of Reference
for Languages: learning, teaching, assessment ccompanied by Further Material on Maintaining
Standards across Languages, Contexts and Administrations by exploiting Teacher Judgment and IRT
Scaling
• A technical Reference Supplement to the Manual for Relating Examinations to the CEFR,
• A Manual for Language test development and examining for use with the CEFR – produced by
ALTE on behalf of the Language Policy Unit, Council of Europe (2011),
•
•
•
•
Illustrations of the European levels of language proficiency,
Content analysis grids for speaking, writing, listening and reading materials,
The proceedings of the colloquium on Standard Setting Research and its Relevance to the CEFR
Reference Level Descriptions (RLD) for national and regional languages.
ECML (Centrum Języków Nowożytnych, Graz)
• Noijons J., Beresova J., Breton G., Szabo G., 2011, Relating language examinations to the Common
European Framework of Reference for Languages : learning, teaching, assessment (CEFR) : Highlights
from the Manual, Graz :Conseil de l`Europe.
• Piccardo E., Berchoud M., Cignatta T., Mentz O., Pamula M., 2011, Pathways through assessing,
learning and teaching in the CEFR, Graz : Conseil de l`Europe Wersja francuskojęzyczna: Relier
les examens de langues au Cadre européen commun de référence pour les langues:
apprendre, enseigner, évaluer (CECR): les points essentiels du Manuel.
• Candelier M., 2012, Le CARAP-FREPA, Un Cadre de référence pour les Approches Plurielles des
Langues et des Cultures/ A Framework of Reference for Pluralistic Approaches to Languages and
Cultures, ECML/Conseil de l’Europe.
Wskaźniki biegłości a ich operacjonalizacja
• Deskryptor opisujący umiejętności wymagane w danym działaniu językowym
nie jest jeszcze elementem testu, musi zatem być poddany analizie i
uszczegółowieniu. Na etapie przygotowania testu dobrze jest opracować
tabele specyfikacyjne dla wybranych do testowania wskaźników biegłości. W
tabeli specyfikacyjnej powinny znaleźć się następujące informacje (Tagliante,
2005:63):
•
•
•
•
Wymagane wiadomości (savoir) i umiejętności (savoir-faire),
Zadania, które pozwolą na zweryfikowanie pkt. 1,
Wskaźniki stopnia opanowania i ich kryteria.
Przykład A1 (konwersacja): potrafi zapytać, jak ktoś się ma i reagować
na nowiny.
Kompetencja
socjolingwistyczna
Kompetencja
dyskursywna
strategie
Odpowiedniość
spójność
Werbalne/
treść
Kompetencje językowa
umiejętności
Wiedza
Rozpocząć
rozmowę,
Przywitać się
morfosyntaktyczna
Formułowanie
zdań Formuły i zwroty
prostych
grzecznościowe
stosowne do sytuacji
sytuacyjna
niewerbalne
Zachowanie
Podstawowy
Obecność spójników uśmiech
Reguł wymowy Kontakt
społeczny takich jak „i”, „ale”,
nie zakłócające stosowny do rozmówcy „więc”
rozumienia
Zadawanie
Wyrazy pytające
Jw.
pytań
Użycie form „ty:
Pan/Pani
leksyka
fonetyka
Zwroty formulaiczne
i Dostosowane
rozmówcy
do
Respektowanie rejestru -------językowego
Mimika
Jw.
Kompensowanie
braków
ekspresja
Pytania bezpośrednie,
intonacyjne
prośba
wyjaśnienia
o Reformułowanie
Tryb warunkowy
sytuacji
grzecznościowej
w
Leksyka odpowiednia Jw.
do poziomu A1
Odpowiadanie na Czasowniki
„być”, Leksyka A1
proste pytania
„mieć”, „robić”
Pożegnać się
Jw.
Podstawowe
utarte Jw.
zwroty grzecznościowe
------
Jw.
Prośba o powtórzenie
Podstawowy kontakt ------społeczny, stosowny do
rozmówcy
------------
Rola inwentarzy językowych
• Opracowane dotychczas inwentarze to (ibidem:43):
• - dla j. angielskiego: Waystage Level (1991), Threshold Level (1991) i Vantage Level (2001)
• - dla j. francuskiego : Referentiels A1 (2007) i A 1.1 (2005), Referentiel A2 (2008), B1 (2011) i B2
(2004), dla poziomów C1 i C2 interesująca do konsultacji jest rozprawa doktorska autorstwa
Patricka RIBA (2010) La spécification et la certification pour le français des niveaux C1 et C2 du
Cadre européen commun de référence pour les langues Dirigée par M. Jean-Claude Beacco
(https://www.academia.edu/1956116/La_specification_des_niveaux_C1_et_C2_pour_le_francai
s_classement_semantique_de_8000_locutions_francaises ;
• - dla j. niemieckiego: Profile Deutsch A1, A2, B1, B2 (2002) oraz w 2005 C1 i C2
• - dla j. hiszpańskiego (2006): A1 –A2 (tom 1), B1-B2 (tom 2) i C1-C2 (tom 3)
• - dla j. polskiego jako obcego (2004) A1 – elementarny poziom zaawansowania w języku polskim jako
obcym (W. Martyniuk).
Inwentarze cd.
•
Cambridge Learner Corpus (CLC): 43 miliony wyrazów, 138 języków ojczystych, wszystkie
poziomy ESOKJ, dane z 180.000 egzaminów pisemnych
•
The English Profile Programme (z wykorzystaniem Cambridge Learner Corpus)
www.englishprofile.org słownictwo i struktury gramatyczne
•
•
Nowe publikacje:
Hawkins, J.A & Filipovič,L. (2012) Criterial Features in L2 English: Specifying the
Reference Levels of the Common European Framework (English Profile Studies).
Cambridge University Press.
•
Green.A. Language Functions Revisited: Theoretical and Empirical Bases for Language
Construct Definition across the Ability Range. Cambridge University Press.
•
Hawkins, J. A & Buttery, P. (2010) Criterial Features in L2 English: Specifying the Reference
Levels of The Common European Framework. Cambridge University Press.
Podsumowanie części teoretycznej
• Proces ewaluacji musi być dla wszystkich jej uczestników synonimem nieustannej
refleksji nad jej planowaniem, realizacją, przebiegiem i ostatecznymi wynikami.
1. Nie ma i nie będzie gotowych rozwiązań.
2. Wskaźniki biegłości językowej „są to jedynie niezobowiązujące propozycje, mające
służyć refleksji, dyskusji i dalszym działaniom” (ESOKJ, 2003:9).
3. Wszyscy uczestnicy są zaproszeni do refleksji, dyskusji, propozycji… ta otwarta
koncepcja ewaluacji jest najlepszym dowodem na to, że skończyła się era pomiaru w
sensie zewnętrznych, jednakowych dla wszystkich kanonów wymagań realizowanych
mechanicznie i równie mechanicznie sprawdzanych. Obiektywizm oceniania jest
pojęciem bez pokrycia, bowiem nawet techniki uznawane za obiektywne
(wielokrotny wybór, prawda/fałsz..) są jedynie technikami zobiektywizowanego
oceniania, same w sobie są nadal subiektywne (wybór dystraktorów, części tekstu,
itp..).
Sztuka ewaluacji wymaga zatem
kreatywności, otwartości, refleksji, ale
także rygoryzmu i konsekwencji w
realizacji przyjętych standardów.
Prace nad modelem certyfikacji w UW
• Prace nad modelem egzaminu certyfikacyjnego z języków obcych zostały rozpoczęte w roku
2001/2002 i miały przebieg następujący:
• 1) Zespół powołany przez dziekana Wydziału Neofilologii opracował tabele poziomów
biegłości językowej według wytycznych Rady Europy ( ESOKJ) uzupełnione dla potrzeb
nauczania języków obcych w Uniwersytecie Warszawskim (styczeń 2002).
• 2) Wydział Neofilologii wraz z Wydziałem Lingwistyki Stosowanej i Filologii
Wschodniosłowiańskich, powołały komisję ekspercką pod kierunkiem prof. Jana
Rusieckiego do opracowania modelu egzaminu, przy współpracy Szkoły Języków Obcych
oraz pełnomocnika rektora ds. organizacji nauczania języków obcych (od października
2002).
Tezy do dyskusji nad założeniami modelu egzaminu
certyfikacyjnego
• Definicja biegłości językowej według ESOKJ, zdefiniowanie umiejętności
językowych stanowiących cel pomiaru.
• Rodzaj testu językowego - test biegłości; określenie ogólnego poziomu
językowego, czy z uwzględnieniem sprawności, czy precyzujemy minimum
językowe – kryteria doboru materiału leksykalnego, leksyko-gramatycznego,
funkcjonalnego.
• Jakie komponenty biegłości powinny być sprawdzane [sprawności,
gramatyka, socjo-pragmatyka]?
• Poziom biegłości językowej można sprawdzać w sposób bezpośredni,
komunikacyjny, testując wszystkie cztery sprawności: mówienie, rozumienie
ze słuchu, czytanie i pisanie za pomocą zadań zbliżonych do warunków
naturalnej komunikacji językowej.
• Poziom biegłości językowej można również sprawdzać w sposób
pośredni, testując składniki kompetencji językowej leżącej u podstaw
biegłości za pomocą całkowicie zobiektywizowanych testów wyboru
wielokrotnego pozwalających jedynie na rozpoznanie i wybór prawidłowej
formy.
Obecny model testu pisemnego stanowi połączenie obu tych podejść.
Jak adaptować ESOKJ na potrzeby certyfikacji
biegłości językowej studentów UW?
• Kryteria doboru /modyfikacji deskryptorów:
a. uwzględniające potrzeby polskich użytkowników
Jakie priorytety: komponent gramatyczny, poprawność językowa są
uznawane za istotne?
b. podlegające rygorom testu (testable)
• Które nadają się do operacjonalizacji w zadaniach testowych ?
• Które są łatwo mierzalne?
Poziom C1
• Rozumienie ze słuchu według ESOKJ
• Rozumie szeroki zakres nagrań audio wraz z ich niestandardowym użyciem, a także
potrafi wyłowić subtelne szczegóły dotyczące domniemanych postaw i wzajemnych relacji
rozmówców.
• Zastosowanie w teście UW
• 1.2. tekst typu dyskusja z niestandardowym użyciem języka.
• 1.2. tekst typu dyskusja ( 3 rozmówców) z użyciem języka zawierającego różnorodność
wymowy (regionalizmy, wymowa nierodzimego użytkownika języka), zwroty potoczne/
kolokwializmy
Jak dobierać i formułować deskryptory ESOKJ dla studentów?
test pisania
•
A2 Napisanie prostej wypowiedzi w ok. 30- 50 słowach w formie krótkiego listu lub notatki. Test
sprawdzany przez dwóch egzaminatorów według nast. kryteriów: podstawowa poprawność gramatyczna;
poprawność pisowni głównych wyrazów. Student potrafi napisać krótki i prosty tekst na podstawie
podanych informacji, związany z potrzebami życiowymi
•
B1 Napisanie dwóch prostych wypowiedzi w ok. 70 - 80 słów każda, w formie listu lub e-mail, notatki,
instrukcji, itp..Test sprawdzany przez dwóch egzaminatorów według nast. kryteriów: zgodność i z tematem,
podstawowa spójność tekstu, podstawowa poprawność gram. i ortograficzna. Student potrafi napisać krótki
użyteczny tekst (list, krótkie wypracowanie) na podstawie podanych informacji. przekazujących
informacje, zawierających prośbę lub opisującej doświadczenia lub wrażenia
• B2 Napisanie jednego tekstu:
-wypracowanie / sprawozdanie wyrażające opinię lub argumentację
(ok. 200 -250 słów)Test sprawdzany przez dwóch egzaminatorów według kryteriów: zgodność wypowiedzi z
tematem, płynność, spójność tekstu, poprawność gramatyczna i ortograficzna. Student potrafi napisać zwięzły,
spójny tekst wyrażający jego pogląd lub opinię.
• C1. Napisanie wypowiedzi (ok. 250 słów) w formie
artykułu, rozprawki, recenzji, sprawozdania, listu
formalnego, wyrażenie opinii na znany temat lub w nawiązaniu do problematyki tekstów znajdujących się w
teście. Test sprawdzany przez dwóch egzaminatorów według ustalonych kryteriów: zgodność wypowiedzi z
tematem, płynność, spójność tekstu, poprawność gramatyczna i ortograficzna. Student wykazuje się
umiejętnością: a) tworzenia tekstów poprawnych językowo, stosownych stylistycznie, spójnych b.
znajomością wymogów formalnych (układ tekstu, kompozycja).
Czytanie ze zrozumieniem Poziom B2 (ESOKJ 2003: 70-71)
• Potrafi czytać z dużą samodzielnością , dostosowując styl i tempo czytania do różnych tekstów i celów, a także
wykorzystując wybiórczo odpowiednie źródła. Dysponuje dużym zasobem słownictwa, lecz może mieć
trudności ze zrozumieniem rzadko używanych wyrażeń idiomatycznych.
• Czyta korespondencję związaną z własnymi zainteresowaniami i bez trudu rozumie jej główne znaczenie.
• Potrafi szybko określić treść i wagę wiadomości, artykułów i opracowań na różne tematy zawodowe, decydując czy
są warte dokładniejszego przeczytania
• Potrafi zebrać informacje koncepcje i opinie z wysoko wyspecjalizowanych źródeł w swojej dziedzinie.
• Rozumie specjalistyczne teksty spoza swojej dziedziny, jeśli czasem może skorzystać ze słownika, by potwierdzić
własną interpretację danej terminologii.
• Rozumie artykuły i opracowania związane ze współczesnymi problemami, w których autorzy zajmują
określone stanowiska i wyrażają określone poglądy.
Format i zakres testu czytania B2
• Czytanie dwóch autentycznych tekstów i odpowiadanie na pytania.
• Pytania do tekstu w formie: zadań wyboru wielokrotnego, z 4 odpowiedziami
podanymi do wyboru: a, b, c, d oraz uzupełnianie luk w tekście
odpowiedziami podanymi do wyboru (5 opcji)
• Student rozumie główny sens wypowiedzi, istotne informacje szczegółowe,
rozumie opinie i argumenty; domyśla się znaczenia kluczowych słów z
kontekstu; rozumie organizację tekstu i rozpoznaje styl.
• Typy i tematyka tekstów: Teksty prasowe, artykuły popularno-naukowe,
fragmenty tekstów literackich
Test użycia języka – progresja leksykalna i gramatyczna
A
so
gone
thing
A
so as to
preventing
object
A
far beyond
to see
escape
B
like
went
matter
C
such
going
case
B
for
against preventing
reject
B
so much further
seeing
refuge
B1
C
so that
prevent
refuse
D
in order to
to prevent
deny
C
as far as it goes
having seen
getaway
B2
D
so far so good
being seen
retreat
C1
Podsumowanie 2
• Aby w sposób trafny poświadczać biegłość językową należy:
• 1. Lepiej precyzować opisy sprawności cząstkowych w zakresie produkcji i
recepcji przekładając je na konkretne zadania testowe.
• 2. Lepiej opisywać (inwentaryzować) i definiować poziomy w zakresie
słownictwa i struktur gramatycznych dla poszczególnych języków (criterial
features) na wszystkich poziomach biegłości ESOKJ w celu konstrukcji
trafnych testów użycia języka.
Dziękujemy za uwagę!