Metoda EWD (edukacyjna wartość dodana) to zestaw technik

1
Metoda EWD (edukacyjna wartość dodana) to zestaw technik statystycznych
pozwalających zmierzyć wkład szkoły w wyniki nauczania. By można ją zastosować,
potrzebujemy wyników przynajmniej dwóch pomiarów osiągnięć szkolnych: na początku
nauki w danej szkole
i na jej zakończenie. Wskaźniki EWD należy traktować jako
ważną informację zwrotną dla szkoły, wspierającą podejmowanie decyzji o kierunkach jej
rozwoju. na początku nauki w danej szkole i na jej zakończenie.
Polski system egzaminacyjny dostarcza danych do wyliczania EWD dla gimnazjów
(sprawdzian w klasie VI szkoły podstawowej jako miara na wejściu, egzamin gimnazjalny
jako miara na wyjściu).
Od 2006 roku zespół EWD udostępnia gimnazjom tzw. kalkulator EWD pozwalający
placówkom prowadzić analizy EWD w ramach ewaluacji wewnątrzszkolnej, obecnie jest to
kalkulator EWD 100.
Wskaźnik EWD dla szkoły mówi o tym, na ile wysokie/niskie wyniki egzaminu końcowego
uzyskali jego absolwenci w porównaniu do uczniów w całej Polsce o analogicznych
wynikach na sprawdzianie. Wskaźnik ma charakter względny, czyli służy do porównywania
szkół. W skali kraju wskaźnik EWD ma z definicji wartość równą zeru. Wartość dodatnia
EWD wskazuje na ponadprzeciętną efektywność nauczania, wartość ujemna na niższą niż
przeciętna efektywność.
Statystyczną ideę szacowania wskaźników EWD dobrze ilustrują dwa poniższe wykresy:
To tak zwane wykresy rozrzutu. na obu widzimy zależność statystyczną między wynikiem
na sprawdzianie w klasie VI szkoły podstawowej (oś pozioma) a wynikami egzaminu
gimnazjalnego trzy lata później (oś pionowa)..
2
Małe punkciki to graficznie przedstawione wyniki ponad 400 tysięcy gimnazjalistów
zdających egzamin. Linia (zwana linią regresji) pokazuje zależność statystyczną między
wynikami na sprawdzanie i egzaminie gimnazjalnym w skali całego kraju. Na tak
sporządzone wykresy naniesiono dodatkowe, kolorowe punkty symbolizujące wyniki dla
dwóch wybranych do analizy szkół. Na wykresie po lewej stronie punkty czerwone, to wyniki
uczniów w szkole A, punkty zielone to wyniki w szkole B. Gdyby skupić uwagę tylko
na wynikach końcowych, bez wahania można powiedzieć, że szkoła B „uczy lepiej”. Średnia
arytmetyczna wyników egzaminu gimnazjalnego w tej szkole to około 36 punktów, średnia
w szkole to zaledwie 22 punkty. Ale należy zwrócić uwagę, że szkoła B pracowała z uczniami
o bardzo wysokich wynikach na sprawdzianie, szkoła A miała uczniów o znacznie niższym
poziomie uprzednich osiągnięć. Jak to wziąć pod uwagę w ocenie pracy szkoły? Wystarczy
odnieść wyniki na egzaminie gimnazjalnym do średnich rezultatów uzyskiwanych w kraju
przez uczniów o danej liczbie punktów na sprawdzianie trzy lata wcześniej. Te punkty
odniesienia wskazuje linia regresji. Zarówno wyniki szkoły A, jak i szkoły B lokują się
powyżej tej linii. Oznacza to, że obie uczą bardziej efektywnie, niż przeciętne gimnazjum
w kraju, uczniowie mają w obu szkołach szansę na ten sam postęp. Choć pod względem
wyników końcowych szkoły dzieliła przepaść, to pod innym ważnym – a z punktu widzenia
ewaluacji szkoły ważniejszym – względem są takie same. W obu notujemy dodatnią
edukacyjną wartość dodaną.
Na wykres po prawej stronie naniesiono wyniki dwóch innych szkół, na czerwono
gimnazjum C, na zielono gimnazjum D. i znów ze względu na wyniki końcowe, jedna szkoła
(C) jest wyraźnie gorsza od drugiej (D). Ale analiza EWD wskazuje, że to szkoła C (czerwone
kropki) efektywniej naucza. Wyniki uczniów w tej szkole lokują się powyżej linii
statystycznie przewidywanego wyniku. Natomiast wyniki w szkole D są poniżej tej linii, co
oznacza efektywność nauczania poniżej przeciętnej dla kraju (mówimy wtedy o ujemnym
EWD)
Korzystanie z wyników z różnych edycji egzaminów zewnętrznych rodzi znaczący problem.
Surowe wyniki egzaminów nie są porównywalne między kolejnymi edycjami egzaminu.
Przed przystąpieniem do analiz efektywności nauczania musimy więc je sprowadzić
do porównywalnej postaci.
W pierwszej fazie wyniki każdej edycji egzaminu są tak przekształcane, by ich rozkłady
maksymalnie zbliżyły się do rozkładu normalnego (normalizacja). W drugim kroku
znormalizowane wyniki egzaminacyjne w każdym roku przeliczane są na wspólną skalę, tak
by średnia krajowa wyniosła 100 punktów, a odchylenie standardowe wyniosło 15 punktów
(standaryzacja). Zakładany rozkład wyników egzaminacyjnych po normalizacji
i standaryzacji wygląda następująco:
3
Zwróćmy uwagę, że dzięki standaryzacji wyniki można łatwo interpretować ilościowo.
Wiadomo, że 100 to zawsze wynik średni w kraju, 115 to wynik przewyższający przeciętną
krajową o jedno odchylenie standardowe, dodatkowo z własności rozkładu normalnego
wiadomo, że wynik wyższy od 115 uzyskało w kraju około 16% zdających.
Znormalizowana i wystandaryzowana skala wyników uczniowskich służy zarówno
do prezentacji wyniku egzaminacyjnego danego gimnazjum, jak i do prezentacji wartości
wskaźnika edukacyjnej wartości dodanej. W wypadku EWD skala ma swój środek w punkcie
0. Wynik EWD równy np. 5 pkt, oznacza, że przeciętny uczeń tego gimnazjum otrzymał
na egzaminie gimnazjalnym o 5 punktów więcej, niż by to wynikało z jego rezultatu
na sprawdzianie po szkole podstawowej.
Od trzylatki 2010-2012 wyniki sprawdzianu i egzaminu gimnazjalnego są skalowane za
pomocą nowoczesnej techniki pomiarowej IRT. Pozwala to na bardziej efektywne szacowanie
poziomu umiejętności uczniów na podstawie surowych wyników egzaminacyjnych. Ta nowa
procedura skalowania nie zmienia interpretacji prezentowanych wyników.
Wynik egzaminacyjny i wskaźnik EWD to miary komplementarne, łącznie dają pełniejszą
informację o szkole. Konsekwencją tego, że uwzględniamy zarówno wynik egzaminacyjny
jak i wskaźnik EWD jest sposób pokazywania wyniku szkoły – pozycja szkoły prezentowana
jest w układzie współrzędnych. Oś pozioma oznacza średni trzyletni wynik egzaminacyjny
szkoły, a oś pionowa symbolizuje trzyletnią EWD szkoły.
Wyniki te są analizowane i przedstawiane na rożnych wykresach, które w obrazowy sposób
je prezentują.
Jedną z możliwości interpretacji jest umieszczenie danych pozycji gimnazjum w układzie
współrzędnych w postaci dwóch elips. Mniejsza z nich, ciemnoszara, wskazuje obszar,
w którym mieści się 50% gimnazjów. Druga elipsa, jasno szara, wyznacza obszar, w którym
mieści się 90% gimnazjów. Środkiem symetrii tych elips jest punkt (100;0).
By uwzględnić statystyczną niepewność szacowania wskaźników pozycja szkoły
prezentowana jest nie tylko jako punkt, ale też jako obszar w kształcie elipsy. Wielkość
elipsy, czyli niepewność szacowania wskaźników dla szkoły, zależy przede wszystkim od
liczby informacji. Im większą liczbą wyników egzaminacyjnych dysponujemy, tym mniejsza
niepewność i mniejsza elipsa.
4
Opis położenia elipsy (szkoły) w układzie współrzędnych (wynik egzaminu, EWD) może
ułatwić wyróżnienie pięciu punktów odniesienia.





Szkoły neutralne. Gimnazja, w których notujemy zarówno średni w skali kraju
poziom wyników egzaminacyjnych, jak i przeciętną efektywność.
Szkoły sukcesu. Gimnazja o wysokich wynikach egzaminacyjnych i wysokiej
efektywności nauczania.
Szkoły wspierające. Gimnazja o niskich wynikach egzaminacyjnych, ale wysokiej
efektywności.
Szkoły wymagające pomocy. Gimnazja o niskich wynikach egzaminacyjnych
i niskiej efektywności nauczania.
Szkoły niewykorzystanych możliwości. Gimnazja o wysokich wynikach
egzaminacyjnych oraz niskiej efektywności nauczania.
Powyższe punkty odniesienia opatrzone umownymi nazwami mają pomóc w interpretacji,
a nie kategoryzacji szkół. Oprócz typów głównych można zaobserwować również typy
pośrednie: szkoły o przeciętnych wynikach i niskiej/wysokiej EWD oraz szkoły o przeciętnej
efektywności (EWD) i niskich/wysokich wynikach egzaminacyjnych. w tych przypadkach
elipsy szkół leżą na osi pionowej lub poziomej, odpowiednio.
Pozycja zielonej elipsy na wykresie wskazuje, że mamy do czynienia ze szkołą neutralną
będziemy nazywać gimnazja, których pozycja w układzie współrzędnych bliska jest punktowi
(100;0). Szkoły neutralne, to najliczniejsza kategoria gimnazjów. Dzieje się tak dlatego,
że zarówno wynik egzaminacyjny, jak i wskaźnik EWD najczęściej przyjmuje wartości
bliskie lub niezbyt odległe od średniej.
Dla naszej szkoły zostały opracowane wyniki egzaminów od 2009 roku . Dane te
zaprezentowane są na różnych, wybranych losowo wykresach.
Jednak jak wynika z wcześniejszego komentarza wynik końcowy jest istotny przy
ocenie, ale bardzo ważną rolę odgrywają również uprzednie osiągnięcia, czyli
potencjał, dlatego będą przedstawiane na początku.
5
Na wykresie rozrzutu wyników przedstawiona jest łączna informacja o wyniku na sprawdzianie oraz
na egzaminie gimnazjalnym. Kropka obrazuje pojedynczego ucznia. Na wykresie pokazana jest
również linia przewidywanego wyniku dla danego roku chłopców bez dysleksji. Odległość punktu
(wyniku ucznia) od linii przewidywanego wyniku nazywamy resztą. EWD jest średnią reszt wszystkich
uczniów w grupie.
Ten rodzaj wykresu pozwala ocenić, na ile rozkład reszt dla danej grupy uczniów różni się od
krajowego, normalnego rozkładu. Pionowa przerywana linia pokazuje średnią reszt, czyli wartość
wskaźnika EWD dla danej grupy uczniów.
6
Podstawowy wykres wykorzystywany przy analizach z wykorzystaniem wskaźników EWD. EWD dla
danej grupy uczniów jest komunikowane wraz z przedziałem ufności, który obrazuje niepewność
pomiarową. Dla oddziałów klasowych stosuje się 90% przedziały ufności, dla szkół – 95%.
Zastosowanie przedziałów ufności pozwala na statystycznie poprawne porównywanie EWD dla grup
7
uczniowskich: dwie grupy istotnie różnią się ze względu na wskaźniki EWD, jeśli przedziały ufności są
rozłączne.
8
Określając szkołę należy wziąć pod uwagę nie tylko wyniki egzaminu, ale też jaki potencjał uczniów
jest na wejście. Biorąc to pod uwagę można zauważyć, że w roku 2014r. wyniki egzaminu i trzy lata
wcześniej sprawdzianu pokazują iż potencjał młodzieży został odpowiednio wykorzystany.
Uczniowie z najwyższą średnią na sprawdzianie, tj.87% oraz 75% osiągnęli na egzaminie wyniki
odpowiednio88% oraz 79%. Natomiast uczeń z najmniejszym potencjałem – 23% na sprawdzianie
osiągnął wynik31% na egzaminie.
WSKAŹNIKI EWD DLA SZKOŁY
Część humanistyczna
Pozycja szkoły ze względu na wskaźniki wyniku końcowego i edukacyjnej wartości dodanej.
95% powierzchnia ufności dla łącznego oszacowania wskaźników.
20092011
20102012
20112013
3,8
3,8
4,6
1,4
1,3
2,2
dolna granica prz. ufności -0,9
-1,1
-0,2
górna granica prz. ufności 103,1
101,6
oszacowanie punktowe
99,2
97,5
dolna granica prz. ufności 95,3
93,5
Dane za lata
górna granica prz. ufności
EWD - część humanistyczna
oszacowanie punktowe
102,7
98,9
95,1
9
1. Wskaźniki obliczone na podstawie danych egzaminacyjnych z lat 2011-2013.
Liczba zdających, których wyniki uwzględniono w analizie: 82.
2. Wskaźniki obliczone na podstawie danych egzaminacyjnych z lat 2010-2012.
Liczba zdających, których wyniki uwzględniono w analizie: 79.
3. Wskaźniki obliczone na podstawie danych egzaminacyjnych z lat 2009-2011.
Liczba zdających, których wyniki uwzględniono w analizie: 80.
Część matematyczno-przyrodnicza
Pozycja szkoły ze względu na wskaźniki wyniku końcowego i edukacyjnej wartości dodanej.
95% powierzchnia ufności dla łącznego oszacowania wskaźników.
EWD - część
matematycznoprzyrodnicza
Dane za lata
górna granica
prz. ufności
oszacowanie
punktowe
dolna granica
prz. ufności
górna granica
prz. ufności
oszacowanie
punktowe
dolna granica
prz. ufności
2009-2011
2010-2012
2011-2013
0,0
1,0
1,8
-2,2
-1,3
-0,4
-4,5
-3,6
-2,7
98,7
98,6
99,8
94,9
94,8
96,0
91,0
90,9
92,3
10
1. Wskaźniki obliczone na podstawie danych egzaminacyjnych z lat 2011-2013.
Liczba zdających, których wyniki uwzględniono w analizie: 82.
2. Wskaźniki obliczone na podstawie danych egzaminacyjnych z lat 2010-2012.
Liczba zdających, których wyniki uwzględniono w analizie: 79.
3. Wskaźniki obliczone na podstawie danych egzaminacyjnych z lat 2009-2011.
Liczba zdających, których wyniki uwzględniono w analizie: 80.