Publikacja - Powiat Ostrzeszowski

Mirosław Drabczyński
Krystian Kaźmierczak
Statystyka jako narzędzie ewaluacji wewnętrznej
i poprawy jakości pracy szkoły.
Wykładowcy akademiccy uczyli nas (jesteśmy nauczycielami matematyki), że aby
zrobić prawidłowe badanie statystyczne, potrzeba rzetelnej wiedzy i dokładnego narzędzia
badawczego, a sam proces analizy danych wymaga staranności i dokładności. Praktyka życia
codziennego pokazała jednak, iż nauki profesorów pozostały w uczelnianych murach, a
popularna „statystyka”, z którą spotykamy się w prasie czy Internecie, ma tak naprawdę
niewiele wspólnego z nauką. Dlaczego tak się dzieje? Postaramy się to wyjaśnić na przykładzie
kilku najczęściej popełnianych błędów sporządzania i interpretacji statystyk. Przykłady te,
podobnie jak nauczyciele: pan Kowalski oraz pan Nowak zostały wymyślone przez nas i
prosimy nie odbierać naszego wywodu w odniesieniu do jakiejkolwiek szkoły, czy nauczyciela.
Zachęcamy czytelnika, by nie patrzył od razu na analizę, lecz spróbował samodzielnie
zinterpretować dane. Dlatego też najpierw umieściliśmy przykłady, a dopiero poniżej
omówienie.
Przykład 1.
Mamy dwóch nauczycieli: Kowalskiego i Nowaka. U Kowalskiego średni wynik
uczniów z egzaminu maturalnego to 65%, u Nowaka 55%. Który uczył lepiej?
Przykład 2.
Klasy maturalne przez cykl edukacji uczyli panowie Kowalski oraz Nowak. W latach
nieparzystych egzamin zewnętrzny zdawali uczniowie pana Kowalskiego, a w latach
parzystych pana Nowaka. Klasy miały takie same osiągnięcia na wejściu, a wyniki matury
umieszczono w tabeli poniżej.
str. 1
Projekt „Kompetencje zawodowe nauczycielek i nauczycieli jako element budowania organizacji uczącej się
i lokalnej strategii oświatowej w powiecie ostrzeszowskim” współfinansowany ze środków Unii Europejskiej
w ramach Europejskiego Funduszu Społecznego
Rok
2009
2011
2013
Średni wynik
u Kowalskiego
50%
55%
60%
Rok
2010
2012
2014
Średni wynik
u Nowaka
50%
55%
60%
Oczywiście, to że uczniowie pana Nowaka uzyskują następnego roku taki wynik, co rok
wcześniej pan Kowalskiego, nie znaczy, że Nowak uczy gorzej, ale sformułujemy wniosek:
„Kowalski przyczynia się do wzrostu jakości pracy szkoły, bo to on pierwszy znajduje metody
do poprawy osiągnięć, a Nowak je powiela.” Wyraźnie wyróżniamy Kowalskiego.
Przykład 3.
Czy jeśli średni wynik w szkole jest coraz wyższy, to szkoła jest coraz lepsza? Czy, jeśli
wynik w szkole jest coraz niższy, to szkoła jest coraz gorsza?
Przykład 4.
Matura danego roku. Panowie: Kowalski i Nowak uczą matematyki. Wyniki wstępne
w klasach Kowalskiego i Nowaka były porównywalne. Tabela przedstawia wyniki maturalne
przedmiotów obowiązkowych. W tabeli umieszczono trzy przedmioty obowiązkowe
na maturze. (Wykluczamy przypadek, że jedna z klas z każdego przedmiotu osiągnęła wyższe
wyniki, a druga niższe, bez wnikania w czynniki.)
Wynik w tabeli, podany w procentach, nie oznacza zdawalności, tylko średni procent
poprawnych odpowiedzi, udzielonych przez uczniów w danej klasie. Jest to więc wynik
jakościowy.
Klasa
Język polski (pp)
Język obcy (pp)
Matematyka (pp)
A (Kowalski)
60%
60%
70%
B (Nowak)
60%
60%
55%
Który nauczyciel uczył lepiej?
str. 2
Projekt „Kompetencje zawodowe nauczycielek i nauczycieli jako element budowania organizacji uczącej się
i lokalnej strategii oświatowej w powiecie ostrzeszowskim” współfinansowany ze środków Unii Europejskiej
w ramach Europejskiego Funduszu Społecznego
Przykład 5.
Tabelka jak w poprzednim przykładzie. Są to klasy ponadgimnazjalne. Obie klasy
realizują ten sam program, w takim samym zakresie godzin.
Klasa
Język polski (pp)
Język obcy (pp)
Matematyka (pp)
A (Kowalski)
60%
60%
70%
B (Nowak)
60%
60%
55%
Który nauczyciel uczył lepiej?
Ad. Przykład 1.
Prawidłowa odpowiedź: Nie wiemy. Mamy za mało danych, żeby to stwierdzić. Np.
Kowalski uczy w klasie elitarnej i na wejściu miał wynik 70%, a Nowak w klasie przeciętnej i
na wejściu miał wynik 50%. Jak teraz ocenię wyniki? U Kowalskiego wynik na wejściu wynosił
70%, na koniec 65%, u Nowaka na wejściu było 50%, na koniec edukacji 55%. Który więc
uczył lepiej? Nie można stwierdzić, nie uwzględniając danych wejściowych.
Ad. Przykład 2.
Prawidłowa odpowiedź: Nie wiemy. Mamy za mało danych, żeby wyróżniać pana
Kowalskiego. Jeśli np. tabela rozszerzona o wyniki w kraju wygląda następująco:
Rok
Średni wynik
Średni wynik
u Kowalskiego
w kraju
2009
50%
50%
2011
55%
2013
60%
Rok
Średni wynik
Średni wynik
u Nowaka
w kraju
2010
50%
45%
55%
2012
55%
50%
60%
2014
60%
55%
Kowalski uczy na średnim poziomie, a Nowak osiąga o 5 punktów procentowych wynik lepszy
w porównaniu do kraju. Bez patrzenia na wynik w kraju (okręgu) nie mogę porównywać
różnych lat. Należy więc przekładać pomiar liczbowy na jakościowy. Musimy mieć punkt
odniesienia, a nie interpretować tylko „suche” wyniki.
str. 3
Projekt „Kompetencje zawodowe nauczycielek i nauczycieli jako element budowania organizacji uczącej się
i lokalnej strategii oświatowej w powiecie ostrzeszowskim” współfinansowany ze środków Unii Europejskiej
w ramach Europejskiego Funduszu Społecznego
Ad. Przykład 3.
Może się zdarzyć, że wynik w szkole jest coraz wyższy (np. coraz łatwiejszy egzamin
zewnętrzny), ale szkoła osiąga coraz niższe wyniki, w porównaniu do kraju. Musimy mieć
punkt odniesienia, co z czym porównujemy, a nie patrzmy tylko na wynik!
Może oczywiście być też odwrotnie.
Inny czynnik, który należy uwzględnić: może też się zdarzyć, że wynik w szkole jest
coraz wyższy, w porównaniu do wyników krajowych również, ale do szkoły trafiają uczniowie
o coraz większym potencjale i nie ma w tym zasługi uczących tzn. brak wzrostu wkładu pracy
w porównaniu do wyników.
Można doszukiwać się czynnika, który wpłynął na wybór przez uczniów o najwyższym
potencjale, tej właśnie szkoły. Można zadać pytanie, czy jakieś poczynania dokonała placówka,
że najzdolniejsi uczniowie wybierają właśnie tę. Zjawisko to dotyczy głównie większych
aglomeracji, gdzie uczniowie mogą więcej możliwości wyboru szkół średnich.
W szkołach ponadgimnazjalnych, uznawanych za elitarne, przy rekrutacji są progi
punktowe, ale w wielu placówkach, ze względu na niż demograficzny, przyjmuje się niemal
każdego ucznia, bez względu na wynik z testu gimnazjalnego, przez co zróżnicowanie poziomu
wiedzy na wstępie jest znacznie większe, niż w placówkach, które dokonują selekcji podczas
rekrutacji.
Innym czynnikiem może być bardziej efektywna praca, na danym obszarze,
w placówkach na wcześniejszym etapie edukacji. Wtedy, bez ingerencji szkoły średniej, trafią
do niej uczniowie zdolniejsi, gdyż wcześniej nabyli większą wiedzę.
Ad. Przykład 4.
Prawidłowa odpowiedź. Nie wiemy, brakuje pełnej informacji. Okazało się, że
klasa „A” to „mat-fiz”. Można uogólnić, porównując całe klasy, że większe było, już na
wstępie, zaangażowanie uczniów tej klasy, ponieważ sami wybrali matematykę jako przedmiot
kierunkowy. Mając możliwość wyboru, decydujemy się na to, czym jesteśmy bardziej
zainteresowani. Poza tym, w klasie „A” uczniowie w całym cyklu nauki mieli 18 godzin oraz
mieli „powiększoną wiedzę” o zakres rozszerzony, a uczniowie klasy „B” mieli w całym cyklu
10 godzin i realizowali tylko zakres podstawowy.
str. 4
Projekt „Kompetencje zawodowe nauczycielek i nauczycieli jako element budowania organizacji uczącej się
i lokalnej strategii oświatowej w powiecie ostrzeszowskim” współfinansowany ze środków Unii Europejskiej
w ramach Europejskiego Funduszu Społecznego
Można stwierdzić, że przecież obie klasy realizowały tę samą podstawę, ale przecież
uczniowie z klasy „A” poznali inne, szersze metody, z których mogli skorzystać również na
egzaminie z zakresu podstawowego. Uważamy też, że większa liczba godzin ma wpływ na
wynik. Można powiedzieć, że nawet przy 30 godzinach w tygodniu nauczyciel może źle uczyć,
a liczba godzin nie ma wpływu na wynik egzaminu. Dlaczego więc znaczna grupa nauczycieli
chciałaby mieć większą liczbę godzin w cyklu z daną klasą? Z powodów finansowych,
własnych fanaberii?
Proponujemy też, by np. wybitny nauczyciel jakiegokolwiek przedmiotu przeprowadzał
z danym uczniem godzinę zajęć w tygodniu, a ten „zły nauczyciel”, z uczniem
o porównywalnym potencjale, siedem godzin w tygodniu i porównajmy wyniki po jakimś
czasie.
A liczy się jeszcze zaangażowanie młodzieży do danego przedmiotu. Wiele osób trzeba
ciągle motywować do pracy.
Ad. Przykład 5.
Prawidłowa odpowiedź. Dalej nie wiemy. Za mało danych. Może okazać się, że obie
klasy liczyły po 30 uczniów, ale w klasie „A” Kowalski powiedział najsłabszym, że jeśli złożą
deklaracje maturalne, to dostaną ocenę niedostateczną na koniec roku i do matury przystąpiło
20 najlepszych absolwentów, a w klasie „B” wszyscy. Czy można porównywać wyniki tych
dwóch klas? Nie!
Oprócz zdawalności, ważny jest też wynik z rozszerzenia, choć nie wpływa na
zdawalność, pamiętajmy, by również zwracać na niego uwagę przy porównywaniu wyników
z różnych szkół. Prezentując wyniki egzaminu, szkoły powinny udostępniać potencjalnym
kandydatom również średni wynik z rozszerzenia, oprócz zdawalności
str. 5
Projekt „Kompetencje zawodowe nauczycielek i nauczycieli jako element budowania organizacji uczącej się
i lokalnej strategii oświatowej w powiecie ostrzeszowskim” współfinansowany ze środków Unii Europejskiej
w ramach Europejskiego Funduszu Społecznego
Badanie przyrostu wiedzy
Jedną z metod statystycznych stosowanych w szkole jest badanie przyrostu wiedzy
w poszczególnych klasach. Przeanalizujmy przykład poniżej:
Przykład:
•
We wrześniu klasa 1a uzyskała z egzaminu 70% punktów możliwych do uzyskania.
•
W czerwcu na koniec roku klasa 1a uzyskała z egzaminu 50% punktów możliwych do
uzyskania
Wniosek: Nie ma przyrostu wiedzy.
A prawidłowa interpretacja powinna wyglądać następująco: z danego zestawienia
nauczyciel wie, jakie partie materiału są niewystarczająco opanowane przez badaną grupę. Do
nieopanowanych treści nauczyciel powinien powrócić w następnej klasie. Nie używajmy
określenia brak przyrostu wiedzy. Oznaczałoby to, że przez rok szkolny niczego nie
nauczyliśmy danej klasy. Przyrost może być odpowiedni lub nieodpowiedni w porównaniu do
innej grupy, względem której porównujemy wyniki.
Czy porównując oceny końcowo roczne u nauczycieli można badać przyrost wiedzy?
Nie. U jednego nauczyciela dani uczniowie uzyskaliby średnią ocen 4,0, drugi nauczyciel to
„kosa” i ci sami uczniowie z tą samą wiedzą uzyskaliby średnią ocen 3,5. Jeden nauczyciel
może uważać, że wystarczy, by uczeń w zadaniach zamkniętych udzielił prawidłowej
odpowiedzi i wtedy otrzyma punkt, bo taka jest procedura maturalna, inny nauczyciel uważa,
że uczeń musi podać chociaż szkic argumentacji wyboru właściwej odpowiedzi i dopiero wtedy
przyzna mu punkt za dane zadanie.
Obaj nauczyciele uważają, że oceniają obiektywnie i sprawiedliwie. Pierwszy zgodnie
z procedurami maturalnymi oraz by uczeń nie tracił czasu na uzasadnienia wyboru odpowiedzi,
za co i tak nie otrzyma punktów na egzaminie, drugi, by uniknąć zgadywania odpowiedzi.
Przyrost wiedzy jest zawsze! Dobrze postawione pytanie: jest czy odpowiedni? Zawsze
muszę mieć grupę kontrolną, względem której porównuję wyniki. Możemy to stwierdzić,
biorąc pod uwagę cały cykl nauki, czyli trzy lata nauki w szkole gimnazjalnej lub trzy lata nauki
w liceum, bądź cztery lata nauki w technikum i wtedy wg opinii niektórych badaczy możemy
stwierdzić, jaki był przyrost wiedzy! Uczeń, który uzyskał przy rekrutacji do szkoły średniej
str. 6
Projekt „Kompetencje zawodowe nauczycielek i nauczycieli jako element budowania organizacji uczącej się
i lokalnej strategii oświatowej w powiecie ostrzeszowskim” współfinansowany ze środków Unii Europejskiej
w ramach Europejskiego Funduszu Społecznego
wynik 150 punktów na 200 możliwych do uzyskania na ogół uzyska z matury więcej punktów,
niż uczeń, który uzyskał przy rekrutacji wynik 80 punktów. Należy popatrzeć na efektywność
uczenia obu uczniów, a nie tylko na ich wynik punktowy z egzaminu dojrzałości.
Dopiero biorąc pod uwagę, jeśli nie wszystkie, to przynajmniej znaczące czynniki
mające wpływ na wynik nauczania, mogę oceniać przyrost wiedzy, czy próbować oceniać pracę
szkoły lub nauczycieli. Do czynników mających wpływ na poziom wiedzy opanowanej przez
ucznia należą między innymi:
- relacje między uczniem a nauczycielem
- sposób prowadzenia zajęć
- baza edukacyjna szkoły
- dostęp do wyższych uczelni i obiektów kulturalnych (muzea, teatr itd.)
- motywacja ucznia
- zajęcia poza szkolne
- indywidualne podejście ucznia do nauki
- zainteresowania ucznia
- samoocena ucznia
- cechy osobowościowe ucznia jak np. pilność, aktywność na zajęciach
- atmosfera w klasie
- relacje z rówieśnikami
- status materialny oraz intelektualny rodziny ucznia
- zaangażowanie rodziców w życie szkoły
- środowisko, w którym uczeń przebywa
I wiele innych.
Nie wszystkie jednak czynniki mające wpływ na proces uczenia umiemy poddać
badaniu i zweryfikować.
Jak są przedstawiane wyniki przez CKE
Wyniki egzaminu gimnazjalnego uczniów, oprócz samego wyniku punktowego
podawane są w skali centylowej z dokładnością do 1% w przedziale 1-100.
Przytaczamy przykładowy wynik egzaminu gimnazjalnego danego ucznia, podawany
przez CKE:
str. 7
Projekt „Kompetencje zawodowe nauczycielek i nauczycieli jako element budowania organizacji uczącej się
i lokalnej strategii oświatowej w powiecie ostrzeszowskim” współfinansowany ze środków Unii Europejskiej
w ramach Europejskiego Funduszu Społecznego
„w części matematyczno – przyrodniczej z zakresu:

biologii, chemii, fizyki, geografii: 64%
wynik taki sam lub niższy uzyskało 80% zdających
Mamy informację, że uczeń rozwiązał prawie 2/3 wszystkich zadań z biologii, chemii,
fizyki, geografii, ale tylko 20% uczniów piszących egzamin gimnazjalny uzyskało wynik
lepszy, w porównaniu do wyniku danego ucznia, czyli wiedza z wyżej wymienionych
przedmiotów, nie jest zbyt dobrze opanowana przez uczniów gimnazjów.
Możliwe, że wyniki egzaminu dojrzałości od 2015 roku będą, podobnie jak wyniki
uczniów szkół gimnazjalnych, podawane również w centylach.
Jeśli chodzi o wynik z egzaminu dojrzałości, w szkole ponadgimnazjalnej maturzysta
ma podany wynik w procentach i powinien umieć sprawdzić, gdzie jego wynik znajduje się
w skali staninowej (lub skali centylowej, jeśli taka będzie) i jak dany wynik interpretować.
Pokrótce przedstawimy zasadę skali, zwanej staninową:
Staniny (nazwa zaczerpnięta z języka angielskiego standard nine)
•
Najniższy: poniżej 4% zdających
•
Bardzo niski: 4% – 10% zdających
•
Niski: 11% – 22% zdających
•
Niżej średni: 23% – 39% zdających
•
Średni: 40% – 59% zdających
•
Wyżej średni: 60 – 76% zdających
•
Wysoki: 77% – 88% zdających
•
Bardzo wysoki: 89 – 95% zdających
•
Najwyższy: powyżej 95% zdających
Skala staninowa jest podobna do centylowej. Rozważmy przykładowego ucznia
z wynikiem 64% z matematyki na poziomie podstawowym. 64% to jego indywidualny wynik,
natomiast staniny porównują wyniki całej badanej populacji i mówią, jaka część zdających ma
wynik niższy (wyższy), z nieco mniejszą dokładnością niż centyle. Może się okazać, że
egzamin był trudny i 20% zdających ma wynik lepszy niż 64%, wtedy wynik ucznia znajdzie
się w staninie wysokim, a może się okazać, że egzamin był łatwy i 50% ma wynik lepszy niż
64% i wtedy wynik ucznia będzie w staninie średnim. Staniny sporządza CKE dla danej sesji
i każdego przedmiotu (osobno dla poziomu podstawowego i poziomu rozszerzonego).
str. 8
Projekt „Kompetencje zawodowe nauczycielek i nauczycieli jako element budowania organizacji uczącej się
i lokalnej strategii oświatowej w powiecie ostrzeszowskim” współfinansowany ze środków Unii Europejskiej
w ramach Europejskiego Funduszu Społecznego
Porównywać można siatkę centylową lub skalę staninową w danym czasie, każda daje
możliwość, z różną dokładnością, porównania siebie na tle grupy zdających.
Oprócz wyniku punktowego bardziej interesuje nas wynik staninowy. We
wcześniejszym przykładzie, dotyczącym gimnazjum, uczeń znajduje się w staninie „wysoki”
(80%), podczas, gdy z uzyskanego wyniku procentowego przypuszczalibyśmy, że jego wynik
jest średni lub powyżej średniej (64%). Dany wynik jest więc opisany inną miarą, co daje nam
szerszy punkt widzenia na poziom wiedzy opanowanej prze ucznia. Procenty przypisane
poszczególnym staninom uzupełniają wiedzę i tworzą w przybliżeniu wykres rozkładu, który
polega na tym, że taka sama część badanej grupy jest poniżej normy i taka sama część powyżej
normy.
Metodę badawczą, którą oprócz wyników egzaminów powinniśmy brać pod uwagę jest
edukacyjna wartość dodana (EWD). Dla danej szkoły jest ona wskaźnikiem efektywności
nauczania w zakresie sprawdzanym przez egzamin. W tej metodzie badawczej bierze się 107
czynników pod uwagę, jednak jeśli dana szkoła nie brała bezpośrednio udziału
w szczegółowym badaniu EWD porównywane są trzy czynniki do których ma dostęp Centralna
Komisja Egzaminacyjna:
•
wynik gimnazjalny, a wynik maturalny
•
dysfunkcje
•
płeć
Bardziej
zainteresowanych
odsyłamy
do
literatury
przedmiotu:
http://ewd.edu.pl/wskazniki/matura/witamy/jak-obliczano-wskazniki/
EWD jest liczone przez zespół realizujący projekt: „Badania dotyczące rozwoju
metodologii szacowania wskaźnika edukacyjnej wartości dodanej”. Od września 2012 roku
prace projektowe zostały przeniesione do Instytutu Badań Edukacyjnych. Zarówno średni
wynik egzaminu maturalnego jak i EWD w danym obszarze przedstawiany jest
na znormalizowanej dla kraju – oddzielnie dla LO i techników – skali standardowej
o średniej 100 i odchyleniu 15. Dla każdej szkoły obliczane są ewaluacyjne wskaźniki
egzaminacyjne dla czterech obszarów nauczania. Pierwszy, humanistyczny, obejmuje język
polski, historię i wiedzę o społeczeństwie. Drugi obszar obejmuje wyniki egzaminu z języka
polskiego. Trzeci zakres treściowy, matematyczno-przyrodniczy, obejmuje matematykę,
informatykę, fizykę, chemię, biologię i geografię. Czwarty obszar to wydzielona do osobnego
str. 9
Projekt „Kompetencje zawodowe nauczycielek i nauczycieli jako element budowania organizacji uczącej się
i lokalnej strategii oświatowej w powiecie ostrzeszowskim” współfinansowany ze środków Unii Europejskiej
w ramach Europejskiego Funduszu Społecznego
wskaźnika matematyka. W szacowaniu wskaźników egzaminacyjnych wykorzystuje się
informację o wykonaniu zadań egzaminacyjnych zarówno na poziomie podstawowym jak
i rozszerzonym. (źródło: www.ewd.edu.pl).
Nie przytaczamy objaśnienia na czym polega normalizacja, czy w jaki sposób obliczyć
wskaźnik EWD. Naszym celem nie jest prowadzenie wykładu z matematyki, a osoby
zainteresowane metodami statystycznymi wykorzystywanymi do wyznaczenia EWD odsyłamy
do strony www.ewd.edu.pl. Omówimy, w jaki sposób interpretować wyniki.
Wyniki wstępne szkoły znajdują się na osi odciętych (pozioma oś), a układ
współrzędnych podzielony jest na cztery ćwiartki:
Interpretacja jest następująca:
1. „Szkoła sukcesu” – Wysoce efektywne szkoły, potwierdzone wynikami.
2. „Szkoła wspierająca” – Szkoły efektywne mimo niskiej pozycji w rankingach.
3. „Szkoła wymagająca pomocy” – Szkoły nieefektywne o słabych wynikach.
4. „Szkoła niewykorzystanych szans” – Szkoły, które „spoczęły na laurach”.
Jeśli np. średni wynik uczniów, którzy trafili do nas to 107,5 pkt. i odchylenie 2,5 pkt.,
(wykres powyżej), możemy stać się szkołą sukcesu, niewykorzystanych szans lub wymagającą
pomocy. Nie będziemy szkołą wspierającą, bo przyszli do nas uczniowie z wynikami powyżej
str. 10
Projekt „Kompetencje zawodowe nauczycielek i nauczycieli jako element budowania organizacji uczącej się
i lokalnej strategii oświatowej w powiecie ostrzeszowskim” współfinansowany ze środków Unii Europejskiej
w ramach Europejskiego Funduszu Społecznego
średniej i nie wspieramy ich, oni mają odpowiedni potencjał, a jego wykorzystanie, zależy od
naszego sposobu uczenia, by odpowiednio zmotywować ich do dalszej nauki.
Jeśli będziemy szkołą o efektywności wyższej w porównaniu do pozostały szkół,
trafimy do pierwszej ćwiartki, gdyż będąc szkołą bardziej efektywną uzyskamy wyniki lepsze
od przewidywanych.
Jeśli będziemy szkołą o efektywności niższej w porównaniu do pozostały szkół, trafimy do
trzeciej lub czwartej ćwiartki, gdyż będąc szkołą mniej efektywną uzyskamy wyniki gorsze od
przewidywanych. Nie możemy być szkołą o wyższej efektywności w porównaniu z innymi
szkołami i uzyskać gorszy wynik.
str. 11
Projekt „Kompetencje zawodowe nauczycielek i nauczycieli jako element budowania organizacji uczącej się
i lokalnej strategii oświatowej w powiecie ostrzeszowskim” współfinansowany ze środków Unii Europejskiej
w ramach Europejskiego Funduszu Społecznego
Oczywiście, sukces osiągniemy, jeśli trafimy do ćwiartki „szkoła sukcesu”, a porażkę,
jeśli do ćwiartki „szkoła niewykorzystanych szans” lub „szkoła wymagająca pomocy”. Który
wariant jest gorszy? Nie oceniamy, w obu mamy mniejszą efektywność w porównaniu do
pozostałych szkół, więc wynik egzaminu zewnętrznego jest gorszy od przewidywanego.
Dane EWD są przedstawione w postaci elips. Ciemniejsza elipsa to 50% wszystkich
szkół, a jaśniejsza to 90% wszystkich szkół.
str. 12
Projekt „Kompetencje zawodowe nauczycielek i nauczycieli jako element budowania organizacji uczącej się
i lokalnej strategii oświatowej w powiecie ostrzeszowskim” współfinansowany ze środków Unii Europejskiej
w ramach Europejskiego Funduszu Społecznego
EWD jest obliczony wg rodzajów szkół, dlatego możemy porównać w danej miejscowości
efektywność w liceum z efektywnością. Odpada argument, że do którejś placówki przychodzi
bardziej wyselekcjonowana młodzież.
By dobrze interpretować Edukacyjną Wartość Dodaną, przeanalizujmy przykład:
Przykład:
Mamy wykres EWD dwóch szkół. Która szkoła jest lepsza? (Wykres zrobiony na potrzeby
artykułu).
W rankingach, które przedstawiają tylko wyniki punktowe i na tej podstawie
przytaczane są argumenty, w której szkole uczniowie „lepiej” napisali egzamin, okaże się, że
nieporównywalnie lepiej w szkole 1. Wg skali staninowej, szkoła ta będzie w staninie
najwyższym. 125punktow! (Odczytujemy surowy, znormalizowany wynik po prostopadłym
zrzutowaniu na os poziomą.) Szkoła 2 w skali staninowej ma wynik wyżej średni lub średni
(103 pkt.). Wyniki są minimalnie wyższe od średniej krajowej. Ale to szkoła 2 ma
zdecydowanie większą efektywność, czyli wkład pracy w to, że uczniowie uzyskali o ileś lepsze
wyniki niż na etapie poprzedzającym, jest zdecydowanie większy w szkole 2! Do szkoły 1
przychodzą olimpijczycy, chociaż trzeba obiektywnie stwierdzić, że i w tej placówce
efektywność jest nieco wyższa, w porównaniu do pozostałych szkół objętych badaniem. Do
szkoły 2 trafiają uczniowie poniżej średniej i tu widać pracę nauczycieli. (Zobaczmy, jak bardzo
str. 13
Projekt „Kompetencje zawodowe nauczycielek i nauczycieli jako element budowania organizacji uczącej się
i lokalnej strategii oświatowej w powiecie ostrzeszowskim” współfinansowany ze środków Unii Europejskiej
w ramach Europejskiego Funduszu Społecznego
elipsa jest nad osią odciętych) Szkoła 2 ma większy wkład pracy, by uczniowie uzyskali dany
wynik, chociaż w większości rankingów, w środowisku lokalnym będzie prawdopodobnie
rozpowszechniona opinia, że lepsza jest szkoła 1, bez porównywania efektywności, tylko
uwzględniając wyniki egzaminu. Lepsze wyniki końcowe, nie znaczy lepsza szkoła!
Żeby nie było nieporozumień, w szkole 1 uczniowie uzyskują bardzo dobre wyniki
z egzaminów, ale wkład pracy, by je osiągnąć jest nieco powyżej średniej, a szkoła 2 jest szkołą
o średnich wynikach, ale bardzo dużej efektywności. Oś pozioma mówi więc o wyniku,
pionowa o efektywności i ważne jest, by w zestawieniach brać pod uwagę obie osie układu
współrzędnych.
Interpretacja wskaźnika EWD w I LO w Ostrzeszowie
Na koniec zinterpretujemy wykres EWD w obszarze przedmiotów humanistycznych
oraz matematyczno – przyrodniczych w I LO w Ostrzeszowie. Dodamy tylko przed
interpretacją, że im mniejsza elipsa, tym większa szkoła, bo wtedy jest mniejsze odchylenie
standardowe. Jeśli ktoś będzie porównywał swoją szkołę z innymi, proszę o tym pamiętać, by
nie dojść do wniosku, że zestawienie jest błędne, bo np. nasza szkoła jest większa, a jest
zaznaczona mniejszą elipsą w porównaniu z jakąś mniejszą.
Przedstawiamy dane za okres nauczania 2012 – 20141. W części humanistycznej
znormalizowany wynik w porównaniu do innych liceów w Polsce wynosi 103. Jest to wynik
nieznacznie wyższy w porównaniu z wynikami innych szkół. Ale popatrzmy uważnie na
wykres. Przecież I LO znajduje się w pierwszej ćwiartce – szkoła sukcesu! Wynik naszej szkoły
znajduje się nad osią odciętych.
1
na podstawie danych z www.ewd.edu.pl
str. 14
Projekt „Kompetencje zawodowe nauczycielek i nauczycieli jako element budowania organizacji uczącej się
i lokalnej strategii oświatowej w powiecie ostrzeszowskim” współfinansowany ze środków Unii Europejskiej
w ramach Europejskiego Funduszu Społecznego
Jeśli zrzutuję naszą elipsę wzdłuż osi wielkiej elipsy, okaże się, że do naszego liceum trafiają
uczniowie, których wynik w części humanistycznej z egzaminu gimnazjalnego, w porównaniu
do uczniów trafiających do innych liceów, wynosi 99 punktów na wejściu. Zatem do naszej
szkoły trafiają uczniowie minimalnie słabsi niż do innych liceów, a dzięki odpowiedniej pracy
jesteśmy szkołą sukcesu. Uczniowie kończą naszą szkołę z wynikami nieco lepszymi, w
porównaniu do absolwentów innych liceów, niezależnie czy porównuję wyniki z egzaminu, czy
wkład pracy. Należy jednak ciągle starać się coś poprawić. W latach 2012 – 2014 jesteśmy w
50% szkół, które uzyskują podobne wyniki, ale w pierwszej ćwiartce.
W części matematyczno–przyrodniczej (również w latach 2012 – 2014) średni wynik w
skali znormalizowanej to 105 punktów. I znów należy odpowiednio interpretować wykres.
„Nasza elipsa” znajduje się wśród „szkół sukcesu”. Jeśli zrzutuję naszą elipsę wzdłuż osi
wielkiej elips okaże się, że do naszego liceum trafiają uczniowie, których średni wynik, po
znormalizowaniu, w części matematyczno–przyrodniczej z egzaminu gimnazjalnego,
str. 15
Projekt „Kompetencje zawodowe nauczycielek i nauczycieli jako element budowania organizacji uczącej się
i lokalnej strategii oświatowej w powiecie ostrzeszowskim” współfinansowany ze środków Unii Europejskiej
w ramach Europejskiego Funduszu Społecznego
w porównaniu do uczniów trafiających do innych liceów, wynosi 98 punktów na wejściu.
Zatem do naszej szkoły trafiają uczniowie nieco słabsi niż do innych liceów, a dzięki
odpowiedniej pracy jesteśmy szkołą sukcesu. Dowodem jest właściwa interpretacja wykresu.
Uczniowie kończą naszą szkołę z wynikami nieco lepszymi w porównaniu do wyników
absolwentów innych liceów. Tutaj także mieścimy się w 50% szkół, (chodzi o ciemniejszą szarą
elipsę,) które uzyskują podobne wyniki, ale nasz wynik jest bliżej brzegu szarej elipsy, co
oznacza, że mamy nieco większy wkład pracy. (Elipsa w tej części jest minimalnie wyżej niż
w części humanistycznej).
By porównać, jacy uczniowie trafiają do naszej, czy innych szkół ponadgimnazjalnych,
proponujemy porównać wskaźniki EWD w gimnazjach w interesującym nas obszarze. Jeśli
chodzi o powiat ostrzeszowski za okres 2012-2014 należy wyróżnić pod względem wkładu
pracy gimnazjum w Siedlikowie.
str. 16
Projekt „Kompetencje zawodowe nauczycielek i nauczycieli jako element budowania organizacji uczącej się
i lokalnej strategii oświatowej w powiecie ostrzeszowskim” współfinansowany ze środków Unii Europejskiej
w ramach Europejskiego Funduszu Społecznego
Pamiętajmy, że wyniki, czy to egzaminu gimnazjalnego, czy maturalnego, zależą od
wcześniejszych etapów kształcenia. Po uwzględnieniu wyników egzaminu po gimnazjum, dane
uczniów jako wejściowe są umieszone na osi odciętych (poziomej) i jeśli do szkoły średniej
trafiają uczniowie, których wyniki można przedstawić jak na wykresie poniżej, należy tylko się
cieszyć. Gorzej, jeśli ten odcinek będzie bardziej przesunięty w lewo, bo wtedy trafiają do
szkoły uczniowie o niższym poziomie wiedzy.
Jeśli chodzi o szkoły gimnazjalne, warto, by analizowały wyniki EWD ze szkół
podstawowych, bo patrząc na same elipsy, można również wywnioskować, jacy uczniowie
trafiają do szkół gimnazjalnych po ukończeniu szkoły podstawowej. Powinno to motywować
nauczycieli szkół z każdego poziomu do jak największego wkładu pracy, a wraz z tym zwiększą
się wyniki.
Jeśli chodzi o wskaźnik EWD, jeden, dość ważny czynnik, nie jest brany pod uwagę –
ilość godzin w cyklu uczenia z danego przedmiotu. Uważamy, że większa liczba godzin
wpływa korzystnie na efektywność, choć nie musi to być reguła powszechnie obowiązująca.
Jednak zdaniem twórców EWD jest to indywidualna, wewnętrzna sprawa szkoły, ile godzin
zostaje przeznaczonych na dany przedmiot. Jeśli chodzi o przedmioty realizowane w zakresie
podstawowym, są ramówki, ale mamy tu na myśli przedmioty realizowane w zakresie
rozszerzonym (od dwóch do czterech) i ile takich przedmiotów jest realizowanych w danej
szkole, dwa ze znacznie zwiększoną liczbą godzin, czy cztery z minimalna liczbą godzin
str. 17
Projekt „Kompetencje zawodowe nauczycielek i nauczycieli jako element budowania organizacji uczącej się
i lokalnej strategii oświatowej w powiecie ostrzeszowskim” współfinansowany ze środków Unii Europejskiej
w ramach Europejskiego Funduszu Społecznego
przeznaczonych na rozszerzenie. Co prawda Rozporządzenie Ministra Edukacji Narodowej
z dnia 7 lutego 2012 r. mówi, że dyrektor może wystąpić z wnioskiem o dodatkowe trzy godziny
dla każdego oddziału w danym roku szkolnym, ale w niewielu szkołach, wyszukując na
stronach internetowych plany klas w poszczególnych placówkach, korzysta się z tej
możliwości. Inna sprawa, czy organ prowadzący wyrazi zgodę na wprowadzenie tych godzin,
przecież panuje w znacznej części społeczeństwa obiegowe stwierdzenie, że nauczyciele mają
się za dobrze i najlepiej oszczędzać na oświacie.
str. 18
Projekt „Kompetencje zawodowe nauczycielek i nauczycieli jako element budowania organizacji uczącej się
i lokalnej strategii oświatowej w powiecie ostrzeszowskim” współfinansowany ze środków Unii Europejskiej
w ramach Europejskiego Funduszu Społecznego