Mirosław Drabczyński Krystian Kaźmierczak Statystyka jako
Transkrypt
Mirosław Drabczyński Krystian Kaźmierczak Statystyka jako
Mirosław Drabczyński Krystian Kaźmierczak Statystyka jako narzędzie ewaluacji wewnętrznej i poprawy jakości pracy szkoły. Jeśli chodzi o rodzaje prawd są trzy wg ks. Józefa Tischnera („Historia filozofii po góralsku” – polecamy): • Świento prowda • Tys prowda • Gówno prowda Skąd ta anegdota na wstępie? Wykładowcy akademiccy uczyli nas, (jesteśmy nauczycielami matematyki) że aby zrobić prawidłowe badanie statystyczne, potrzeba rzetelnej wiedzy, a publikacje „statystyczne”, tabele, wykresy itp., przedstawiane w ogólnodostępnej prasie, mają niekiedy mało wspólnego ze statystyką. Dlatego, w takich przypadkach, statystyka może okazać się ostatnią prawdą z „Historii filozofii…”. Aby tak nie było, przytoczymy kilka przykładów błędów popełnianych przy sporządzaniu, czy interpretacji statystyk. Przykłady te, podobnie jak nauczyciele: pan Kowalski oraz pan Nowak zostały wymyślone przez nas i prosimy nie odbierać naszego wywodu w odniesieniu do jakiejkolwiek szkoły, czy nauczyciela. Zachęcamy czytelnika, by nie patrzył od razu na analizę, lecz spróbował samodzielnie zinterpretować dane. Dlatego też najpierw umieściliśmy przykłady, a dopiero poniżej omówienie. Przykład 1. Mamy dwóch nauczycieli: Kowalskiego i Nowaka. U Kowalskiego średni wynik uczniów z egzaminu maturalnego to 65%, u Nowaka 55%. Który uczył lepiej? str. 1 Projekt „Kompetencje zawodowe nauczycielek i nauczycieli jako element budowania organizacji uczącej się i lokalnej strategii oświatowej w powiecie ostrzeszowskim” współfinansowany ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego Przykład 2. Klasy maturalne przez cykl edukacji uczyli panowie Kowalski oraz Nowak. W latach nieparzystych egzamin zewnętrzny zdawali uczniowie pana Kowalskiego, a w latach parzystych pana Nowaka. Klasy miały takie same osiągnięcia na wejściu, a wyniki matury umieszczono w tabeli poniżej. Rok 2009 2011 2013 Średni wynik u Kowalskiego 50% 55% 60% Rok 2010 2012 2014 Średni wynik u Nowaka 50% 55% 60% Oczywiście, to że uczniowie pana Nowaka uzyskują następnego roku taki wynik, co rok wcześniej pan Kowalskiego, nie znaczy, że Nowak uczy gorzej, ale sformułujemy wniosek: „Kowalski przyczynia się do wzrostu jakości pracy szkoły, bo to on pierwszy znajduje metody do poprawy osiągnięć, a Nowak je powiela.” Wyraźnie wyróżniamy Kowalskiego. Przykład 3. Czy jeśli średni wynik w szkole jest coraz wyższy, to szkoła jest coraz lepsza? Czy, jeśli wynik w szkole jest coraz niższy, to szkoła jest coraz gorsza? Przykład 4. Matura danego roku. Panowie: Kowalski i Nowak uczą matematyki. Wyniki wstępne w klasach Kowalskiego i Nowaka były porównywalne. Tabela przedstawia wyniki maturalne przedmiotów obowiązkowych. W tabeli umieszczono trzy przedmioty obowiązkowe na maturze. (Wykluczamy przypadek, że jedna z klas z każdego przedmiotu osiągnęła wyższe wyniki, a druga niższe, bez wnikania w czynniki.) Wynik w tabeli, podany w procentach, nie oznacza zdawalności, tylko średni procent poprawnych odpowiedzi, udzielonych przez uczniów w danej klasie. Jest to więc wynik jakościowy. str. 2 Projekt „Kompetencje zawodowe nauczycielek i nauczycieli jako element budowania organizacji uczącej się i lokalnej strategii oświatowej w powiecie ostrzeszowskim” współfinansowany ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego Klasa Język polski (pp) Język obcy (pp) Matematyka (pp) A (Kowalski) 60% 60% 70% B (Nowak) 60% 60% 55% Który nauczyciel uczył lepiej? Przykład 5. Tabelka jak w poprzednim przykładzie. Są to klasy ponadgimnazjalne. Obie klasy realizują ten sam program, w takim samym zakresie godzin. Klasa Język polski (pp) Język obcy (pp) Matematyka (pp) A (Kowalski) 60% 60% 70% B (Nowak) 60% 60% 55% Który nauczyciel uczył lepiej? Ad. Przykład 1. Prawidłowa odpowiedź: Nie wiemy. Mamy za mało danych, żeby to stwierdzić. Np. Kowalski uczy w klasie elitarnej i na wejściu miał wynik 70%, a Nowak w klasie przeciętnej i na wejściu miał wynik 50%. Jak teraz ocenię wyniki? U Kowalskiego wynik na wejściu wynosił 70%, na koniec 65%, u Nowaka na wejściu było 50%, na koniec edukacji 55%. Który więc uczył lepiej? Nie można stwierdzić, nie uwzględniając danych wejściowych. Ad. Przykład 2. Prawidłowa odpowiedź: Nie wiemy. Mamy za mało danych, żeby wyróżniać pana Kowalskiego. Jeśli np. tabela rozszerzona o wyniki w kraju wygląda następująco: Rok Średni wynik Średni wynik u Kowalskiego w kraju 2009 50% 50% 2011 55% 2013 60% Rok Średni wynik Średni wynik u Nowaka w kraju 2010 50% 45% 55% 2012 55% 50% 60% 2014 60% 55% str. 3 Projekt „Kompetencje zawodowe nauczycielek i nauczycieli jako element budowania organizacji uczącej się i lokalnej strategii oświatowej w powiecie ostrzeszowskim” współfinansowany ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego Kowalski uczy na średnim poziomie, a Nowak osiąga o 5 punktów procentowych wynik lepszy w porównaniu do kraju. Bez patrzenia na wynik w kraju (okręgu) nie mogę porównywać różnych lat. Należy więc przekładać pomiar liczbowy na jakościowy. Musimy mieć punkt odniesienia, a nie interpretować tylko „suche” wyniki. Ad. Przykład 3. Może się zdarzyć, że wynik w szkole jest coraz wyższy (np. coraz łatwiejszy egzamin zewnętrzny), ale szkoła osiąga coraz niższe wyniki, w porównaniu do kraju. Musimy mieć punkt odniesienia, co z czym porównujemy, a nie patrzmy tylko na wynik! Może oczywiście być też odwrotnie. Inny czynnik, który należy uwzględnić: może też się zdarzyć, że wynik w szkole jest coraz wyższy, w porównaniu do wyników krajowych również, ale do szkoły trafiają uczniowie o coraz większym potencjale i nie ma w tym zasługi uczących tzn. brak wzrostu wkładu pracy w porównaniu do wyników. Można doszukiwać się czynnika, który wpłynął na wybór przez uczniów o najwyższym potencjale, tej właśnie szkoły. Można zadać pytanie, czy jakieś poczynania dokonała placówka, że najzdolniejsi uczniowie wybierają właśnie tę. Zjawisko to dotyczy głównie większych aglomeracji, gdzie uczniowie mogą więcej możliwości wyboru szkół średnich. W szkołach ponadgimnazjalnych, uznawanych za elitarne, przy rekrutacji są progi punktowe, ale w wielu placówkach, ze względu na niż demograficzny, przyjmuje się niemal każdego ucznia, bez względu na wynik z testu gimnazjalnego, przez co zróżnicowanie poziomu wiedzy na wstępie jest znacznie większe, niż w placówkach, które dokonują selekcji podczas rekrutacji. Innym czynnikiem może być bardziej efektywna praca, na danym obszarze, w placówkach na wcześniejszym etapie edukacji. Wtedy, bez ingerencji szkoły średniej, trafią do niej uczniowie zdolniejsi, gdyż wcześniej nabyli większą wiedzę. Ad. Przykład 4. Prawidłowa odpowiedź. Nie wiemy, brakuje pełnej informacji. Okazało się, że klasa „A” to „mat-fiz”. Można uogólnić, porównując całe klasy, że większe było, już na wstępie, zaangażowanie uczniów tej klasy, ponieważ sami wybrali matematykę jako przedmiot str. 4 Projekt „Kompetencje zawodowe nauczycielek i nauczycieli jako element budowania organizacji uczącej się i lokalnej strategii oświatowej w powiecie ostrzeszowskim” współfinansowany ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego kierunkowy. Mając możliwość wyboru, decydujemy się na to, czym jesteśmy bardziej zainteresowani. Poza tym, w klasie „A” uczniowie w całym cyklu nauki mieli 18 godzin oraz mieli „powiększoną wiedzę” o zakres rozszerzony, a uczniowie klasy „B” mieli w całym cyklu 10 godzin i realizowali tylko zakres podstawowy. Można stwierdzić, że przecież obie klasy realizowały tę samą podstawę, ale przecież uczniowie z klasy „A” poznali inne, szersze metody, z których mogli skorzystać również na egzaminie z zakresu podstawowego. Uważamy też, że większa liczba godzin ma wpływ na wynik. Można powiedzieć, że nawet przy 30 godzinach w tygodniu nauczyciel może źle uczyć, a liczba godzin nie ma wpływu na wynik egzaminu. Dlaczego więc znaczna grupa nauczycieli chciałaby mieć większą liczbę godzin w cyklu z daną klasą? Z powodów finansowych, własnych fanaberii? Proponujemy też, by np. wybitny nauczyciel jakiegokolwiek przedmiotu przeprowadzał z danym uczniem godzinę zajęć w tygodniu, a ten „zły nauczyciel”, z uczniem o porównywalnym potencjale, siedem godzin w tygodniu i porównajmy wyniki po jakimś czasie. A liczy się jeszcze zaangażowanie młodzieży do danego przedmiotu. Wiele osób trzeba ciągle motywować do pracy. Ad. Przykład 5. Prawidłowa odpowiedź. Dalej nie wiemy. Za mało danych. Może okazać się, że obie klasy liczyły po 30 uczniów, ale w klasie „A” Kowalski powiedział najsłabszym, że jeśli złożą deklaracje maturalne, to dostaną ocenę niedostateczną na koniec roku i do matury przystąpiło 20 najlepszych absolwentów, a w klasie „B” wszyscy. Czy można porównywać wyniki tych dwóch klas? Nie! Oprócz zdawalności, ważny jest też wynik z rozszerzenia, choć nie wpływa na zdawalność, pamiętajmy, by również zwracać na niego uwagę przy porównywaniu wyników z różnych szkół. Prezentując wyniki egzaminu, szkoły powinny udostępniać potencjalnym kandydatom również średni wynik z rozszerzenia, oprócz zdawalności str. 5 Projekt „Kompetencje zawodowe nauczycielek i nauczycieli jako element budowania organizacji uczącej się i lokalnej strategii oświatowej w powiecie ostrzeszowskim” współfinansowany ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego Badanie przyrostu wiedzy Jedną z metod statystycznych stosowanych w szkole jest badanie przyrostu wiedzy w poszczególnych klasach. Przeanalizujmy przykład poniżej: Przykład: • We wrześniu klasa 1a uzyskała z egzaminu 70% punktów możliwych do uzyskania. • W czerwcu na koniec roku klasa 1a uzyskała z egzaminu 50% punktów możliwych do uzyskania Wniosek: Nie ma przyrostu wiedzy. A prawidłowa interpretacja powinna wyglądać następująco: z danego zestawienia nauczyciel wie, jakie partie materiału są niewystarczająco opanowane przez badaną grupę. Do nieopanowanych treści nauczyciel powinien powrócić w następnej klasie. Nie używajmy określenia brak przyrostu wiedzy. Oznaczałoby to, że przez rok szkolny niczego nie nauczyliśmy danej klasy. Przyrost może być odpowiedni lub nieodpowiedni w porównaniu do innej grupy, względem której porównujemy wyniki. Czy porównując oceny końcowo roczne u nauczycieli można badać przyrost wiedzy? Nie. U jednego nauczyciela dani uczniowie uzyskaliby średnią ocen 4,0, drugi nauczyciel to „kosa” i ci sami uczniowie z tą samą wiedzą uzyskaliby średnią ocen 3,5. Jeden nauczyciel może uważać, że wystarczy, by uczeń w zadaniach zamkniętych udzielił prawidłowej odpowiedzi i wtedy otrzyma punkt, bo taka jest procedura maturalna, inny nauczyciel uważa, że uczeń musi podać chociaż szkic argumentacji wyboru właściwej odpowiedzi i dopiero wtedy przyzna mu punkt za dane zadanie. Obaj nauczyciele uważają, że oceniają obiektywnie i sprawiedliwie. Pierwszy zgodnie z procedurami maturalnymi oraz by uczeń nie tracił czasu na uzasadnienia wyboru odpowiedzi, za co i tak nie otrzyma punktów na egzaminie, drugi, by uniknąć zgadywania odpowiedzi. Przyrost wiedzy jest zawsze! Dobrze postawione pytanie: jest czy odpowiedni? Zawsze muszę mieć grupę kontrolną, względem której porównuję wyniki. Możemy to stwierdzić, biorąc pod uwagę cały cykl nauki, czyli trzy lata nauki w szkole gimnazjalnej lub trzy lata nauki w liceum, bądź cztery lata nauki w technikum i wtedy wg opinii niektórych badaczy możemy stwierdzić, jaki był przyrost wiedzy! Uczeń, który uzyskał przy rekrutacji do szkoły średniej str. 6 Projekt „Kompetencje zawodowe nauczycielek i nauczycieli jako element budowania organizacji uczącej się i lokalnej strategii oświatowej w powiecie ostrzeszowskim” współfinansowany ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego wynik 150 punktów na 200 możliwych do uzyskania na ogół uzyska z matury więcej punktów, niż uczeń, który uzyskał przy rekrutacji wynik 80 punktów. Należy popatrzeć na efektywność uczenia obu uczniów, a nie tylko na ich wynik punktowy z egzaminu dojrzałości. Dopiero biorąc pod uwagę, jeśli nie wszystkie, to przynajmniej znaczące czynniki mające wpływ na wynik nauczania, mogę oceniać przyrost wiedzy, czy próbować oceniać pracę szkoły lub nauczycieli. Do czynników mających wpływ na poziom wiedzy opanowanej przez ucznia należą między innymi: - relacje między uczniem a nauczycielem - sposób prowadzenia zajęć - baza edukacyjna szkoły - dostęp do wyższych uczelni i obiektów kulturalnych (muzea, teatr itd.) - motywacja ucznia - zajęcia poza szkolne - indywidualne podejście ucznia do nauki - zainteresowania ucznia - samoocena ucznia - cechy osobowościowe ucznia jak np. pilność, aktywność na zajęciach - atmosfera w klasie - relacje z rówieśnikami - status materialny oraz intelektualny rodziny ucznia - zaangażowanie rodziców w życie szkoły - środowisko, w którym uczeń przebywa I wiele innych. Nie wszystkie jednak czynniki mające wpływ na proces uczenia umiemy poddać badaniu i zweryfikować. Jak są przedstawiane wyniki przez CKE Wyniki egzaminu gimnazjalnego uczniów, oprócz samego wyniku punktowego podawane są w skali centylowej z dokładnością do 1% w przedziale 1-100. Przytaczamy przykładowy wynik egzaminu gimnazjalnego danego ucznia, podawany przez CKE: str. 7 Projekt „Kompetencje zawodowe nauczycielek i nauczycieli jako element budowania organizacji uczącej się i lokalnej strategii oświatowej w powiecie ostrzeszowskim” współfinansowany ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego „w części matematyczno – przyrodniczej z zakresu: biologii, chemii, fizyki, geografii: 64% wynik taki sam lub niższy uzyskało 80% zdających Mamy informację, że uczeń rozwiązał prawie 2/3 wszystkich zadań z biologii, chemii, fizyki, geografii, ale tylko 20% uczniów piszących egzamin gimnazjalny uzyskało wynik lepszy, w porównaniu do wyniku danego ucznia, czyli wiedza z wyżej wymienionych przedmiotów, nie jest zbyt dobrze opanowana przez uczniów gimnazjów. Możliwe, że wyniki egzaminu dojrzałości od 2015 roku będą, podobnie jak wyniki uczniów szkół gimnazjalnych, podawane również w centylach. Jeśli chodzi o wynik z egzaminu dojrzałości, w szkole ponadgimnazjalnej maturzysta ma podany wynik w procentach i powinien umieć sprawdzić, gdzie jego wynik znajduje się w skali staninowej (lub skali centylowej, jeśli taka będzie) i jak dany wynik interpretować. Pokrótce przedstawimy zasadę skali, zwanej staninową: Staniny (nazwa zaczerpnięta z języka angielskiego standard nine) • Najniższy: poniżej 4% zdających • Bardzo niski: 4% – 10% zdających • Niski: 11% – 22% zdających • Niżej średni: 23% – 39% zdających • Średni: 40% – 59% zdających • Wyżej średni: 60 – 76% zdających • Wysoki: 77% – 88% zdających • Bardzo wysoki: 89 – 95% zdających • Najwyższy: powyżej 95% zdających Skala staninowa jest podobna do centylowej. Rozważmy przykładowego ucznia z wynikiem 64% z matematyki na poziomie podstawowym. 64% to jego indywidualny wynik, natomiast staniny porównują wyniki całej badanej populacji i mówią, jaka część zdających ma wynik niższy (wyższy), z nieco mniejszą dokładnością niż centyle. Może się okazać, że egzamin był trudny i 20% zdających ma wynik lepszy niż 64%, wtedy wynik ucznia znajdzie się w staninie wysokim, a może się okazać, że egzamin był łatwy i 50% ma wynik lepszy niż 64% i wtedy wynik ucznia będzie w staninie średnim. Staniny sporządza CKE dla danej sesji i każdego przedmiotu (osobno dla poziomu podstawowego i poziomu rozszerzonego). str. 8 Projekt „Kompetencje zawodowe nauczycielek i nauczycieli jako element budowania organizacji uczącej się i lokalnej strategii oświatowej w powiecie ostrzeszowskim” współfinansowany ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego Porównywać można siatkę centylową lub skalę staninową w danym czasie, każda daje możliwość, z różną dokładnością, porównania siebie na tle grupy zdających. Oprócz wyniku punktowego bardziej interesuje nas wynik staninowy. We wcześniejszym przykładzie, dotyczącym gimnazjum, uczeń znajduje się w staninie „wysoki” (80%), podczas, gdy z uzyskanego wyniku procentowego przypuszczalibyśmy, że jego wynik jest średni lub powyżej średniej (64%). Dany wynik jest więc opisany inną miarą, co daje nam szerszy punkt widzenia na poziom wiedzy opanowanej prze ucznia. Procenty przypisane poszczególnym staninom uzupełniają wiedzę i tworzą w przybliżeniu wykres rozkładu, który polega na tym, że taka sama część badanej grupy jest poniżej normy i taka sama część powyżej normy. Metodę badawczą, którą oprócz wyników egzaminów powinniśmy brać pod uwagę jest edukacyjna wartość dodana (EWD). Dla danej szkoły jest ona wskaźnikiem efektywności nauczania w zakresie sprawdzanym przez egzamin. W tej metodzie badawczej bierze się 107 czynników pod uwagę, jednak jeśli dana szkoła nie brała bezpośrednio udziału w szczegółowym badaniu EWD porównywane są trzy czynniki do których ma dostęp Centralna Komisja Egzaminacyjna: • wynik gimnazjalny, a wynik maturalny • dysfunkcje • płeć Bardziej zainteresowanych odsyłamy do literatury przedmiotu: http://ewd.edu.pl/wskazniki/matura/witamy/jak-obliczano-wskazniki/ EWD jest liczone przez zespół realizujący projekt: „Badania dotyczące rozwoju metodologii szacowania wskaźnika edukacyjnej wartości dodanej”. Od września 2012 roku prace projektowe zostały przeniesione do Instytutu Badań Edukacyjnych. Zarówno średni wynik egzaminu maturalnego jak i EWD w danym obszarze przedstawiany jest na znormalizowanej dla kraju – oddzielnie dla LO i techników – skali standardowej o średniej 100 i odchyleniu 15. Dla każdej szkoły obliczane są ewaluacyjne wskaźniki egzaminacyjne dla czterech obszarów nauczania. Pierwszy, humanistyczny, obejmuje język polski, historię i wiedzę o społeczeństwie. Drugi obszar obejmuje wyniki egzaminu z języka polskiego. Trzeci zakres treściowy, matematyczno-przyrodniczy, obejmuje matematykę, informatykę, fizykę, chemię, biologię i geografię. Czwarty obszar to wydzielona do osobnego str. 9 Projekt „Kompetencje zawodowe nauczycielek i nauczycieli jako element budowania organizacji uczącej się i lokalnej strategii oświatowej w powiecie ostrzeszowskim” współfinansowany ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego wskaźnika matematyka. W szacowaniu wskaźników egzaminacyjnych wykorzystuje się informację o wykonaniu zadań egzaminacyjnych zarówno na poziomie podstawowym jak i rozszerzonym. (źródło: www.ewd.edu.pl). Nie przytaczamy objaśnienia na czym polega normalizacja, czy w jaki sposób obliczyć wskaźnik EWD. Naszym celem nie jest prowadzenie wykładu z matematyki, a osoby zainteresowane metodami statystycznymi wykorzystywanymi do wyznaczenia EWD odsyłamy do strony www.ewd.edu.pl. Omówimy, w jaki sposób interpretować wyniki. Wyniki wstępne szkoły znajdują się na osi odciętych (pozioma oś), a układ współrzędnych podzielony jest na cztery ćwiartki: Interpretacja jest następująca: 1. „Szkoła sukcesu” – Wysoce efektywne szkoły, potwierdzone wynikami. 2. „Szkoła wspierająca” – Szkoły efektywne mimo niskiej pozycji w rankingach. 3. „Szkoła wymagająca pomocy” – Szkoły nieefektywne o słabych wynikach. 4. „Szkoła niewykorzystanych szans” – Szkoły, które „spoczęły na laurach”. Jeśli np. średni wynik uczniów, którzy trafili do nas to 107,5 pkt. i odchylenie 2,5 pkt., (wykres powyżej), możemy stać się szkołą sukcesu, niewykorzystanych szans lub wymagającą pomocy. Nie będziemy szkołą wspierającą, bo przyszli do nas uczniowie z wynikami powyżej str. 10 Projekt „Kompetencje zawodowe nauczycielek i nauczycieli jako element budowania organizacji uczącej się i lokalnej strategii oświatowej w powiecie ostrzeszowskim” współfinansowany ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego średniej i nie wspieramy ich, oni mają odpowiedni potencjał, a jego wykorzystanie, zależy od naszego sposobu uczenia, by odpowiednio zmotywować ich do dalszej nauki. Jeśli będziemy szkołą o efektywności wyższej w porównaniu do pozostały szkół, trafimy do pierwszej ćwiartki, gdyż będąc szkołą bardziej efektywną uzyskamy wyniki lepsze od przewidywanych. Jeśli będziemy szkołą o efektywności niższej w porównaniu do pozostały szkół, trafimy do trzeciej lub czwartej ćwiartki, gdyż będąc szkołą mniej efektywną uzyskamy wyniki gorsze od przewidywanych. Nie możemy być szkołą o wyższej efektywności w porównaniu z innymi szkołami i uzyskać gorszy wynik. str. 11 Projekt „Kompetencje zawodowe nauczycielek i nauczycieli jako element budowania organizacji uczącej się i lokalnej strategii oświatowej w powiecie ostrzeszowskim” współfinansowany ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego Oczywiście, sukces osiągniemy, jeśli trafimy do ćwiartki „szkoła sukcesu”, a porażkę, jeśli do ćwiartki „szkoła niewykorzystanych szans” lub „szkoła wymagająca pomocy”. Który wariant jest gorszy? Nie oceniamy, w obu mamy mniejszą efektywność w porównaniu do pozostałych szkół, więc wynik egzaminu zewnętrznego jest gorszy od przewidywanego. Dane EWD są przedstawione w postaci elips. Ciemniejsza elipsa to 50% wszystkich szkół, a jaśniejsza to 90% wszystkich szkół. str. 12 Projekt „Kompetencje zawodowe nauczycielek i nauczycieli jako element budowania organizacji uczącej się i lokalnej strategii oświatowej w powiecie ostrzeszowskim” współfinansowany ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego EWD jest obliczony wg rodzajów szkół, dlatego możemy porównać w danej miejscowości efektywność w liceum z efektywnością. Odpada argument, że do którejś placówki przychodzi bardziej wyselekcjonowana młodzież. By dobrze interpretować Edukacyjną Wartość Dodaną, przeanalizujmy przykład: Przykład: Mamy wykres EWD dwóch szkół. Która szkoła jest lepsza? (Wykres zrobiony na potrzeby artykułu). W rankingach, które przedstawiają tylko wyniki punktowe i na tej podstawie przytaczane są argumenty, w której szkole uczniowie „lepiej” napisali egzamin, okaże się, że nieporównywalnie lepiej w szkole 1. Wg skali staninowej, szkoła ta będzie w staninie najwyższym. 125punktow! (Odczytujemy surowy, znormalizowany wynik po prostopadłym zrzutowaniu na os poziomą.) Szkoła 2 w skali staninowej ma wynik wyżej średni lub średni (103 pkt.). Wyniki są minimalnie wyższe od średniej krajowej. Ale to szkoła 2 ma zdecydowanie większą efektywność, czyli wkład pracy w to, że uczniowie uzyskali o ileś lepsze wyniki niż na etapie poprzedzającym, jest zdecydowanie większy w szkole 2! Do szkoły 1 przychodzą olimpijczycy, chociaż trzeba obiektywnie stwierdzić, że i w tej placówce efektywność jest nieco wyższa, w porównaniu do pozostałych szkół objętych badaniem. Do szkoły 2 trafiają uczniowie poniżej średniej i tu widać pracę nauczycieli. (Zobaczmy, jak bardzo str. 13 Projekt „Kompetencje zawodowe nauczycielek i nauczycieli jako element budowania organizacji uczącej się i lokalnej strategii oświatowej w powiecie ostrzeszowskim” współfinansowany ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego elipsa jest nad osią odciętych) Szkoła 2 ma większy wkład pracy, by uczniowie uzyskali dany wynik, chociaż w większości rankingów, w środowisku lokalnym będzie prawdopodobnie rozpowszechniona opinia, że lepsza jest szkoła 1, bez porównywania efektywności, tylko uwzględniając wyniki egzaminu. Lepsze wyniki końcowe, nie znaczy lepsza szkoła! Żeby nie było nieporozumień, w szkole 1 uczniowie uzyskują bardzo dobre wyniki z egzaminów, ale wkład pracy, by je osiągnąć jest nieco powyżej średniej, a szkoła 2 jest szkołą o średnich wynikach, ale bardzo dużej efektywności. Oś pozioma mówi więc o wyniku, pionowa o efektywności i ważne jest, by w zestawieniach brać pod uwagę obie osie układu współrzędnych. Interpretacja wskaźnika EWD w I LO w Ostrzeszowie Na koniec zinterpretujemy wykres EWD w obszarze przedmiotów humanistycznych oraz matematyczno – przyrodniczych w I LO w Ostrzeszowie. Dodamy tylko przed interpretacją, że im mniejsza elipsa, tym większa szkoła, bo wtedy jest mniejsze odchylenie standardowe. Jeśli ktoś będzie porównywał swoją szkołę z innymi, proszę o tym pamiętać, by nie dojść do wniosku, że zestawienie jest błędne, bo np. nasza szkoła jest większa, a jest zaznaczona mniejszą elipsą w porównaniu z jakąś mniejszą. Przedstawiamy dane za okres nauczania 2012 – 20141. W części humanistycznej znormalizowany wynik w porównaniu do innych liceów w Polsce wynosi 103. Jest to wynik nieznacznie wyższy w porównaniu z wynikami innych szkół. Ale popatrzmy uważnie na wykres. Przecież I LO znajduje się w pierwszej ćwiartce – szkoła sukcesu! Wynik naszej szkoły znajduje się nad osią odciętych. 1 na podstawie danych z www.ewd.edu.pl str. 14 Projekt „Kompetencje zawodowe nauczycielek i nauczycieli jako element budowania organizacji uczącej się i lokalnej strategii oświatowej w powiecie ostrzeszowskim” współfinansowany ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego Jeśli zrzutuję naszą elipsę wzdłuż osi wielkiej elipsy, okaże się, że do naszego liceum trafiają uczniowie, których wynik w części humanistycznej z egzaminu gimnazjalnego, w porównaniu do uczniów trafiających do innych liceów, wynosi 99 punktów na wejściu. Zatem do naszej szkoły trafiają uczniowie minimalnie słabsi niż do innych liceów, a dzięki odpowiedniej pracy jesteśmy szkołą sukcesu. Uczniowie kończą naszą szkołę z wynikami nieco lepszymi, w porównaniu do absolwentów innych liceów, niezależnie czy porównuję wyniki z egzaminu, czy wkład pracy. Należy jednak ciągle starać się coś poprawić. W latach 2012 – 2014 jesteśmy w 50% szkół, które uzyskują podobne wyniki, ale w pierwszej ćwiartce. W części matematyczno – przyrodniczej (również w latach 2012 – 2014) średni wynik w skali znormalizowanej to 105 punktów. I znów należy odpowiednio interpretować wykres. „Nasza elipsa” znajduje się wśród „szkół sukcesu”. Jeśli zrzutuję naszą elipsę wzdłuż osi wielkiej elips okaże się, że do naszego liceum trafiają uczniowie, których średni wynik, po znormalizowaniu, w części matematyczno – przyrodniczej z egzaminu gimnazjalnego, str. 15 Projekt „Kompetencje zawodowe nauczycielek i nauczycieli jako element budowania organizacji uczącej się i lokalnej strategii oświatowej w powiecie ostrzeszowskim” współfinansowany ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego w porównaniu do uczniów trafiających do innych liceów, wynosi 98 punktów na wejściu. Zatem do naszej szkoły trafiają uczniowie nieco słabsi niż do innych liceów, a dzięki odpowiedniej pracy jesteśmy szkołą sukcesu. Dowodem jest właściwa interpretacja wykresu. Uczniowie kończą naszą szkołę z wynikami nieco lepszymi w porównaniu do wyników absolwentów innych liceów. Tutaj także mieścimy się w 50% szkół, (chodzi o ciemniejszą szarą elipsę,) które uzyskują podobne wyniki, ale nasz wynik jest bliżej brzegu szarej elipsy, co oznacza, że mamy nieco większy wkład pracy. (Elipsa w tej części jest minimalnie wyżej niż w części humanistycznej). By porównać, jacy uczniowie trafiają do naszej, czy innych szkół ponadgimnazjalnych, proponujemy porównać wskaźniki EWD w gimnazjach w interesującym nas obszarze. Jeśli chodzi o powiat ostrzeszowski za okres 2012-2014 należy wyróżnić pod względem wkładu pracy gimnazjum w Siedlikowie. str. 16 Projekt „Kompetencje zawodowe nauczycielek i nauczycieli jako element budowania organizacji uczącej się i lokalnej strategii oświatowej w powiecie ostrzeszowskim” współfinansowany ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego Pamiętajmy, że wyniki, czy to egzaminu gimnazjalnego, czy maturalnego, zależą od wcześniejszych etapów kształcenia. Po uwzględnieniu wyników egzaminu po gimnazjum, dane uczniów jako wejściowe są umieszone na osi odciętych (poziomej) i jeśli do szkoły średniej trafiają uczniowie, których wyniki można przedstawić jak na wykresie poniżej, należy tylko się cieszyć. Gorzej, jeśli ten odcinek będzie bardziej przesunięty w lewo, bo wtedy trafiają do szkoły uczniowie o niższym poziomie wiedzy. Jeśli chodzi o szkoły gimnazjalne, warto, by analizowały wyniki EWD ze szkół podstawowych, bo patrząc na same elipsy, można również wywnioskować, jacy uczniowie trafiają do szkół gimnazjalnych po ukończeniu szkoły podstawowej. Powinno to motywować nauczycieli szkół z każdego poziomu do jak największego wkładu pracy, a wraz z tym zwiększą się wyniki. Jeśli chodzi o wskaźnik EWD, jeden, dość ważny czynnik, nie jest brany pod uwagę – ilość godzin w cyklu uczenia z danego przedmiotu. Uważamy, że większa liczba godzin wpływa korzystnie na efektywność, choć nie musi to być reguła powszechnie obowiązująca. Jednak zdaniem twórców EWD jest to indywidualna, wewnętrzna sprawa szkoły, ile godzin zostaje przeznaczonych na dany przedmiot. Jeśli chodzi o przedmioty realizowane w zakresie podstawowym, są ramówki, ale mamy tu na myśli przedmioty realizowane w zakresie rozszerzonym (od dwóch do czterech) i ile takich przedmiotów jest realizowanych w danej szkole, dwa ze znacznie zwiększoną liczbą godzin, czy cztery z minimalna liczbą godzin str. 17 Projekt „Kompetencje zawodowe nauczycielek i nauczycieli jako element budowania organizacji uczącej się i lokalnej strategii oświatowej w powiecie ostrzeszowskim” współfinansowany ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego przeznaczonych na rozszerzenie. Co prawda Rozporządzenie Ministra Edukacji Narodowej z dnia 7 lutego 2012 r. mówi, że dyrektor może wystąpić z wnioskiem o dodatkowe trzy godziny dla każdego oddziału w danym roku szkolnym, ale w niewielu szkołach, wyszukując na stronach internetowych plany klas w poszczególnych placówkach, korzysta się z tej możliwości. Inna sprawa, czy organ prowadzący wyrazi zgodę na wprowadzenie tych godzin, przecież panuje w znacznej części społeczeństwa obiegowe stwierdzenie, że nauczyciele mają się za dobrze i najlepiej oszczędzać na oświacie. str. 18 Projekt „Kompetencje zawodowe nauczycielek i nauczycieli jako element budowania organizacji uczącej się i lokalnej strategii oświatowej w powiecie ostrzeszowskim” współfinansowany ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego