ewaluacja wewnętrzna: wykorzystanie w podsumowaniu rpw

Opracowały:
Izabela Kazimierska, Indira Lachowicz, Laura Piotrowska
EWALUACJA WEWNĘTRZNA:
WYKORZYSTANIE W PODSUMOWANIU RPW
Publikacja powstała w ramach programu System doskonalenia oparty na ogólnodostępnym kompleksowym
wspomaganiu szkół realizowanego przez Ośrodek Rozwoju Edukacji – projekt współfinansowany przez Unię
Europejską w ramach środków Europejskiego Funduszu Społecznego
Creative Commons - Uznanie autorstwa-Użycie niekomercyjne-Na tych samych warunkach 3.0 Polska
I.Kazimierska, I.Lachowicz, L.Piotrowska • Ewaluacja wewnętrzna: wykorzystanie … •
Szkolny organizator rozwoju edukacji (SORE) może zaproponować dyrektorowi, aby w szkole
zaplanowano i realizowano ewaluację wewnętrzną dotyczącą zagadnienia, którego wspomaganie
(zwane dalej także projektem lub zmianą) w danym roku szkolnym dotyczy. Celem takiego
postepowania jest zapewnienie spójności pomiędzy różnymi działaniami, które zachodzą w szkole
– ewaluacją i wspomaganiem. Dzięki temu SORE i rada pedagogiczna łatwiej podsumują roczny
planu wspomagania (RPW), a wyniki i wnioski skuteczniej mogą służyć dalszemu rozwojowi szkoły.
Ewaluacja może być określona jako proces gromadzenia informacji, który prowadzi do:




wartościowania tego, co zostało osiągnięte;
wyjaśnienia, jak do tego doszło;
lepszego planowania kolejnych projektów.
podjęcia decyzji przez radę pedagogiczną
PLANOWANIE I PROJEKTOWANIE EWALUACJI
Planowanie ewaluacji powinno być jednoczesne z planowaniem projektu zmiany, dzięki czemu
obydwa procesy będą mogły przebiegać równolegle – wraz ze zmianą następować będzie jej
wartościowanie.
Planowanie ewaluacji obejmuje:









określenie celów ewaluacji i odbiorców wyników ewaluacji - dlaczego ewaluacja jest
niezbędna? kto jej potrzebuje?;
określenie przedmiotu ewaluacji;
postawienie pytań kluczowych;
ustalenie wskaźników;
określenie kryteriów;
określenie sposobu zbierania informacji (metody, narzędzia);
określenie źródeł informacji;
ustalenie harmonogramu;
określenie sposobu, w jaki zaprezentowane zostaną wyniki ewaluacji.
1/ Celem ewaluacji może być:





sprawdzenie, w jakim stopniu zostały osiągnięte zakładane cele wspomagania;
znalezienie możliwości ulepszania działań, których dotyczyła zmiana i realizowanie ich w
sposób bardziej efektywny;
poszukiwanie nowych rozwiązań;
identyfikowanie mocnych i słabych stron wspomagania;
pokazanie, że prowadzone działania mają sens i mogą być upowszechnione.
Odbiorcami mogą być nauczyciele, rodzice, uczniowie szkoły, partnerzy szkoły - w tym SORE.
2/ Przedmiotem (obszarem) ewaluacji mogą być:


osiągnięte rezultaty projektu wspomagania;
realizowane cele;
Projekt jest współfinansowany przez Unię Europejską w ramach środków Europejskiego Funduszu Społecznego
2
I.Kazimierska, I.Lachowicz, L.Piotrowska • Ewaluacja wewnętrzna: wykorzystanie … •



zarządzanie finansowe;
wpływ wspomagania na organizację (szkołę);
proces wprowadzanej w projekcie zmiany.
3/ Pytania kluczowe/badawcze to pytania, na które poszukuje się odpowiedzi w trakcie
prowadzonych badań.
Możemy wyróżnić trzy rodzaje pytań kluczowych:



opisowe, których celem jest obserwacja i poznanie zmian – określenie, co się stało;
przyczynowo-skutkowe, które pozwalają zrozumieć relacje pomiędzy przyczynami i
skutkami, a przede wszystkim starają się uchwycić, w jaki sposób i do jakiego stopnia
zaobserwowane zmiany można przypisać projektowi;
o charakterze normatywnym, odnoszące się do kanonu kryteriów ewaluacji.
Przykładem pytania kluczowego mogą być pytania:



Jakie działania realizowane w projekcie odpowiadają potrzebom edukacyjnym uczniów?
Jakie umiejętności zdobyli nauczyciele?
Jakie umiejętności uczniów są wynikiem zmiany wynikającej ze wspomagania?
4/ Kryteria ewaluacji to wartości ważne dla uczestników projektu.
Na początku realizowanego projektu należy określić, jakie wartości są najważniejsze dla danego
projektu. Dzięki tym wartościom (kryteriom) będzie można opisać lub ocenić wartość działań
prowadzonych w ramach projektu.
Zanim przystąpimy do orzekania o wartości działań oraz do szukania sposobów ich ulepszania,
należy podjąć decyzję, jakie wartości są najważniejsze dla danego projektu, a co zatem idzie, jakie
kryteria ewaluacji powinny być użyte.
Dla określonej grupy osób zaangażowanych w realizację projektu wartością może być np.
zespołowość podejmowanych w projekcie działań, użyteczność działań, zgodność działań w
potrzebami edukacyjnymi uczniów itd.
5/ Ustalenie wskaźników, czyli odpowiedź na pytanie: po czym poznamy, że są osiągane
kryteria ewaluacji?
Wskaźniki mogą odnosić się do spodziewanych rezultatów projektu np. umiejętności nauczycieli
nabytych w trakcie realizowanej zmiany, mogą odnosić się do działań realizowanych w projekcie
np. formy samokształcenia zorganizowane w szkole przez nauczycieli, mogą być miarą faktów np.
liczbą uczniów biorących udział w projekcie, liczbą godzin poświęconych na realizację projektu.
Wskaźnikiem może być miara opinii np. stopień satysfakcji postępami uczniów.
Wskaźnik musi przekazywać proste informacje w sposób zrozumiały zarówno dla osób, które go
sformułowały, jak i dla osób, które będą z niego korzystać.
6/ Metody i narzędzia badawcze.
Projekt jest współfinansowany przez Unię Europejską w ramach środków Europejskiego Funduszu Społecznego
3
I.Kazimierska, I.Lachowicz, L.Piotrowska • Ewaluacja wewnętrzna: wykorzystanie … •
W ewaluacji stosuje się różne metody badawcze, aby wzajemnie weryfikować dane
(triangulacja), zbierać jak najpełniejsze informacje, wykorzystywać zalety stosowanych metod i
niwelować ich wady. Główne metody badawcze stosowane w ewaluacji to:




wywiad
ankietę
obserwację
analizę dokumentów/danych zastanych
Ważne jest, aby nie ograniczać się tylko do robienia ankiety i wykorzystywać informacje
zdobywane poprzez rozmowy z uczestnikami projektu, obserwacje poczynione w trakcie jego
realizacji.
7/ Źródła informacji: próba badawcza, czyli określenie, kto może dostarczyć informacji?
W szkole takimi źródłami informacji mogą być uczniowie, nauczyciele, rodzice, partnerzy szkoły.
W ewaluacji uzyskuje się dane z różnych źródeł (triangulacja), by poznać opinię różnych grup
respondentów oraz zbierać najpełniejsze informacje. Przy określaniu próby badawczej należy
rozważyć, jakie są możliwości dotarcia do informacji?; oraz: Jak liczne przypadki pozwolą nam na
odpowiedzenie na pytania kluczowe i na wyciagnięcie wniosków dotyczących wartości
prowadzonych działań?
DOBÓR PRÓBY.
Losowy dobór próby zakłada, że każdy elementów składających się na populację ma taką samą
szansę być wylosowanym. Jest kilka sposobów doboru losowego.
Losowanie indywidualne nieograniczone. Najprostszym sposobem stosowania tej metody jest
skorzystanie z tablic liczb losowych. W pierwszym kroku numeruje się od 1 do N wszystkie
elementy populacji (np. uczestników programu szkoleniowego). W drugim kroku wybiera się
dowolną liczbę zamieszczoną na tablicy losowej. W kolejnych krokach czyta się kolejne liczby z
tablic losowych (w dowolnym, ale zawsze tym samym kierunku). Każda odczytana liczba
odpowiadająca numerowi na naszej liście wskazuje, który element populacji zostanie wybrany do
próby.
Losowanie systematyczne. Polega na wybieraniu każdego k-tego elementu z populacji,
począwszy od pierwszego elementu, który zostanie wybrany w sposób losowy. Próby
systematyczne jest łatwiej dobierać przy dużych populacjach lub gdy próba ma być bardzo liczna.
Losowanie warstwowe. Próba warstwowa jest stosowana po to, by mieć pewność, że różne
grupy składające się na populację są właściwie reprezentowane.
Losowanie grupowe. Polega na wcześniejszym określeniu dużych zbiorowości zwanych
grupami, a następnie losowanie określonej liczby grup za pomocą losowania indywidualnego
nieograniczonego lub warstwowego. W zależności od problemu badawczego do próby można
włączyć wszystkie elementy grupy lub wybrać określoną ich liczbę stosując losowanie
indywidualne nieograniczone lub warstwowe.
Nielosowy dobór próby.
Projekt jest współfinansowany przez Unię Europejską w ramach środków Europejskiego Funduszu Społecznego
4
I.Kazimierska, I.Lachowicz, L.Piotrowska • Ewaluacja wewnętrzna: wykorzystanie … •
Dobór celowy. Dobranie próby na podstawie własnej wiedzy o badanej populacji oraz celach
badań. Szansa zakwalifikowania określonej osoby do badania, zależy od subiektywnej oceny
badacza.
Dobór oparty na dostępności badanych. Badanie realizuje się na próbie, która w danym
momencie jest dostępna, np. studenci na wykładach, rodzice na zebraniu w szkole, ludzie
przechodzący ulicą.
Metoda kuli śnieżnej. Metoda stosowana, gdy trudno jest odszukać członków jakiejś
specyficznej populacji, np. osoby pracujące „na czarno”, osoby pracujące dorywczo za granicą.
Badacz wyszukuje kilka osób z badanej grupy, z nimi prowadzi badanie, a potem prosi o informacje
potrzebne do odszukania innych osób z badanej populacji.
Dobór kwotowy. Celem jest uzyskanie maksymalnego podobieństwa do populacji wyjściowej.
Najczęściej w próbie kwotowej wybiera się osoby ze względu na: płeć, wiek, miejsce zamieszkania.
Np., jeśli w projekcie 30% osób stanowiły kobiety, to w badanej próbie ich odsetek też powinien
wynieść 30%.
8/ Ustalenie harmonogram ewaluacji – polega na odpowiedzi na pytania: Co? Kto? Kiedy?
Wykaz zadań oraz ich wykonawców porządkuje się wedle terminów realizacji, rozpisanych
w postaci czasookresów, konkretnych dat lub przybliżonych terminów realizacji.
9/ Ustalenie sposobu prezentacji informacji.
Należy unikać pisania opasłych raportów, ponieważ istnieje obawa, że nikt nie będzie miał czasu
ich czytać. O wartości ewaluacji stanowi to, że wyniki są znane i maja szansę być wykorzystane
(mogą być wykorzystanie podobnie jak raport z ewaluacji zewnętrznej)
Prosta informacja końcowa składa się ze wstępu, odwiedzi na pytanie kluczowe oraz wyników i
wniosków odnoszących się do kryteriów. Informacja ta może przybrać formę uporządkowanych
notatek, slajdów, sprawozdania ustnego zaprotokółowanego na radzie pedagogicznej lub innej
zasadnej dla charakteru pozyskanych informacji.
1/ Wstęp zawiera odpowiedzi na pytania: Jakie kwestie były badane? Jakimi metodami były
badane? Kto był objęty badaniem? Kto przeprowadził badanie i kiedy?
2/ Wyniki, czyli odpowiedzi na pytanie kluczowe, które przedstawiają np. zarówno
większościowe opinie, jak opinie formułowane przez nieliczne osoby, przykłady
podejmowanych działań, przyjęte sposoby wprowadzonych rozwiązań itd.
3/ Wnioski, które odnoszą się do przyjętych wartości (do kryteriów ewaluacji). Wnioski w
ewaluacji traktowane są jak w każdym innym badaniu, tj. nie należy ich utożsamiać z
potocznie rozumianym „Co trzeba zrobić?”, tylko – interpretacją wyniku. Dla przykładu:
wyniki są takie, że połowa nauczycieli jest zadowolona z badanego działania, a połowa nie.
Wynika stąd wniosek, że nauczyciele nie są zgodni co do oceny tego działania. Należy
zaznaczyć, że ewaluacja nie powinna kończyć się rekomendacjami – one pojawiają się po
przedstawieniu wyników i są wynikiem ich recepcji przez interesariuszy.
Projekt jest współfinansowany przez Unię Europejską w ramach środków Europejskiego Funduszu Społecznego
5
I.Kazimierska, I.Lachowicz, L.Piotrowska • Ewaluacja wewnętrzna: wykorzystanie … •
ANALIZA DANYCH I FORMUŁOWANIE WNIOSKÓW.
Przeprowadzone badania dostarczają danych, które należy przeanalizować. W analizie
jakościowej istotne jest stwierdzenie, czy dane są adekwatne, a na końcu wyciagnięcie wniosków.
W analizie ilościowej sprawdzamy: Co mówią braki danych? Co widać w centrum? Jaka jest
charakterystyka rozkładu? Gdzie jest dominanta? Gdzie przypada większość wypowiedzi po
przekształceniu częstości? Co widać na granicach? Co się kryje na krańcach? Co oznaczają minima?
W czasie analizowania danych warto dokonać analizy porównawczej i odpowiedzieć na pytanie:
Jak to wygląda gdzie indziej?; lub: Jak to wyglądało w latach poprzednich? Analiza porównawcza
może dotyczyć odniesienia się do danych z innych klas, z innych lat, z innych szkół, innych badań
prowadzonych np. w kraju, w Europie itd.
PRZYGOTOWANIE I PREZENTACJA INFORMACJI KOŃCOWEJ
Zakończeniem procesu ewaluacji jest przedstawienie informacji końcowej interesariuszom i
wykorzystanie wyników i wniosków do zaplanowania rozwoju szkoły.
BIBLIOGRAFIA:
Babbie E. „ Podstawy Badań Społecznych”, PWN, Warszawa 2008
Mazurkiewicz G. red. „Ewaluacja w nadzorze pedagogicznym. Odpowiedzialność”, Kraków 2010
Mazurkiewicz G. red. ”Ewaluacja w nadzorze pedagogicznym. Konteksty” Kraków 2010
Strona poświęcona ewaluacji w nadzorze www.npseo.pl
Projekt jest współfinansowany przez Unię Europejską w ramach środków Europejskiego Funduszu Społecznego
6
I.Kazimierska, I.Lachowicz, L.Piotrowska • Ewaluacja wewnętrzna: wykorzystanie … •
Projekt jest współfinansowany przez Unię Europejską w ramach środków Europejskiego Funduszu Społecznego
7