Standardy ewaluacji - dr hab. Ryszard Szarfenberg

Ewaluacja w polityce społecznej
Standardy ewaluacji i metaewaluacja
Dr hab. Ryszard Szarfenberg
rszarf.ips.uw.edu.pl/ewalps/
Dwa pojęcia standardu
• Standard jako pojęcie statystyczne
– X jest standardem = X jest powszechny, X jest
stosowany przez większość, X występuje w
większości przypadków
• Standard jako pojęcie normatywne
– X jest standardem Y = Y powinien odpowiadać X,
Y ma mieć cechy oznaczone przez X, Y powinien
być wzorowany na X, Y ma być podobny do X
Po co standardy?
• Istnienie standardów zwiększa jakość ewaluacji
jako odrębnego typu stosowanych badań
społecznych i służy promocji ewaluacji w
społeczeństwie
• Przy pomocy owych standardów dokonuje się
metaewaluacji, czyli oceny zarówno
planowanych, jak i realizowanych ewaluacji
• Standardy dostarczają początkującym
ewaluatorom wskazówek, jak powinien
planować badania, co jest w nich istotne
B. Szatur-Jaworska red., Ewaluacja w
służbach społecznych, rozdział 6
Po co standardy? Cd.
• Standardy pomagają ewaluatorom i osobom z nimi
współpracującym rozstrzygać wątpliwości, co do
słuszności i etyczności postępowania ewaluatora w
trakcie realizacji badań
• Standardy zwiększają wiarygodność środowiska
ewaluatorów i podnoszą zaufanie do ich pracy ze strony
zleceniodawców ewaluacji, uczestników ocenianych
programów i innych stron zainteresowanych ewaluacją
• Standardy chronią osobiste dobra innych, niż
zamawiający i ewaluatorzy, osób zaangażowanych w
ewaluację
B. Szatur-Jaworska… i na
kolejnych slajdach
Różne nazwy
• Standardy (np. „Standardy ewaluacji”
Polskiego Towarzystwa Ewaluacyjnego lub
„Standardy SEVAL” Szwajcarskiego
Towarzystwa Ewaluacyjnego)
• Wytyczne / wskazówki (np. „Guidelines for
the Ethical Conduct of Evaluations,
Autraloazjatyckiego Towarzystwa
Ewaluacyjnego [Australasian Evaluation
Society])
Różne nazwy cd.
• Zasady (np. „Les principes de l’évaluation en France”
zawarte w dokumencie Francuskiego Towarzystwa
Ewaluacyjnego [Société Française de l’Évaluation] pt.
„Charte de l’Évaluation des politiques publiques et
des programmes publics” oraz “Guiding Principles for
Evaluators” Amerykańskiego Towarzystwa
Ewaluacyjnego [American Evaluation Association]);
• Normy (np. “The United Nations Norms for
Evaluation” Organizacji Narodów Zjednoczonych),
• Reguły (np. opracowane przez Grupę ONZ do spraw
ewaluacji „Règles d’évaluation applicables au sein du
système des Nations Unies”).
Czego dotyczą standardy?
1. Jak postępować, by zachować uczciwość i nie
naruszać dobra innych osób i dobra wspólnego?
2. Jak postępować, by nie naruszać prawa?
3. Jak postępować, by być rzetelnym warsztatowo?
4. Jak postępować, by być sprawnym w działaniu?
5. Jak postępować, by prawidłowo przebiegała
komunikacja w toku ewaluacji?
6. Jak postępować, by zapewnić ewaluacji
odpowiednie warunki realizacji?
Kategorie standardów
• standardy etyczne
–
–
Jak postępować, by zachować uczciwość i nie naruszać
dobra innych osób i dobra wspólnego?
Jak postępować, by nie naruszać prawa?
• standardy metodologiczne
– Jak postępować, by być rzetelnym warsztatowo?
• standardy prakseologiczne
–
–
–
Jak postępować, by być sprawnym w działaniu?
Jak postępować, by prawidłowo przebiegała komunikacja
w toku ewaluacji?
Jak postępować, by zapewnić ewaluacji odpowiednie
warunki realizacji?
Standardy ewaluacji Polskiego
Towarzystwa Ewaluacyjnego (PTE)
Standardy etyczne PTE
• (…) Określenie przejrzystych kryteriów wyboru
ewaluatora
– Zlecający, w przypadku zamówień publicznych, nie
powinien przygotowywać badania ewaluacyjnego
pod kątem konkretnego wykonawcy. Zlecający
powinien umożliwić różnym wykonawcom równe
szanse w dążeniach do realizacji ewaluacji.
– Przygotowanie zamówienia, jak również wyłonienie
wykonawcy, powinno mieć charakter jawny i powinno
opierać się na zasadach czytelnych dla wszystkich
zainteresowanych podmiotów. (…)
Standardy etyczne PTE cd.
• Zapewnienie niezależności ewaluacji.
– Ewaluator, podejmując się realizowania ewaluacji,
powinien być niezależny w stosunku do ewaluowanego
przedmiotu oraz zlecającego. W przypadku pojawienia
się konfliktu interesów powinien odstąpić od realizacji
ewaluacji i/lub otwarcie poinformować o jego
występowaniu.
– Pożądane jest również zapewnienie maksymalnej
niezależności osób bezpośrednio przygotowujących,
zlecających i odbierających wykonaną ewaluację od
działów realizujących ewaluowane przedsięwzięcie w
ramach struktur organizacyjnych zlecającego.(…)
Standardy etyczne PTE cd.
• Ewaluator powinien:
– okazywać szacunek dla osób i podmiotów
zaangażowanych w badanie ewaluacyjne, co
przejawia się w szczególności w stosowaniu zasady
poufności i anonimowości,
– zachować neutralność i obiektywizm wobec
badanych,
– poznać kontekst sytuacji badanych, cechować się
wrażliwością i empatią,
– zapewnić wszystkim badanym odpowiednie do
potrzeb warunki/możliwości wypowiedzenia się. (…)
Standardy metodologiczne PTE
• Precyzyjne określenie celu, przedmiotu i zakresu
badania.
– Dla powodzenia ewaluacji podstawowe znaczenie ma
precyzyjne i logicznie spójne określenie przedmiotu i celu
ewaluacji, kluczowych pytań, na które poszukuje się
odpowiedzi oraz kryteriów, z zastosowaniem których
przedmiot ewaluacji będzie ewaluowany. (…)Aby cele
ewaluacji były w pełni zrozumiałe dla wszystkich
zaangażowanych podmiotów, powinno się zidentyfikować
sposób wykorzystania wyników badania. (…) Na etapie
planowania ewaluacji powinno się sformułować kryteria
oceny jakości raportu ewaluacyjnego.
Standardy metodologiczne PTE
• Zapewnienie trafności i rzetelności badań
ewaluacyjnych.
– (…)Realizacja ewaluacji opiera się na
metodologii badań naukowych. W badaniach
ewaluacyjnych uprawnione jest stosowanie
różnych podejść metodologicznych, ich wybór
powinien być dokonywany w relacji do celów i
zakresu badania oraz dostępnych /
posiadanych zasobów.(…)
Standardy metodologiczne PTE cd.
• Zapewnienie przejrzystości struktury i
języka raportu ewaluacyjnego.
• Zapewnienie rzetelności raportu
ewaluacyjnego.
– (…) Tezy raportu powinny bazować na zebranym
materiale empirycznym. Zamawiający nie powinien
ingerować w wyniki badań ewaluacyjnych.
Wprowadzenie zmian w raporcie może mieć miejsce
wyłącznie za zgodą ewaluatora.
Standardy prakseologiczne PTE
• Zasadność podejmowania ewaluacji.
– Powinno się zlecać realizację tylko takich ewaluacji, które są
istotne dla zarządzania danym przedsięwzięciem i/lub
charakteryzują się wysokimi walorami poznawczymi oraz
praktycznymi.
• Realistyczne określenie sposobu
przeprowadzenia ewaluacji.
– Sposób realizacji badania powinien być adekwatny do celu,
przedmiotu i zakresu ewaluacji. Dlatego też niezbędne jest
racjonalne oraz precyzyjne oszacowanie zasobów
potrzebnych do przeprowadzenia prac ewaluacyjnych w
sposób zgodny z zapotrzebowaniem. (…)
Standardy prakseologiczne PTE cd.
• Dbanie o partycypacyjność i jakość współpracy w
procesie ewaluacji.
– Komunikacja w procesie ewaluacji powinna być oparta
na stałym dialogu pomiędzy ewaluatorem a
zlecającym.
• Konsultowanie wniosków i rekomendacji.
– Po wstępnym sformułowaniu wniosków i rekomendacji
powinna odbyć się dyskusja nad ich trafnością,
poprowadzona w gronie interesariuszy. (…) W razie
potrzeby powinien być opracowany protokół
rozbieżności, jako produkt procesu konsultacji.
Standardy prakseologiczne PTE cd.
• Wykorzystanie rekomendacji.
– (…) W ramach procesu ewaluacji powinno
zadbać się o opracowanie przejrzystych procedur
wdrożenia rekomendacji, w tym określić cel i
sposób ich wdrożenia wraz z podaniem, o ile
możliwe, adresatów rekomendacji oraz
wstępnego harmonogramu. (…)
Metaewaluacja w Polsce?
Przykład 1
Metaewaluacja projektów systemowych realizowanych w Działaniu 7.1 Programu Operacyjnego Kapitał
Ludzki na podstawie raportów końcowych z ewaluacji przeprowadzonych przez Regionalne Ośrodki
Polityki Społecznej w 2010 r.
Komentarz RSz: nie jest to metaewaluacja w sensie oceny jakości i wartości
ewaluacji przeprowadzonych przez ROPSy, ale podsumowanie wyników wielu
ewaluacji na podobny temat
Metaewaluacja w Polsce?
Przykład 2
Szczegółowy Opis Zadania na wykonanie badania ewaluacyjnego pt. „Metaewaluacja wyników
Badań ewaluacyjnych Programu Operacyjnego Innowacyjna Gospodarka, 2007-2013”.
Komentarz RSz: nie jest to metaewaluacja w sensie oceny jakości i wartości
ewaluacji dotyczących PO IG, ale przegląd i podsumowanie wyników wielu
ewaluacji na podobny temat