Ewaluacja oparta na teorii projektu

Ewaluacja w polityce
społecznej
Ewaluacja oparta na teorii projektu
Dr hab. Ryszard Szarfenberg
Instytut Polityki Społecznej UW
rszarf.ips.uw.edu.pl/ewalps/dzienne/
Rok akademicki 2016/2017
Podejścia do ewaluacji, modele ewaluacji
• W jednej z publikacji* wyróżniono 23 podejścia do ewaluacji,
podzielone one zostały na kilka kategorii
• Pseudo-ewaluacje (7 podejść, np. badania prowadzone pod wpływem
polityki)
• Quasi-ewaluacje (8 podejść, np. podejście eksperymentalne i quasieksperymentalne, ewaluacja oparta na teorii projektu omówiona poniżej)
• Ewaluacje nastawione na doskonalenie i rozliczalność (3 podejścia, w tym
podejście CIPP omówione na kolejnym wykładzie)
• Ewaluacje nastawione na cele społeczne i rzecznictwo (4 podejścia)
• Ewaluacje eklektyczne (2 podejścia)
*D. L. Stufflebeam, C. L. S. Coryn, Evaluation Theory, Models,
and Applications, 2014
Teoria projektu a teoria problemu
Teoria projektu
Projekt
oddziaływania na
czynniki 1 i 2
Czynnik 1
zwiększający
problem
Czynnik 2
zmniejszający
problem
Teoria problemu
Problem, który
ma rozwiązać
projekt
Czynnik 3
zmniejszający
problem
Teoria projektu opisuje zależność między działaniami (produktami) projektu a czynnikami wpływającymi na problem, czyli na schemacie
oddziaływania destymulujące (zmniejszające) czynnik 1 oraz stymulujące (zwiększające) czynnik 2.
Teoria problemu opisuje zależność między czynnikami wpływającymi na problem (zwiększająco lub zmniejszająco) a samym problemem.
Na kolejnych slajdach mowa o wynikach projektu, które w kontekście tego schematu należy interpretować jako stany znaczącego
zmniejszenia lub całkowitego usunięcia problemu
Koncepcje powiązań projektu z wynikami
Koncepcja wpływu
bezpośredniego i jej
ograniczenia
Koncepcja wpływu
pośredniego z
jednym mediatorem
Projekt
Bezpośredni
wpływ
Wynik
Wpływ
zapośredniczony
Projekt
Mediator
Moderator
Koncepcja wpływu
pośredniego z
wieloma mediatorami
i moderatorami
Czy są projekty, które osiągają wyniki
bezpośrednio? Wywieranie wpływu na
zachowania zawsze są zapośredniczone poprzez
bodźce (np. kary, nagrody, kazania)
Wynik
ostateczny
Mediator: czynnik na
który należy
oddziałać, aby
osiągnąć wynik
ostateczny
Moderator
Mediator
Wynik
ostateczny
Projekt
Mediator
Moderator: czynnik
zewnętrzny, który
wpływa na siłę
oddziaływania
projektu w relacji
projekt - mediator lub
mediator - wynik
S I. Donaldson, Program Theory-Driven Evaluation Science: Strategies and
Approaches, 2007
Miejsce teorii zmiany w logice projektu
społecznego
Przygotowanie projektu
Ostateczne
wyniki
projektu
Teoria
zmiany
Pośrednie
wyniki projektu
Teoria
zmiany
Produkt projektu
Działania /
interwencja
Nakłady na
projekt
Realizacja projektu
M. Koopman i in red., Performance Measurement in the Dutch Social
Rented Sector, 2008, s. 20. Modyfikacje R.S.
Przykłady prostych teorii zmiany
Wynik pośredni
Teoria zmiany w
projekcie kampanii
medialnej
Kampania
medialna na
temat zdrowego
żywienia
Wzrost wiedzy i
świadomości w
społeczeństwie
Wynik ostateczny
Zdrowsza dieta
Wyniki pośrednie 1
Kwalifikacje
zawodowe
Wynik pośredni 2
Teoria zmiany w
projekcie szkolenia
zawodowego
Szkolenie
zawodowe
Umiejętności
poszukiwania
pracy
Motywacja do
pracy
Lepsza praca
Wynik ostateczny
Poprawa
sytuacji
materialnej
P. R. Rossi, M. W. Lipsey, H. E. Freeman, Evaluation: A Systematic
Approach, 2004, s. 143
Przykłady prostych teorii zmiany cd.
Wyniki pośrednie
Wzrost wiedzy
matematycznej
uczniów
Teoria zmiany w
projekcie innowacji w
lekcjach matematyki
Lekcje matematyki
wspomagane
komputerowo w
szkole średniej
Wzrost umiejętności
komputerowych
uczniów
Zmniejszenie liczby
nauczycieli
Wyniki ostateczne
Praktyczne
umiejętności
życiowe
Zmniejszone koszty
systemu
edukacyjnego
Rossi, Lipsey, Freeman… 2004, s. 143
Zintegrowana ewaluacja realizacji i osiągania wyników
projektu w podejściu linearnym
Projekt i jego
uzasadnienie
Realizacja
projektu
Sukces / porażka
implementacji i
realizacji
Interwencja
(produkt)
Przyczyny
(mediatory i
moderatory)
Sukces / porażka
teorii działania
Wyniki
Sukces / porażka
teorii zmiany
H.-T. Chen, Theory-Driven Evaluation, w: S. Mathison
red., Encyclopedia of Evaluation, 2005, s. 417
Zasoby
Środowisko
Projekt
Model działania
Organizacje powiązane oraz
partnerzy w społeczności
Katalog usług i
procedury ich
udzielania
Organizacja realizująca
Koncepcja teorii
projektu –
podejście
nielinearne
Kontekst otoczenia
Realizatorzy
Grupy docelowe
Model zmiany
Realizacja programu
Interwencja
Determinanty
Wyniki
H.-T. Chen, Program Theory, w: S. Mathison red.,
Encyclopedia of Evaluation, 2005, s. 341
Zastosowanie teorii programu do interpretacji
wyników ewaluacji
Czy
implementacja
interwencji
była
odpowiednia?
Czy wystarczające
były
zaangażowanie,
rekrutacja,
wypełnianie
zaleceń?
Czy wyniki
pośrednie
zostały
osiągnięte?
Czy wyniki
ostateczne
zostały
osiągnięte?
Interpretacja
Niepowodzenie implementacji
Niepowodzenie zaangażowania
lub zgodności (pierwszy łącznik
przyczynowo-skutkowy)
Niepowodzenie teorii (wcześniejszy
łącznik przyczynowo-skutkowy)
Niepowodzenie teorii (późniejszy
łącznik przyczynowo-skutkowy)
Zgodność z teorią
Niepowodzenie teorii (inna ścieżka
przyczynowo-skutkowa)
S. C. Funnell, P. J. Rogers,, Purposeful Program Theory: Effective Use
of Theories of Change and Logic Models, 2011
Przykład teorii konkretnego projektu – Jabłka
dla studentów
Przygotowanie projektu
Studenci są
zdrowi
Teoria
zmiany
Poziom
witaminy C
wzrasta
Teoria
zmiany
Studenci
konsumują jabłka
Działania /
interwencja
Wynajęcie
personelu, zakup
jabłek
Realizacja projektu
M. Koopman i in red., Performance Measurement in the Dutch Social
Rented Sector, 2008, s. 20. Modyfikacje i adaptacja R.S.
Zastosowanie teorii projektu do interpretacji
wyników ewaluacji – projekt Jabłka dla studentów
Czy jabłka
zostały
dostarczone?
Czy jabłka
zostały
zjedzone?
Czy poziom
witaminy C
we krwi
wzrósł?
Czy poprawił
się poziom
zdrowia?
Interpretacja
Niepowodzenie implementacji
Niepowodzenie w zaangażowaniu i zgodności
zachowań (pierwszy łącznik przyczynowy)
Niepowodzenie teorii (wcześniejszy łącznik przyczynowy)
Niepowodzenie teorii (późniejszy łącznik przyczynowy)
Zgodność z teorią
Częściowe niepowodzenie teorii (działa tylko w pewnych
kontekstach
Niepowodzenie teorii (odmienna ścieżka przyczynowa)
S. C. Funnell, P. J. Rogers,, Purposeful Program Theory: Effective Use
of Theories of Change and Logic Models, 2011