BE modele ewaluacyjne

PODEJŚCIA BADAWCZE
W BADANIACH EWALUACYJNYCH
PSEUDOEWALUACJA
•
•
Badania PR-owe („ideologiczny
marketing”, infomercial)
Badania kontrolowane politycznie
EWALUACJA
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
•
Badania oparte o cele/ analiza realizacji celów
Badania nad publiczną odpowiedzialnością
programu
Testowanie wyników programu
Badania wartości dodanej programu
Testy performatywne
Badania eksperymentalne
Studium przypadku
Systemy zarządzania informacją
Analiza korzyści-kosztów
Badania eksperckie i analiza krytyczna
Ewaluacja oparta na teorii
Badania w oparciu o łączone metody ilościowe i
jakościowe (method mix)
Ewaluacja zogniskowana na konsumentach
Badania certyfikatów/uprawnień – ewaluacja
akredytacyjna
Badania odbiorców programów ewaluacyjnych
Ewaluacja skoncentrowana na klientach
Ewaluacja konstruktywistyczna
Ewaluacja zogniskowana na funkcjach
utylitarystycznych
Ewaluacja oparta na założeniach demokracji
deliberatywnej
AGENDA SPOŁECZNA
(SOCIAL AGENDA-DIRECTED/ADVOCACY APPROCHES)
• Badania skoncentrowane na kliencie
(responsive evaluation)
• Ewaluacja utylitarystyczna (utylization-focused
evaluation)
• Ewaluacja konstruktywistyczna (constructivist
evaluation)
• Ewaluacja oparta na założeniach demokracji
deliberatywnej (deliberative democratic
evaluation)
• Kierowane chęcią tworzenia zmian społecznych za pomocą programów
ewaluacyjnych
• Podejście konstruktywistyczne – społeczne tworzenie rzeczywistości,
stosowane głównie metody jakościowe
• Odzwierciedlają postmodernistyczną filozofię w odniesieniu do
kulturowego pluralizmu, moralnej relatywności, wielości rzeczywistości
społecznych
• Założenie, że wszystkie segmenty społeczne mają równy dostęp do
społecznych i edukacyjnych możliwości i usług, rozpowszechnianie praw
społecznych; silnie podkreślona demokratyczna idea sprawiedliwości i
uczciwości
• Silnie skoncentrowane na służeniu misji społecznej
• Angażowanie perspektyw zainteresowanych stron i ekspertów w celu
badania, opisu i oceny programów społecznych oraz poszukiwania
właściwych i najlepszych odpowiedzi, tworzenie narzędzi angażowania
wszystkich zainteresowanych stron
• Oddanie zainteresowanym stronom autorytetu w podejmowaniu
kluczowych decyzji ewaluacyjnych, zwłaszcza w zakresie interpretacji i
ustalania wyników
• W ekstremalnych przypadkach może prowadzić do pseudowealucji – brak
ingerencji badacza (delegacja autorytetu, ucieczka przed oceną i
obiektywizmem)
EWALUACJA SKONCENTROWANA NA KLIENTACH
•
•
•
•
•
•
•
Robert E. STAKE
badacz musi pracować z i by pomóc grupom klientów programu (np.
nauczycielom, administratorom, legistratorom, sponsorom) pomoc
w rozumieniu, ocenie i rozwoju programów społ.
Klient = osoby, które wspomagają, rozwijają, administrują i
bezpośrednio wdrażają programy społeczne
Ewaluator w służbie i udzielający pomocy tym z małą władzą i siłą
przebicia;
Badacz wystrzega się naukowego obiektywizmu: poszukiwanie
odmiennych rozwiązań, konfrontowanie ich ze sobą ale
pozostawianie konkluzji i interpretacji zaangażowanym stronom,
pomoc w spojrzeniu na sprawy z alternatywnych punktów widzenia
Zasada triangulacji, metody jakościowe, odpowiednie do
analizowanego programu, bogactwo podejść i technik (studium
przypadku, narracje, wywiady pogłębione, analiza dyskursu,
obserwacje, sociodrama itd.)
Zalety: pozwala stronom wydarzenia społecznego tworzyć własne
kryteria jego oceny oraz wykorzystywać wyniki do podejmowania
decyzji i działań; bierze pod uwagę interesy zainteresowanych stron;
z różnych punktów widzenia bada racjonalność, przebieg, otoczenie
i rezultaty programu; możliwość bycia aktywnym uczestnikiem i
krytykiem zdarzenia dla każdej zainteresowanej jednostki i grupy;
pozwala aktywizować i usprawniać komunikację społeczną
Ograniczenia: badacz pracując blisko i nieprzerwanie z uczestnikami
programu może stracić niezależność ocen; problem wiarygodności
zewnętrznej ewaluacji ; generowanie odmiennych interpretacji
może paraliżować zdolność ostatecznej oceny programu
EWALUACJA UTYLITARYSTYCZNA
•
•
•
•
•
•
•
Michael Quinn PATTON
•
Wyraźnie ukierunkowana na zapewnienia, że interwencja ma wpływ na
rzeczywistość
Wskazywanie poszczególnym grupom odbiorców programu zastosowań
opracowanych na podstawie zgromadzonych wyników, rozwiązania
opracowywane z udziałem przedstawicieli poszczególnych grup uczestników
sytuacji społecznej
Poprzez uważną analizę zaangażowanych stron, badacz identyfikuje siatkę
perspektyw i interesów poszczególnych podmiotów programu, następnie
wybiera grupę, która reprezentuje zainteresowane strony i angażuje ją w
ustalenie dlaczego potrzebuje ona ewaluacji, w jaki sposób planuje
zastosować wyniki ewaluacji, jakich rodzajów raportu oczekuje, w jaki sposób
zamierza prowadzić program itp..; celem nie jest dostarczanie odmiennych
interpretacji i możliwych rozwiązań ale pomoc grupie w uporządkowaniu i
ukształtowaniu problemu, asysta w zmierzeniu wartości programu oraz
wytwarzanie wiedzy
Podkreślanie wagi samej ewaluacji jako procesu udoskonalania rzeczywistości
społecznej, promocji partycypacji społecznej w niej, rozwijaniu i wzmacnianiu
zdolności organizacyjnych
Kryterium oceny ewaluacji – w jakim stopniu pozwoliła rozwinąć i polepszyć
określoną sytuację społeczną
Podejście metodologiczne rozwijane nieustanie podczas współpracy
ewaluatora z uczestnikami programu
Zalety: maksymalizacja wpływów ewaluacji, ma zastosowanie w sytuacjach w
których kluczową kwestią jest zmiana, angażowanie zainteresowanych stron
pozwala lepiej zrozumieć i aplikować zmiany;
Ograniczenia: wybór jednostek uczestniczących w badaniu jest kluczowy –
zastąpienie uczestników może wymagać renegocjacji programu ewaluacji, co
spowalnia cały proces; podatność na rozłożenie przedsięwzięcia przez grupę,
zwłaszcza gdy dochodzi do konfliktów interesów w jej obrębie; konieczność
posiadania rozwiniętych zdolności negocjacyjnych oraz wiedza doświadczenie
w stosowaniu różnych metod ilościowych i jakościowych ze strony badacza
EWALUACJA KONSTRUKTYWISTYCZNA
•
•
•
•
Egon GUBA
•
•
•
Yvonne LINCOLN
Podejście z silną podstawą filozoficzną, ukierunkowane
paradygmatem, zorientowane na służbę publiczną
Badacz wnosi świadomość i wiedzę do nieuświadomionych grup
społecznych, respektuje ich wolę oraz pomaga ukształtować i
kontrolować działania ewaluacyjne w preferowany przez nich sposób
Celem badacza jest definiowanie i ukazywanie sensu różnorodnych
konstruktów, które egzystują i pojawiają się wśród zainteresowanych
stron, koncentracja na trwającej komunikacji, zbieranie, analiza i
synteza pojawiających się konstruktów; te są zależne zawsze od
kontekstu – badacz zatem ustala granice tego, co jest przedmiotem
badania
Badacz odgrywa decydującą rolę w formułowaniu pytań i zmiennych
ewaluacyjnych, nieustannie i regularnie informuje zainteresowane
strony o postępach ewaluacji, możliwych do zastosowania technikach,
uzyskiwanych wynikach badania; ewaluator porusza się w
dialektycznym procesie komunikacji, starając się osiągnąć jak
największy konsensus między uczestnikami i odmiennymi
konstrukcjami
Ewaluacja konstryktywistyczna jest nigdy nie zakończona
Zalety: możliwa do przeprowadzenia tam, gdzie zainteresowane strony
wykazują chęć kooperacji; możliwość szerokiej partycypacji społecznej
w ewaluacji, edukowanie uczestników, obniżanie oczekiwań na temat
ostatecznych rozwiązań i efektów, umożliwia dokonanie społecznej
oceny instrumentów zbierania informacji zanim zostaną one użyte
Ograniczenia: trudności w stworzeniu raportu z ostatecznymi
rozwiązaniami i rekomendacjami , utopijne założenie na temat chęci
uczestnictwa poszczególnych jednostek w procesie ewaluacji,
zależność od kontekstu
EWALUACJA DELIBERATYWNA
Ernest R. HOUSE
Kenneth R. HOWE
• Jedno z najnowszych podejść w badaniach
ewaluatywnych
• Wymaga zastosowania zasad demokratycznych w
osiąganiu rezultatów badania
• 3 wymiary: 1. demokratyczne uczestnictwo wszystkich
zainteresowanych stron, 2. dialog mający na celu
zbadanie i uautentycznienie wkładu poszczególnych
zainteresowanych stron, 3. obrady w celu obrony oceny
miary i wagi programu
• Metody: rozmowy z uczestnikami, sondaże, debaty;
dialog, udział badanych i obrady wymagane na każdym
etapie procesu badawczego
• Zalety: pozwala każdej ze stron na pełne uczestnictwo w
badaniu, zawiera punkty widzenia wszystkich
uczestników, koncentruje się na zagadnieniach
faktycznie interesujących ludzi i skłania ich do
uwzględniania wyników badania, specyficzne dla
metody: badacz uwzględnia punkty widzenia
uczestników ale poddaje je ocenie i może wykluczać te,
które uzna za błędne lub nieautentyczne
• Ograniczenia: bardzo trudno wcielić taki program w
życie, nierealistyczny w wielu sytuacjach społecznych
• Podejścia podkreślają potrzebę pełnej oceny zalet
i wartości programu/interwencji
• Z założenia badania bardzo obszerne i
kompleksowe, biorące pod uwagę szeroki
wachlarz pytań i kryteriów oceny wartości
programu, zwłaszcza kryteriów technicznych i
ekonomicznych oceniających plany i operacje
programu
• Poszukiwanie odpowiednich i trafnych wyników, a
nie tylko kluczowych dla danego programu
• Zazwyczaj reprezentują podejście
obiektywistyczne, stosują wielorakie metody
ilościowe i jakościowe kontrolujące uzyskane
wyniki
Filozoficzna podstawa: orientacja obiektywistyczna, poszukiwanie
najlepszych odpowiedzi na pytania zawężone do badanego kontekstu oraz
realizacja podstaw dobrze funkcjonującego społeczeństwa
demokratycznego (zwłaszcza praw człowieka, sprawiedliwości,
doskonałości, ochrony i odpowiedzialności)
Podejście wymaga angażowania zainteresowanych stron na wszystkich
poziomach organizacyjnych, zaspokajania ich najistotniejszych pytań,
dostarczania aktualnych i istotnych informacji pozwalających podjąć
ostateczne decyzje oraz tworzenie wiarygodnych dokumentacji
Zainteresowane strony: beneficjenci, rodzice/opiekunowie, dostarczyciele
usług, administratorzy, konsultanci programu, personel pomocniczy,
autorytety, płatnicy podatków itp.);
sytuacje decyzyjne: zdefiniowanie celów i priorytetów, wybór spośród
konkurencyjnych usług, planów budżetowych, serwisów, prowadzenie
partycypacji, procesu oceny;
rodzaje poszukiwaneych informacji: oszacowanie potrzeb, problemów i
szans, identyfikacja i oszacowanie konkurencyjnych programów lub
podejść badawczych, oszacowanie planów programów, oszacowanie
kwalifikacji i działań personelu, oszacowanie zasobów, udogodnień i
materiałów, monitorowanie i ocena programu, ocena zamierzonych i
niezamierzonych skutków oraz efektów o krótkim i długim zasięgu,
oszacowanie efektywności ekonomicznej (analiza kosztów)
Najważniejszym zadaniem ewaluacji jest udoskonalanie/poprawa, a nie
dostarczanie dowodów (not to prove but to improve)
Wielość metod, m. in.: sondaże, studia przypadków, wywiady, obserwacje,
ocena potrzeb, badania eksperymentalne i quasi-eksperymentalne; stała
współpraca z przedstawicielami zainteresowanych stron
Zalety: podejmowanie decyzji na każdym poziomie , koncentracja na
poprawie rzeczywistości, angażowanie uczestników programu, dostarcza
racjonalnych informacji jako narzędzi podejmowania decyzji, ufundowana
na demokratycznych podstawach wolnego społeczeństwa
Ograniczenia: możliwość utraty obiektywizmu ze strony badacza,
możliwość zbytniego zbliżenia się badacza i zainteresowanych stron
prowadząca do stronniczości wyników
BADANIA
SKONCENTROWANE
NA DECYZJI/
ODPOWIEDZIALNOŚCI
Lee Joseph CRONBACH
Marvin ALKIN
William WEBSTER
EWALUACJA SKONCENTROWANA NA KONSUMENTACH
•
•
•
•
•
Michael SCRIVEN
•
•
•
•
Podejście obiektywistyczne; oparte na przekonaniu, że jest możliwym, odnalezienie
najlepszego rozwiązania/odpowiedzi
Dobro konsumenta racją bytu programu ewaluacyjnego
Ewaluator występuje w roli „oświeconego przedstawiciela konsumenta”: odnosząc się
do etyki i pojęcia dobra wspólnego, wykorzystuje on swoje umiejętności, by pomóc
autorom programu stworzyć i dostarczyć produktu i usługi najlepszej jakości i
użyteczne dla szerokiej rzeszy konsumentów; pomaga także konsumentom
zidentyfikować i wycenić zalety i wartość konkurencyjnych programów, usług i
produktów,
Program zakłada zbadanie wielu różnorodnych kwestii: analiza opisu programu, tło,
historię i kontekst programu, analiza klientów, konsumentów, funkcji, systemu dostaw,
statystycznej doniosłości, ocena potrzeb, ocena praktycznej użyteczności,
rekomendacje, raporty; następnie metaewaluacja ;
zasadnicze pytanie ewaluacji: Który z alternatywnych programów jest najlepszym
wyborem, biorąc pod uwagę koszty, potrzeby różnych grup konsumentów, wartości
społeczne, ocenę zarówno pozytywnych jak i negatywnych jego efektów
Metody: analiza potrzeb, analiza pytań z list kontrolnych (Key Evaluation Checklist)
eksperymentalne i quasi-eksperymentalne ewaluacje, analiza kosztów itp.
Ewaluacja tego typu wymaga wysoce wiarygodnego i kompetentnego eksperta oraz
wystarczających źródeł by mógł dokonać analizy różnorodnych informacji, badacz musi
mieć dostęp do wielu danych, bez tego ma on duże trudności z dokonaniem właściwej
ewaluacji
Zalety: solidne i niezależne studium , którego celem jest ochrona konsumentów przed
tandetnymi projektami, usługami, produktami oraz wskazywanie rozwiązań
realizujących potrzeby konsumentów w sposób najbardziej efektywny ekonomicznie
Ograniczenia: czasem ewaluacja całkowicie pomija udział twórców projektu, wówczas ,
ewaluator nie pomaga im w opracowaniu programu najlepiej służącego konsumentom
BADANIA AKREDYTACYJNE
•
•
•
•
•
College Entrance
Examination
Board 1901
Wiele instytucji edukacyjnych, szpitali i innych organizacji
użyteczności publicznej są okresowo poddawane badaniom
akredytacyjnym, wielu profesjonalistów również podlega
cyklicznym badaniom swych umiejętności i kwalifikacji na
odpowiednia pozycję
Organizacje, programy instytucjonalne i personel są badane
po to, by potwierdzić posiadane kwalifikacje i uprawnienia by
spełniać określone funkcje społeczne (Czy
instytucje/programy/personel spełniają standardy w stopniu
przynajmniej minimalnym i jakie obszary/kwestie wymagają
udoskonalenia)
Metody: autoanaliza, autoreferaty itp. Sporządzone przez
instytucję i jej personel; panel ekspertów wizytuje instytucję,
weryfikuje autoraporty, przegląda dodatkową dokumentację
Zalety: pozwala laikom dokonać oceny jakości organizacji i jej
programów oraz kwalifikacji personelu
Ograniczenia: najczęściej tego typu badania akcentują
nakłady i proces, natomiast w mniejszym stopniu koncentrują
się na wynikach/rezultatach; przyjęta procedura badania nie
jest wolna od ryzyka korupcji i niewłaściwych działań
http://www.pka.edu.pl/index.php?page=misja
•
MODEL CIPP:
CONTEXT, INPUT, •
•
PROCESS, PRODUCT
Daniel STUFFLEBEAM
Zadaniem ewaluatora jest dostarczenie informacji osobom
zarządzającym programem, by pomóc im w procesie
podejmowania decyzji; służenie menagerom
Model rozwinięty w latach 70.; popularny w edukacji
Ewaluacja polega na zadawaniu serii pytań dotyczących 4
komponentów:
KONTEKST: opis i analiza kontekstu programu, ocena
potrzeb i celów oraz tego, czy proponowane rozwiązania są
odpowiednio dobrane do potrzeb; pomaga w podjęciu
decyzji dotyczących planowania
WKŁAD: opis nakładów, zasobów i źródeł programu,
porównanie jak program może działać w porównaniu z
innymi programami, analiza spodziewanych korzyści i
kosztów, analiza planowanego kształtu programu, analiza
alternatywnych strategii i procedur; pomaga w podjęciu
decyzji związanych ze strukturą programu
PROCES: analiza jak program jest wdrażany (zgodnie z
planem, zgodnie z prawem i etyką itp.) analiza zaburzeń i
defektów oraz możliwych sposobów ich naprawy; pomaga
podjąć decyzje dotyczące realizacji projektu
PRODUKT: analiza ogólnych i specyficznych
efektów/skutków programu, mierzenie spodziewanych i
niespodziewanych wyników, wycena zasług programu,
wycena efektywności kosztowej; efektywna przy tworzeniu
ewaluacji podsumowującej (jakie są wyniki i waga
programu, czy program powinien być kontynuowany?)