metody ewaluacji projektów i programów

METODY EWALUACJI PROJEKTÓW I PROGRAMÓW
Dwiczenia laboratoryjne
Rok akademicki 2012/2013, semestr letni
PROWADZĄCY
mgr Emilia Modranka, Katedra Ekonometrii Przestrzennej UŁ
[email protected]
www.em.kep.prv.pl
KONSULTACJE
Poniedziałek:
12.00-13.00
Wtorek:
16.40-17.40
Pokój F022,
Wydział Ekonomiczno-Socjologiczny UŁ
ZASADY ZALICZENIA PRZEDMIOTU
Kolokwium zaliczeniowe;
LITERATURA PODSTAWOWA
Podręcznik ewaluacji: http://www.funduszestrukturalne.gov.pl/NR/rdonlyres/1E4270CA-330B-43AF93EE-C1923381510D/49897/podrecznik_infrastruktura.pdf
Dokumenty na stronie: www.ewaluacja.gov.pl.
Kierzkowski T, Ocena (ewaluacja) programów i projektów o charakterze społeczno-gospodarczym w
kontekście przystąpienia Polski do Unii Europejskiej, Warszawa 2002, Polska Agencja Rozwoju
Regionalnego.
LITERATURA UZUPEŁNIAJĄCA
Babbie E., Badania społeczne w praktyce, Warszawa 2008, PWN
Dokumenty ewaluacyjne dostępne na www.mrr.gov.pl.
Ekiert K, Ewaluacja w administracji publicznej. Funkcje, standardy i warunki stosowania, Rządowe
Centrum Studiów Strategicznych, Warszawa 2004.
Haber A. (red.), Ewaluacja ex-post. Teoria i praktyka badawcza, Warszawa 2007, Polska Agencja
Rozwoju Przedsiębiorczości
Mazur S. (red.), Ewaluacja funduszy strukturalnych – perspektywa regionalna, Kraków 2007,
Małopolska Szkoła Administracji Publicznej
TREŚCI PROGRAMOWE
Definicje, cele i znaczenie ewaluacji, 2 godz.
Rodzaje ewaluacji (wg kryterium celu, czasu, zasięgu itp.), 2 godz.
Narodowe Strategiczne Ramy Odniesienia (NSRO) 2007-2013 jako dokument określający kierunki
wsparcia ze środków finansowych UE oraz definiujący wskaźniki pomiaru stopnia osiągania celów
NSRO; Pojęcie konwergencji; 2 godz.
Metody i techniki prowadzenia ocen ewaluacji programów i projektów; 4 godz.
Etapy procesu, obszar i zakres ewaluacji, plan ewaluacji na przykładzie projektu infrastrukturalnego.
Plan ewaluacji POIiŚ 2007-2013; 2 godz.
Baza i raporty z badao ewaluacyjnych na przykładzie strategicznej oceny wpływu realizacji
Regionalnego Programu Operacyjnego dla Województwa Łódzkiego na środowisko naturalne; 2 godz.
Zajęcia 1.
Materiały pomocnicze do dwiczeo
METODY EWALUACJI PROJEKTÓW I PROGRAMÓW
mgr Emilia Modranka
[email protected]
Strona 1 z 5
ZAJĘCIA 1.
EWALUACJA – podstawowe zagadnienia
Podstawą zarządzania projektami rozwoju regionalnego jest zasada dokonywania ich oceny na
wszystkich etapach procedury planistycznej. Swoim zasięgiem ocena, ta obejmuje zarówno plany rozwoju,
plany operacyjne, jak i subwencje ogólne. Zasadę tę uznaje się, jako dopełnienie zasady programowania, której
zadaniem jest wyjaśnienie strategii rozwoju, natomiast ewaluacja ma wskazad na efekty podjętych działao,
wynikających ze strategii1. Koniecznośd prowadzenia oceny stanowi jedną z najważniejszych zmian
wprowadzonych do polityki regionalnej na mocy reformy funduszy strukturalnych z 1988 r. Od 1989 r. zasada
ewaluacji stała się działaniem obligatoryjnym.
Definicja ewaluacji


W znaczeniu semantycznym ewaluacja oznacza oszacowanie wartości.
Ewaluacja, zgodnie z definicją przedstawioną przez Mathisona2 jest
procesem polegającym na użyciu metod badań społeczno-ekonomicznych do systematycznego gromadzenia
danych, analizy, interpretacji, oceny i informowania o skuteczności programów publicznych.
Ewaluacja a ocena kontrola i audyt
Zasadniczą kwestię stanowi odróżnienie ewaluacji od innych badao dotyczących sektora publicznego tj.
kontroli, audytu, analizy. Ewaluacja zawiera składnik empiryczny, który bada założenia prowadzonego
programu i jego efekty oraz oddziaływanie normatywne, mające na celu ocenę struktury działao, ich logikę oraz
wartośd. Zasadniczym elementem ewaluacji jest proces uczenia się w toku prowadzonych negocjacji oraz
zachodzących interakcji. Zgodnie z treścią dokumentów Unii Europejskiej, pojęcie ewaluacji określane jest jako
ocena interwencji według jej rezultatów, oddziaływania oraz potrzeb, które ma spełniad 3.
Funkcje ewaluacji
W literaturze przedmiotu autorzy tacy jak Chelimsky (1997), czy Blachtler (2000) przedstawiają różne
funkcje ewaluacji określanych, jako cele ewaluacji. Do głównych funkcji należy m.in.
 poprawianie jakości planowania, co ma prowadzid do wydajnej i racjonalnej alokacji zasobów, poprawy
wdrażania programów poprzez podnoszenie jakości struktur zarządzania programem oraz implementacją
działao, wzmocnienie odpowiedzialności instytucji zarządzających,
 poszerzanie wiedzy i wspieranie procesów uczenia się polegające na wyjaśnianiu czynników i procesów
warunkujących powodzenie programów, weryfikowaniu teorii będących podstawą polityk, promowanie
dobrych wzorców, wzmacnianie instytucji.
 minimalizowanie negatywnych skutków zarządzania opartego na wynikach (ang. performance
management). Do dysfunkcji zarządzania opartego na wynikach należy przywiązywanie większej wagi do
pomiaru sukcesu niż rzeczywistych efektów (ang. measure fixation). System wskaźników i pomiarów może
zniechęcad do wprowadzania innowacji (ang. ossification). Koncentrowanie uwagi na kwantyfikowalnych
efektach, może przyczynid się do ignorowania jakościowych efektów programów (ang. tunel vision).
1
Por. Irena Pietrzyk, Polityka regionalna…, op. cit., s. 190.
Por. Karol Olejniczak, Teoria i praktyka ewaluacji w świetle doświadczeo europejskich, Studia Regionalne i
Lokalne, 2005 nr 4 (22), s. 35.
3
Ibidem, s. 36.
2
Zajęcia 1.
Materiały pomocnicze do dwiczeo
METODY EWALUACJI PROJETÓW I PROGRAMÓW
mgr Emilia Modranka
[email protected]
Strona 2 z 5
Przeciwdziałanie stosowaniu tej praktyki, w myśl zasad ewaluacji, polega głównie na użyciu narzędzi analizy
społeczno-ekonomicznej tj, wywiadów, ankiet lub obserwacji uczestniczących w programie. Do innych
efektów ubocznych zarządzania opartego na wynikach należy skupianie uwagi na wąskich celach
krótkookresowych, kosztem celów strategicznych całego programu czy polityki (ang. suboptimization and
myopia), niewłaściwe interpretowanie danych kontekstowych, co skutkuje budowaniem błędnych założeo
programu i ocen (ang. misinterpretation), manipulowanie danymi, tak aby wykazad znacznie korzystniejsze
efekty programu (ang. misrepresentation).
 eliminowanie przedstawionych dysfunkcji poprzez weryfikowanie w jakim stopniu realizacja określonego
projektu przyczyniła się do wykonania zadao wynikających ze strategii, użycie kilku rodzajów narzędzi
badawczych do oceny jednej kwestii (tzw. triangulacja), kontrolowanie efektów na podstawie różnych
źródeł danych4
Przedmiot ewaluacji
Przedmiot ewaluacji może stanowid projekt, program, polityka, określona kwestia (tematyka) lub
metaewaluacja.
PROJEKT
W przypadku ewaluacji projektu badanie koncentruje się na skutkach realizacji określonej inwestycji,
jest elementem składowym oceny całości programu, wykonywane są dla działao pilotażowych w celu
uruchomienia większych inwestycji.
PROGRAM
Najczęściej spotykana forma ewaluacji bada oddziaływanie programów i dotyczy zarówno
pojedynczych programów sektora publicznego jak i całych projektów inwestycyjnych składających się na
działania i priorytety.
POLITYKA
Ewaluacja polityki w literaturze nazywana jest też analizą polityk (ang. policy analysis). Składa się z
szeregu długoletnich badao i analiz dokonywanych w administracjach paostw członkowskich, rzadziej na
poziomie Unii Europejskiej (np. polityka spójności).
TEMAT
Ewaluacja tematyczna (ang thematic/horizontal evaluation), inaczej przekrojowa, prowadzona jest z
uwzględnieniem kilkunastu programów lub projektów, celem jej jest ocena problemu zarządzania lub kwestii
interwencji (np. zasady partnerstwa w korzystaniu z funduszy strukturalnych w ramach kilku celów polityki
regionalnej Unii Europejskiej).
METAEWALUACJA
Analizę porównawczą podsumowującą obserwacje, wnioski i rekomendacje kilku ewaluacji z wielu
podobnych programów jest metaewaluacja (ang. meta-evaluation). Jej przedmiotem jest również badanie
podejśd i technik, a więc jakości dokonanych ewaluacji.
Cel ewaluacji
Ze względu na cel ewaluacji wyróżnia się ewaluację formatywną i podsumowującą.
EWALUACJA FORMATYWNA
4
Zajęcia 1.
Ibidem, s. 38.
Materiały pomocnicze do dwiczeo
METODY EWALUACJI PROJETÓW I PROGRAMÓW
mgr Emilia Modranka
[email protected]
Strona 3 z 5
Zadaniem ewaluacji formatywnej jest ocena formy i procesu wdrażania określonej inwestycji przed jej
rozpoczęciem lub w czasie jej trwania. Skupia się na doradzeniu zarządzającym programem sposobu poprawy
płynności wdrażanego programu, co ma prowadzid do podniesienia jego ostatecznej jakości.
EWALUACJA PODSUMOWUJĄCA
Ewaluacja podsumowująca ma dokonad całościowej oceny danej inwestycji, najczęściej po jej
zakooczeniu, ma charakter opisowy i wyjaśniający5.
Czas prowadzenia ewaluacji
Zgodnie z podziałem uwzględniającym moment prowadzenia ewaluacji 6 wyodrębnia się ewaluacje
wstępną (ang. ex-ante evaluation), ewaluację śródokresową (ang. mid-term evaluation), ewaluację ciągłą
(bieżącą) (ang. on-going evaluation) oraz ewaluację koocową (ang. ex-post evaluation).
EWALUCJA EX-ANTE
Ewaluacja wstępna należy do obowiązku władz odpowiedzialnych za przygotowanie planów i
dokumentów uzupełniających planowanie w krajach członkowskich.
Prowadzona przed rozpoczęciem interwencji uwzględnia sytuację społeczno-ekonomiczna paostwa,
regionu lub sektora, ocenia spójnośd przyjętej strategii i jej celów ze specyfiką gospodarczą i demograficzną
regionu, zjawiska zachodzące na rynku pracy wraz ze zapisami strategii odnoszącymi się do rozwoju zasobów
ludzkich wraz z oczekiwanymi efektami, stan środowiska naturalnego w regionie, ocenę wpływu programów na
sytuację w dziedzinie równości kobiet i mężczyzn na rynku pracy oraz w zakresie warunków zatrudnienia7.
Zadaniem ewaluacji jest postawienie diagnozy, czy oczekiwane oddziaływanie wynikające z założeo
postawionych w strategii jest realne. Ponadto, ewaluacja ex ante szacuje rezultaty podejmowanych działao,
ustala kwantyfikowalne cele, co stwarza podstawy prowadzonego monitoringu oraz dalszej ewaluacji.
EWALUACJA MID- TERM
Ocena w połowie okresu realizacji projektu przeprowadzana jest na zasadzie współpracy jednostki
zarządzającej programem i Komisji Europejskiej.
Dokonywana jest przez niezależnych ewaluatorów i przekazywana w pierwszej kolejności komitetowi
monitorującemu program, a następnie Komisji Europejskiej.
Ewaluacja koncentruje się na ocenie dotychczasowego sposobu realizacji interwencji, weryfikuje jej
kierunki oraz aktualnośd założeo, wskazuje na pierwsze efekty interwencji, rekomenduje wprowadzenie korekt
w procesie zarządzania implementacją projektu.
EWALUACJA ON-GOING
Ewaluacja ciągła (bieżąca) wykonywana jest w trakcie realizacji programu, może mied charakter
badania punktowego, lub składad się z szeregu badao. Zapewnia wsparcie dla zarządzania programem. Ma na
celu przeprowadzenie analizy kwestii problemowych, z jednoczesnym wskazaniem konkretnych rozwiązao.
Prowadzi do wzmocnienia relacji między operatorami programu, sprzyjając akumulacji doświadczeo.
EWALUACJA EX-POST
Ewaluacja ex post jest wykonywana najczęściej dwa lata po zakooczeniu interwencji.
Odpowiedzialnośd za ocenę ex post spoczywa na Komisji Europejskiej przy współpracy z paostwem
5
Ibidem, s. 40.
Zgodnie z wytycznymi przyjętymi przez Ministerstwo Rozwoju Regionalnego wyróżnia się trzy rodzaje ewaluacji,
według kryterium czasu przeprowadzanych analiz w relacji do etapu wdrażanego projektu: ewaluację ex ante, ewaluację
bieżącą oraz ewaluację ex post. (Por. http://www.ewaluacja.gov.pl/ ewaluacja_wstep/Strony/Definicja.aspx, stan na dzieo
30.01.2010 r.)
7
Por. Irena Pietrzyk, Polityka regionalna…, op. cit., s. 192.
6
Zajęcia 1.
Materiały pomocnicze do dwiczeo
METODY EWALUACJI PROJETÓW I PROGRAMÓW
mgr Emilia Modranka
[email protected]
Strona 4 z 5
członkowskim i podmiotem zarządzającym programem. Dokonywana jest przez niezależnych ekspertów, co
świadczy o zewnętrznej formie oceny. Istotą tego rodzaju ewaluacji jest porównywanie celów z osiągniętymi
wynikami, oparte na danych statystycznych (regionalnych oraz krajowych), dotyczących wskaźników
makroekonomicznych i sektorowych, również na danych uzyskanych z analiz opisowych oraz na analizach typu
jakościowego. Głównym zadaniem oceny ex post jest przedstawienie wykorzystania środków i uzyskanych
dzięki nim efektów oraz wykazanie poziomu skuteczności, efektywności i spójności podjętych działao z oceną ex
ante.
Administracyjna organizacja badania ewaluacyjnego
Dokonując podziału metodologii prowadzenia ewaluacji ze względu na administracyjną organizację
badania wyróżnia się ewaluację wewnętrzną oraz zewnętrzną.
EWALUACJA WEWNĘTRZNA
Ewaluacja wewnętrzna prowadzona jest przez podmiot odpowiedzialny za wdrażanie określonej
interwencji, najczęściej przez departament lub komórkę organizacyjną działająca w ministerstwie kierującym
danym programem.
EWALUACJA ZEWNĘTRZNA
Ewaluacja zewnętrzna zlecana jest innym instytucjom, poza podmiot prowadzący projekt czy program,
złożonym z niezależnych ekspertów wyłonionych w ramach postępowania przetargowego (np. instytuty
naukowe, firmy konsultingowe).
Podsumowując, ocena prowadzonych projektów pozwala na ciągłe doskonalenie polityki wsparcia.
Ponadto przyczynia się do upowszechniania w paostwach członkowskich praktyk wzorcowych (ang. best
practices) i kultury ewaluacyjnej, prowadzi do stałego ulepszana technik oraz systemu kryteriów i wskaźników
ewaluacji. Konsekwentne stosowanie ewaluacji przynosi w dłuższym okresie znaczący wzrost efektywności
prowadzonych działao, co w ostateczności służy doskonaleniu polityki regionalnej. Unia Europejska stopniowo
rozwija praktykę ewaluacji. Jej przedmiotem jest dokonywanie stałych ocen efektów polityki spójności. Należy
wspomnied, że w ramach programu MEANS (fr. Méthodes d’Evaluation des Actions de Nature Structurelle, ang.
Evaluation Methods for Actions of Structural Nature) uruchomionego przez Dyrekcję ds. Polityki Regionalnej
(DG-Regio) w 1994 r. prowadzono działania zmierzające do koordynacji, wymiany doświadczeo, opracowaniu
spójnych standardów dla praktyk ewaluacji programów strukturalnych w paostwach członkowskich 8.
8
Por. Karol Olejniczak, Mechanizmy wykorzystania ewaluacji. Studium ewaluacji średniookresowych INTERREG III,
Wydawnictwo Naukowe „Scholar”, Warszawa 2008 r., s. 85.
Zajęcia 1.
Materiały pomocnicze do dwiczeo
METODY EWALUACJI PROJETÓW I PROGRAMÓW
mgr Emilia Modranka
[email protected]
Strona 5 z 5