System ewaluacji 2014-2020 oraz Plany Ewaluacji 2014-2020

Transkrypt

System ewaluacji 20142014-2020
omówienie postępu prac w zakresie realizacji ewaluacji ex-ante Umowy Partnerstwa
oraz programów operacyjnych
Tomasz Kot
Krajowa Jednostka Ewaluacji
Lublin, 10.10.2013r.
Ministerstwo Rozwoju Regionalnego - 21 października
2013
1
Obecny stan prac nad ewaluacją ex ante Umowy Partnerstwa
Zakończono I etap ewaluacji UP (prace nad tworzeniem raportu) – 2.08.
2013
• Badanie jest realizowane w trybie ewaluacji uczestniczącej
• Przeprowadzono dwie tury warsztatów poświęcone każdemu z 11
celów tematycznych
• Przeprowadzono warsztaty dotyczące systemów wdrażania,
monitorowania i ewaluacji
• Na podstawie wypracowanych w ramach warsztatów materiałów
wykonawca zrekonstruował logikę Umowy Partnerstwa i stworzył
pierwszą wersję raportu końcowego
Uruchomienie II etapu – konsultacje i ekspertyzy
• Obecnie trwa weryfikacja drugiej wersji raportu końcowego,
dostarczonej przez Wykonawcę
• Trwa uzupełnianie raportu o dodatkowe analizy oraz modelowanie
wartości wskaźników
Stan prac nad ewaluacją ex-ante UP
Instytucja
Stan prac
Ewaluacja ex ante
Urząd Marszałkowski
województwa świętokrzyskiego
Umowa zawarta
sierpnia 2014.
na
początku
województwa dolnośląskiego
Umowa podpisana w dn. 16.09.
województwa warmińskomazurskiego
Przetarg w przygotowaniu, start na
początku listopada
województwa kujawskopomorskiego
Umowa podpisana. Wersja końcowa
raportu – 25.11.
województwa wielkopolskiego
Umowa zawarta, trwają prace nad
ewaluacją programu.
15 listopada – odebranie I wersji
województwa
zachodniopomorskiego
Umowa zawarta 30.09.,
województwa lubelskiego
województwa lubuskiego
Otwarcie ofert 7.10
IZ PO IiŚ BIS
Umowa została podpisana 12.06,
odbiór projektu RK do końca X
województwa łódzkiego
Podpisana umowa z wykonawcą w dn
2.08.br
IZ PO WER
Raport gotowy
województwa małopolskiego
Umowa podpisana, przewidywany
termin odbioru – 10 grudzień 2013
IZ PO RPW
województwa mazowieckiego
Umowa podpisana,
grudzień 2013
Umowa podpisana, wykonawca w
trakcie prac, termin do końca roku
IZ PO IR
województwa opolskiego
Umowa podpisana, przewidywany
termin odbioru raportu końcowego –
31.10.2013
Umowa podpisana, przewidywane
zakończenie prac – grudzień 2013
IZ PO PC
Umowa podpisana, Termin odbioru
raportu końcowego – 5 listopada
województwa podkarpackiego
Umowa
została
podpisana,
przewidywany termin odbioru 6.12.
2013
IZ PO pomocy technicznej
Raport gotowy
IZ programów EWT
województwa podlaskiego
Wybrany wykonawca, podpisanie
umowy w przeciągu tygodnia
województwa pomorskiego
Odbiór
raportu
10.1.2014
Polska-Słowacja, wykonawca już
pracuje, koniec: czerwiec 2014
Polska-Saksonia,
wykonawca
pracuje, koniec: 2014
województwa śląskiego
Raport gotowy (odbiór 7.X)
2013
-
odbiór
końcowego
–
–
Południowy
Bałtyk,
jedno
postępowanie na SEA i Exante.
Podpisanie umowy I poł X.
3
Stan prac nad oceną oddziaływania na środowisko
Instytucja
Stan prac
SOOŚ
województwa dolnośląskiego
Prace trwają, umowa podpisana
17.09
województwa kujawskopomorskiego
Prace trwają, pierwsze wersje
raportu w listopadzie
województwa lubelskiego
Prace trwają, odbiór w XII
województwa lubuskiego
Otwarcie ofert 7.10
województwa łódzkiego
Procedura w
wykonawcy
trakcie
wyboru
województwa świętokrzyskiego
Przetarg w przygotowaniu
województwa warmińskomazurskiego
województwa wielkopolskiego
W trakcie,
wersję
województwa
zachodniopomorskiego
Powtórny przetarg w przygotowaniu
IZ PO IiŚ BIS
Prace
trwają,
finalna
prognozy – koniec XI 2013
IZ PO WER
Program
GDOŚ
IZ PO RPW
Prace trwają, umowa podpisana 6.08
odebrano
został
pierwszą
zwolniony
wersja
przez
województwa małopolskiego
Prace trwają, koncowy projekt
prognozy 28 X
IZ PO IR
przewidywane zakończenie prac
grudzień 2013
województwa mazowieckiego
Prace trwają, termin odbioru XIXII
IZ PO PC
Prace trwają, przewidywany termin
27.12.
województwa opolskiego
Prace trwają, odbiór pierwszej
wersji w listopadzie
IZ PO PT
Program
GDOŚ
województwa podkarpackiego
Prace trwają
IZ programów EWT
PL-SK,
województwa podlaskiego
województwa pomorskiego
Prace trwają, odbiór w II poł.
lutego
województwa śląskiego
11
października
ostateczna
wersja prognozy
2013
został
zwolniony
-
przez
podpisanie umowy I poł
października
PL-SN jak ex ante (jeden przetarg)
PB, trwają procedury, podpisanie
umowy II poł października
4
ogólne zasady wynikające z zapisów rozporządzeń i doświadczeń obecnej perspektywy
Tomasz Kot
Lublin, 10.10.2013r.
2013
5
Ogólne zasady systemu ewaluacji PS 2014-20 – podstawy prawne
Zasady systemu ewaluacji polityki spójności 2014-20 determinowane są przez
doświadczenia wdrażania obecnej perspektywy finansowej oraz następujące
dokumenty (obecnie dostępne projekty):
• rozporządzenie ogólne - CPR (głównie art. 47-50, 104) i dot. poszczególnych
funduszy,
• wytyczne KE (Guidance document on Monitoring and Evaluation),
• Umowa Partnerstwa,
• wytyczne Ministra Rozwoju Regionalnego w zakresie ewaluacji działań
realizowanych w ramach perspektywy 2014-20,
• znowelizowana
(pośrednio).
Ustawa
o
zasadach
prowadzenia
polityki
rozwoju
Dodatkowo proces przyjmowania wytycznych regulowany jest wewnętrznymi
zarządzeniami MRR w przedmiotowej kwestii
2013
6
Najważniejsze ogólne zasady systemu ewaluacji w okresie
2014-2020
– zwiększenie znaczenia ewaluacji w procesie programowania i wdrażania
programów operacyjnych
– obowiązek realizacji ewaluacji ex-ante oraz ewaluacji bieżących (w tym:
obowiązek przeprowadzenia przynajmniej jednej ewaluacji w okresie
programowania dla każdego priorytetu!)
– obowiązek planowania procesu
rygorystyczne plany ewaluacji)
ewaluacji
(bardzo
szczegółowe
i
– zwiększenie rygorów metodologicznych
– konieczność zapewnienia odpowiedniego poziomu niezależności procesu
ewaluacji
– zwiększona rola Komitetów Monitorujących w procesie ewaluacji
– konieczność uwzględnienia w procesie ewaluacji celów strategii Europa 2020
– konieczność zapewnienia transparentności procesu ewaluacji (publikacja
wyników badań + przekazanie każdego badania oprócz KJE, również do KE!)
2013
7
Ewaluacja bieżąca, ewaluacja ex-post w okresie programowania
2014-20 – szczegółowe obowiązki
Zgodnie z art. 49 CPR Instytucje Zarządzające zobowiązane są do realizacji
badań ewaluacyjnych w trakcie wdrażania programu operacyjnego (w okresie
2007-2013 obowiązek ten nie był wyrażony wprost – obowiązek dotyczył
Państwa Członkowskiego)
Ewaluacje bieżące realizowane na podstawie planu ewaluacji (nie oznacza to
braku możliwości realizacji badań ad hoc poza planem)
Ewaluacja ex-post realizowana przez Komisję Europejską we współpracy z
Państwem Członkowskim i Instytucjami Zarządzającymi lub przez Państwo
Członkowskie w ścisłej współpracy z KE do 31 grudnia 2024 r.
Do 31 grudnia 2025 r. KE przygotowuje raport syntetyczny z procesu ewaluacji
ex-post
2013
8
Zwiększenie znaczenia ewaluacji w procesie programowania i
wdrażania programów operacyjnych – szczegółowe obowiązki
Proces ewaluacji programów operacyjnych będzie monitorowany przez KE – wszystkie
ewaluacje przekazywane do KE (nowa zasada w stosunku do okresu 2007-2013) tym
samym będzie kładziony większy nacisk na wykorzystywanie wyników ewaluacji w
procesie raportowania z postępów we wdrażaniu programów operacyjnych
Zgodnie z art. 44 Instytucja Zarządzająca zobowiązana jest do corocznego raportowania
najważniejszych wyników ewaluacji oraz postępów z realizacji planu ewaluacji w tym
wdrożonych rekomendacji:
pkt. 4 raportu rocznego „Synthesis of the evaluations (Article 44(2) CPR).
Synthesis of the findings of all evaluations of the programme that have become
available during the previous financial year.” (od 2016 do 2023 r.)
pkt. 12.1 raportu rocznego „Progress in implementation of the evaluation plan
and the follow-up given to the findings of evaluations” (w ramach raportu
końcowego oraz raportów za rok 2017, 2019)
Ponadto wyniki ewaluacji będą także zasilać raporty z postępu wdrażania Umowy
Partnerstwa w 2017 i 2019 r. i raportu końcowego z Umowy Partnerstwa (Art. 46 CPR).
2013
9
Zwiększenie znaczenia ewaluacji w procesie programowania i
wdrażania programów operacyjnych – szczegółowe obowiązki
Dodatkowo zgodnie z art. 104 CPR do końca 2022 r. w ramach każdego z
programów musi zostać przygotowany raport ewaluacyjny stanowiący
syntezę/podsumowanie wyników wszystkich zrealizowanych ewaluacji
zawierający osiągnięte rezultaty programu wraz z komentarzem (nowy
obowiązek w stosunku do okresu 2007-2013)
2013
10
Zasada ogólna - niezależność procesu ewaluacji
Ewaluacje powinny być realizowane przez zewnętrznych lub wewnętrznych ekspertów
funkcjonalnie niezależnych do instytucji odpowiedzialnej za wdrażania programu
operacyjnego (art. 47 CPR)
Nowa i bardziej rygorystyczna zasada w stosunku do okresu 2007-2013 – wcześniej
niezależność
wymagana
jedynie
od
instytucji
audytowej
i certyfikującej
2013
11
Zwiększona rola partnerów i Komitetu Monitorującego w
procesie ewaluacji
Obowiązek włączenia partnerów w proces ewaluacji – realizacja zasady
partnerstwa monitorowana w ramach raportu rocznego (art. 101 CPR)
Projekt Europejskiego Kodeksu Postępowania ws. Partnerstwa - konieczność
stosowania mechanizmów zapobiegających konfliktowi interesów w kontekście
udziału partnerów w procesie ewaluacji
Zwiększona rola Komitetów Monitorujących:
akceptuje Plany ewaluacji i ich zmiany
analizuje postęp w realizacji planów i wyniki badań ewaluacyjnych
monitoruje realizację zasady partnerstwa w procesie ewaluacji
2013
12
Zasada horyzontalna - ukierunkowanie ewaluacji 2014-20 na cele strategii
Europa 2020
Konieczność uwzględnienia w procesie ewaluacji celów strategii europejskiej
Europa 2020 (bezpośrednie odniesienie do strategii na poziomie europejskim
jako nowa zasada w stosunku do okresu 2007-2013)
de facto każde badania ewaluacyjne w ramach polityki spójności dotyczyć
będzie obszarów objętych zakresem EU 2020
Zachowana powinna zostać hierarchia zgodna z zapisami projektu
rozporządzenia
tj.
celem
nadrzędnym
ewaluacji
jest
poprawa
jakości/skuteczności/efektywności programu z uwzględnieniem celów EU2020
Rozwiązanie techniczne: w ramach poszczególnych badań ewaluacyjnych
strategia EU2020 stanowić będzie tło dla założeń badawczych, procesu
badawczego i wyników badania.
Dodatkowo realizacja metaewaluacji zewnętrznych lub wewnętrznych
polegających na syntetyzowaniu wyników badań ewaluacyjnych i prezentowaniu
ich w układzie zgodnym ze strukturą/logiką strategii UE2020 (w szczególności na
użytek relacji zewnętrznych w tym m.in. z KE)
2013
13
kwestie instytucjonalne i organizacyjne
Tomasz Kot
Lublin, 10.10.2013r.
2013
14
Wytyczne dla systemu ewaluacji 2014-20
Wytyczne w zakresie instytucjonalno-organizacyjnym będą uwzględniały:
• wskazane w pierwszej części zapisy wynikające bezpośrednio z regulacji (np.
dot. niezależności ewaluacji)
• pośrednie konsekwencje wskazanych w pierwszej części zapisów (np.
uwzględnienie odpowiednich zasobów ludzkich dla prawidłowej realizacji
procesu realizacji PO, dwufunduszowość RPO),
• doświadczenia z wdrażania obecnej perspektywy (bogaty materiał dot. analiz
systemu ewaluacji)
Problem okresu przejściowego – funkcjonowanie „starych” i „nowych”
wytycznych
2013
15
Kształt i główne
instytucjonalny
zasady
działania
systemu
-
schemat
KE (Regio,
Emp,
Agri, Mare…)
KJE
JE IZ SPO
JE IP SPO
JE IP SPO
JE IZ RPO
(EFS + EFRR)
JE IP RPO
2013
JE IP RPO
16
Kształt i główne zasady działania systemu – wymagania
instytucjonalno-organizacyjne oraz zadania KJE
Proces ewaluacji perspektywy 2014-20 koordynowany przez Krajową Jednostkę
Ewaluacji umiejscowioną w MRR, zadania szczegółowe:
• Koordynacja działania systemu ewaluacji (w tym m.in. tworzenie dokumentów strategicznych,
wytycznych i poradników, Zespół ds. ewaluacji UP)
• Koordynacja i monitorowanie planów ewaluacji w ramach całego systemu
• Koordynacja działań ewaluacyjnych w ramach polityki spójności z przedsięwzięciami ewaluacyjnymi
realizowanymi w ramach innych polityk publicznych
• Koordynacja i realizacja współpracy międzynarodowej
• Realizacja ewaluacji horyzontalnych
• Realizacja ewaluacji wewnętrznych
• Opracowywanie metaanaliz i metaewaluacji (przeniesienie ciężaru badawczego)
• Prowadzenie działań mających na celu budowę kultury ewaluacyjnej (m.in. organizacja forów
ewaluacyjnych, konferencji, szkoleń, przygotowywanie publikacji)
• Animacja debaty publicznej ukierunkowanej na ocenę efektów prowadzonych polityk publicznych
• Tworzenie i obsługa baz danych na potrzeby ewaluacji (m.in. baza badań ewaluacyjnych, ZSZWiR,
STRATEG)
• Realny i restrykcyjny monitoring strategiczny działań w obszarze ewaluacji w tym w szczególności w
obszarze wykorzystania wyników
2013
17
Kształt i główne zasady działania systemu – wymagania
instytucjonalno-organizacyjne oraz zadania JE na poziomie IZ
Zachowanie niezależności ewaluacji - zalecenia KE i KJE:
•
najlepsza praktyka – całkowicie niezależna funkcjonalnie JE (wydzielona poza
IZ/IW)
realizująca
badania
wewnętrzne
i
zlecająca
ewaluację
na zewnątrz
• dobra praktyka - wydzielenie JE do osobnej jednostki (wydziału) w ramach IZ/IW
departamentu i realizacja przez nią badań zewnętrznych. Dodatkowo szeroki
zakres nowych zadań wymaga aby JE dysponowały odpowiednim zasobem
kadrowym. W związku z dwufunduszowością w ramach IZ RPO należy łączyć JE
EFRR i POKL.
Konieczność zapewnienia w PO odpowiednich środków na realizację procesu ewaluacji
Pożądane umiejscowienie JE bliżej strategicznych ośrodków decyzyjnych w danej
instytucji
2013
18
Kształt i główne zasady działania systemu – zadania JE na
poziomie IZ
Zadania JE na poziomie IZ
• koordynacja procesu ewaluacji w ramach PO (w tym m.in. GSE PO),
• realizacja ewaluacji przy zastosowaniu trafnych i zaawansowanych metod badawczych (CIE,
TBE i inne),
• wypełnianie obowiązków wobec KE (raporty, syntezy),
• współpraca z Krajową Jednostką Ewaluacji,
• czynny udział w pracach zespołów zadaniowych mających na celu wypracowanie metodologii i
realizację badań przekrojowych w obszarach tematycznych,
• animowanie i monitorowanie wykorzystania wyników badań ewaluacyjnych dot. danego PO,
raportowanie KE, KM i KJE wyników ewaluacji ,
• pełnienie funkcji brokerów wiedzy, którzy z jednej strony będą identyfikować oraz pomagać
wyartykułować potrzeby informacyjne swoich instytucji a z drugiej strony będą
kompetentnym pośrednikiem w nabywaniu wiedzy czy to poprzez realizacje badań wewn. czy
też od naukowców i konsultantów
• budowa potencjału ewaluacyjnego na poziomie PO i in.
• inne
2013
19
Planowany harmonogram przygotowania wytycznych Ministra
Rozwoju Regionalnego dla systemu ewaluacji perspektywy
2014 -20
(1) Przygotowanie do konsultacji JE wytycznych ws. szczegółowych zasad
funkcjonowania systemu ewaluacji 2014-20 - listopad 2013
(2) Konsultacje nieformalne z JE (spotkanie) – grudzień 2013
(2) Procedury formalne w MRR + konsultacje formalne wstępnej wersji
wytycznych przez JE – do końca stycznia 2014
(3) Przyjęcie wytycznych przez Ministra Rozwoju Regionalnego – I kwartał
2014
(4) Dostosowanie struktur organizacyjnych IZ do zwiększonych wymagań dla
systemu ewaluacji – 2014 r.
2013
20
Dodatkowe tematy do dyskusji
(1) Realizacja badań horyzontalnych i przekrojowych – elastyczne zespoły
zadaniowe vs stałe grupy do celów tematycznych
(2) Rola i kształt JE na niższych poziomach systemu – problem rozdrobnienia
2013
21
Plany Ewaluacji 20142014-2020
Piotr Strzęboszewski
Lublin, 10.10.2013r.
Ministerstwo Rozwoju Regionalnego
22
Podstawa prawna UE
Zgodnie z art. 49 CPR Instytucje Zarządzające (lub Państwa Członkowskie)
zobowiązane są do przygotowania Planu ewaluacji
Plany ewaluacji mogą dotyczyć więcej niż jednego programu operacyjnego
Plany przedkładane są Komitetowi Monitorującemu do akceptacji nie później
niż rok po przyjęciu programu operacyjnego (art. 100 oraz art. 104 CPR)
Zmiany w Planie ewaluacji wymagają akceptacji Komitetu Monitorującego (art.
100 CPR)
Dwukrotnie podczas okresu programowania (2017r i 2019r.) IZ PO przekazują
KE informacje na temat postępów w realizacji planów oraz sposobu i stopnia
wykorzystania wyników ewaluacji (art. 101 CPR). Ww. Zagadnienia są
przedmiotem analizy/dyskusji (examine) na forum Komitetu Monitorującego
2013
23
Zakres planów wg. KE
Zgodnie z wytycznymi KE plany ewaluacji powinny zawierać:
• orientacyjną listę tematów badań ewaluacyjnych wraz z uzasadnieniem ich
realizacji
• opis przewidywanej metodologii, która zostanie zastosowana do
poszczególnych ewaluacji wraz zakresem danych, które będą niezbędne do
realizacji badania
• opis sposobu w jaki niezbędne dane zostaną pozyskane lub gromadzone
• harmonogram realizacji poszczególnych ewaluacji
• opis strategii wykorzystania ewaluacji i jej wyników
• oszacowanie i opis zasobów kadrowych niezbędnych do realizacji planu
• orientacyjny budżet planu (w tym poszczególnych ewaluacji)
• lista działań mających na celu budowę odpowiedniego do realizacji planu
potencjału ewaluacyjnego (m.in. plan szkoleń, konferencji, publikacji)
2013
24
Zawartość planów wg KJE
• orientacyjna lista tematów badań ewaluacyjnych wraz z uzasadnieniem
realizacji (korespondującym z logiką interwencji oraz z potrzebami głównych
odbiorców badań)
• główni odbiorcy konkretnych badań ewaluacyjnych
• cele badania oraz kluczowych pytań badawczych
• opis sposobu realizacji, w tym wybranego podejścia badawczego oraz
przewidywanej metodologii, która zostanie zastosowana do poszczególnych
ewaluacji
• zakres danych, które będą niezbędne do realizacji badania w tym opis
sposobu w jaki zostaną pozyskane lub gromadzone
• harmonogram realizacji poszczególnych ewaluacji
• orientacyjny budżet planu (w tym poszczególnych ewaluacji)
• obszary i sposoby wykorzystania wyników
• opis strategii rozpowszechniania/promocji wyników
• lista działań mających na celu budowę odpowiedniego do realizacji planu
potencjału ewaluacyjnego (m.in. oszacowanie i opis zasobów kadrowych
niezbędnych do realizacji planu, plan szkoleń, konferencji, publikacji)
2013
25
Główni odbiorcy konkretnych badań ewaluacyjnych
• Kim są główni odbiorcy wyników badania?
• Jakie są ich potrzeby informacyjne? (w tym jakie są ich oczekiwania
względem formy, zakresu i terminu ich zaspokojenia)
• W którym momencie i w jaki sposób zostaną oni włączeni w proces
ewaluacji?
2013
26
Cele badania oraz pytania badawcze
• Jakie informacje są potrzebne odbiorcom badania na temat zmiany jaką
wywołał program/interwencja?
• Jakie informacje są potrzebne na temat sposobu w jaki zmiana nastąpiła (nt.
mechanizmu zmiany)?
• Jaki powinien być zakres badania (tematyczny, przedmiotowy, podmiotowy,
terytorialny)?
2013
27
Opis sposobu realizacji, w tym wybranego podejścia badawczego
oraz przewidywanej metodologii
• Jaki będzie charakter/typ planowanej przez nas ewaluacji? Czy będzie to
ewaluacja wpływu, procesowa czy łączona (procesowa plus wpływu)?
• Czy konieczna jest ewaluacja efektywności interwencji?
• Czy ewaluacja będzie zewnętrzna czy wewnętrzna?
• Jak rozległa (pod względem zakresu) będzie ewaluacja?
• Czy podejście rygorystyczne jest możliwe a jeśli tak to czy jest konieczne i w
jakim zakresie?
• Jakie działania (proporcjonalne do skali badanej interwencji) mogą być
podjęte by zwiększyć szansę na realizację rzetelnej ewaluacji?
• Jakie konkretne metody będą właściwe dla planowanej ewaluacji
2013
28
Zakres danych, które będą niezbędne do realizacji badania w tym
opis sposobu w jaki zostaną pozyskane lub gromadzone
• Jakie dane będą niezbędne do realizacji badania?
• Które z powyższych danych są już zebrane i dostępne?
• Które z niezbędnych do realizacji ewaluacji danych trzeba pozyskać ?
• Jeśli ewaluacja będzie ewaluacją wpływu, to kiedy należałoby
zebrać/przeanalizować dane dotyczące wpływu?
• Kto będzie odpowiedzialny za zebranie danych i w jaki sposób należy to
zrealizować?
• Jakie ograniczenia (np. dostępności) dotyczą danych planowanych do
wykorzystania w procesie ewaluacji?
2013
29
Obszary i sposoby wykorzystania wyników
• Do czego będą wykorzystane wyniki badania? Jakie procesy decyzyjne będą
zasilać?
• W jaki sposób wyniki badania będą włączone w cykl realizacyjny badanej
interwencji?
• Jaki będzie orientacyjny harmonogram działań mających na celu
wykorzystanie wyników?
• Kim są finalni adresaci końcowych wniosków i rekomendacji z badania?
2013
30
Opis strategii rozpowszechniania/promocji wyników
• Jakie formy rozpowszechniania/przekazania wyników będą odpowiednie w
kontekście zdefiniowanych celów i obszarów planowanego wykorzystania
oraz odbiorców ?
• Jaki będzie orientacyjny harmonogram działań mających na celu promocje
wyników?
2013
31
Zawartość planów – badania proponowane przez KJE
SYSTEM
• Ewaluacja ex-ante systemu realizacji danego PO.
• Ewaluacja mid-term systemu realizacji danego PO. a ewaluacja musi być
przeprowadzona nie wcześniej niż trzydzieści miesięcy i nie później niż
czterdzieści dwa miesiące od przyjęcia finalnej wersji danego PO.
• Ewaluacja ex-post systemu realizacji danego PO. IZ odpowiedzialne za
ewaluacje poszczególnych PO powinny, w porozumieniu z JE działającą w
ramach IK UP oraz z grupą tematyczną ds. ewaluacji systemu realizacji
polityki spójności ewaluacji przeprowadzić ww. ewaluację do końca kwietnia
2021r.
2013
32
Zawartość planów – badania proponowane przez KJE
EFEKTY
• Ewaluacja mid-term dot. efektów realizacji danego PO. IZ odpowiedzialne za
ewaluacje poszczególnych PO powinny przeprowadzić ww. ewaluację do
końca kwietnia 2019r.
• Ewaluacja podsumowująca efekty realizacji danego PO. IZ odpowiedzialne za
poszczególne PO powinny, ww. ewaluację do końca kwietnia 2022r.
• Strategiczne badania tematyczne – realizowane na podstawie przekazanych
przez KJE wytycznych.
W ramach realizowanych badań dot. osiągniętych rezultatów musi zostać
przebadana każda oś priorytetowa przy uwzględnieniu wpływu na osiąganie
celów strategii EU 2020 (wymóg KE)
2013
33
Zawartość planów – badania obowiązkowe wg. KJE
O EWALUACJI
• Synteza (meta-analiza) badań ewaluacyjnych przeprowadzanych w
kontekście danego PO w danym roku kalendarzowym. Badania tego typu
powinny być przeprowadzane rokrocznie przez IZ odpowiedzialną za
ewaluację danego PO. Wyniki ww. meta-ewaluacji powinny zawierać syntezę
wszystkich zrealizowanych w danym roku badań. Po opracowaniu będą
przekazywane do KJE oraz zasilą raporty roczne z postępów wdrażania.
Pierwsza ewaluacja tego typu musi być zrealizowania nie później niż do końca
lutego 2016r. Ww. synteza musi syntetyzować wyniki badań
przeprowadzonych od początku nowej perspektywy do końca 2015r. Kolejne
meta-ewaluacje powinny być realizowane rokrocznie a ich wyniki powinny
być przekazywane do wiadomości KJE do końca kwietnia danego roku
kalendarzowego.
• Ewaluacja realizacji planów – realizowana przynajmniej trzykrotnie w ciągu
całego okresu programowania (2017r., 2019r. I 2022r.). Powinna swoim
zakresem obejmować ewaluację postępu w realizacji planów oraz sposóbów i
stopnia wykorzystania wyników przeprowadzonych ewaluacji
2013
34
Autorzy planów
• Za opracowanie planu ewaluacyjnego Umowy Partnerstwa oraz jego
rocznych aktualizacji odpowiedzialna jest Krajowa Jednostka Ewaluacji. Plany
te będą przygotowane w porozumieniu z jednostkami ewaluacyjnymi
funkcjonującymi na poziomie Instytucji Zarządzających.
• Za opracowane planów ewaluacyjnych PO oraz rocznych ich aktualizacji
odpowiedzialna jest JE IZ danym programem operacyjnym. Ww. plany
ewaluacyjne przygotowywane są w ścisłej współpracy z jednostkami
ewaluacyjnymi funkcjonującymi w ramach instytucji podległych IZ. Plany
ewaluacyjne na poziomie programów operacyjnych przedkładane są do
zaopiniowania/akceptacji Krajowej Jednostce Ewaluacji.
• Plany ewaluacyjne oraz ich roczne aktualizacje finalnie zatwierdzane są przez
właściwy Komitet Monitorujący. Każda zmiana w planie ewaluacyjnym
wymaga zgody Komitetu Monitorującego. Rekomenduje się by ew. zmiany
były przeprowadzane w ramach ww. rocznych aktualizacji planów.
2013
35
Terminy realizacji
• Plan ewaluacyjny powinien zostać przygotowywany i przekazany KE nie
później niż rok po przyjęciu finalnej wersji danego dokumentu (Programu
Operacyjnego lub Umowy Partnerstwa). Aktualizacje roczne przyjmowane
będą rokrocznie w terminie do końca roku poprzedzającego lub ad hoc jeśli
zaistnieje taka potrzeba
• Roczne aktualizacje planów ewaluacyjnych programów operacyjnych
przekazywane będą do Krajowej Jednostki Ewaluacji w celu zaopiniowania
i akceptacji rokrocznie, do końca trzeciego kwartału roku poprzedzającego.
Zakładamy, że aktualizacje będę przede wszystkim formą doprecyzowania
planu na następny rok kalendarzowy.
2013
36
omówienie kwestii wykorzystania wiedzy z badań ewaluacyjnych
Elżbieta Opałka
Lublin, 10.10.2013r.
2013
37
Wykorzystanie wiedzy z badań ewaluacyjnych
(evidence based policy)
Racjonalny proces wdrażania polityki rozwoju powinien bazować na kilku
elementach:
• aktualnej i rzetelnej diagnozie sytuacji społeczno-gospodarczej, wraz z
prognozą trendów, precyzyjnie identyfikującej potencjalne obszary
interwencji władz publicznych,
• pogłębionej wiedzy na temat efektów dotychczas prowadzonych polityk
publicznych wraz z zalecanymi rozwiązaniami usprawniającymi działania
administracji,
• racjonalnej analizie możliwości finansowych uwzględniającej pożądane
cele i aspiracje społeczne.
Dopiero dysponując pełną informacją w powyższych kwestiach możliwe jest
precyzyjne zaprogramowanie interwencji publicznej, skutecznie
przyczyniającej się do osiągania długookresowych celów rozwojowych.
2013
38
Obecne doświadczenia
• Brak strategii wykorzystania wyników badań (sposoby nieusystematyzowane):
Konferencje
Szkolenia i studia,
Spotkania różnego rodzaju grup roboczych
Publikacje
• Zbiurokratyzowany proces: Zintegrowany System Zarządzania Wnioskami i
Rekomendacji z Badań Ewaluacyjnych (ZSZWiR) – też wymaga usprawnień
• Kwestionowana użyteczność ewaluacji:
niska jakość raportów (brak analitycznej wartości dodanej, powtórzone zestawienia z
monitoringów)
niska odkrywczość wniosków
mała przydatność rekomendacji
niedopasowanie do potrzeb informacyjnych potencjalnych odbiorców
niezrozumienie ograniczeń jakim poddana jest instytucja
2013
Rola ewaluacji
Źródło: Projekt raportu: ”Ocena systemu realizacji polityki spójności w ramach perspektywy 2007-2013”, EGO, 2013r.
2013
Wyzwania okresu 2014-2020
• Podniesienie poziomu jakości procesu ewaluacji, w tym użyteczności badań:
• Poprawa jakości badań (zapewnienie jasności oraz spójności logicznej raportu
ewaluacyjnego) = wzmocnienie roli „Karty oceny jakości badania”
• Ukierunkowanie procesu ewaluacji na odbiorców (dostosowanie form prezentacji
wyników badań do potrzeb i specyfiki różnych grup + wypracowanie mechanizmów
/procedur identyfikacji potrzeb informacyjnych = wypracowanie „strategii”
rozpowszechniania wyników badań + bazy wiedzy
2013
41
Wyzwania okresu 2014-2020
• Zwiększenie poziomu integracji procesu ewaluacji z procesem programowania i
wdrażania programów operacyjnych:
Ściślejsza koordynacja działań analityczno-badawczych z procesem decyzyjnym:
Realizacja zobowiązań sprawozdawczych (JE zobowiązane będą do bieżącego
sprawozdawania KM i KE nt. realizacji procesu ewaluacji (corocznie w ramach raportów z
realizacji PO) i wykorzystania wyników ewaluacji w ramach PO (trzykrotnie: w 2017 i
2019 r. w ramach raportów z realizacji PO i w 2022 r. - w ramach raportu
podsumowującego wyniki badań ewaluacyjnych)
Stworzenie ram organizacyjno-instytucjonalnych sprzyjających lepszemu
wykorzystaniu wyników badań ewaluacyjnych:
Modernizacja harmonogramów realizacji badań z obecnie dominującego elementu
badawczego na etap opracowywania i wykorzystania wyników
Zwiększenie znaczenia i poprawa funkcjonalności systemu wdrażania wniosków i
rekomendacji (ZSZWiR) w celu poprawy wykorzystywania wyników ewaluacji u
adresatów wniosków i rekomendacji
Ministerstwo Rozwoju Regionalnego -
21 października
2013
42
Modyfikacje w ZSZWiR
•
Zmiana w klasyfikacji rekomendacji na horyzontalne i programowe:
operacyjne i strategiczne
• Usprawnienie technicznej strony funkcjonowania systemu (platforma) i zmiany
redakcyjne (uspójnienie nazewnictwa)
• Zwiększenie partycypacji w procesie ewaluacji adresatów rekomendacji –
możliwości monitorowania własnych rekomendacji
• Uruchomienie przez KJE intensywnego monitoringu procesu wdrażania
rekomendacji
2013
Dalsze obszary zmian, wyzwania dla systemu ewaluacji
• Wypracowanie skutecznych kanałów dotarcia z wynikami badań do
decydentów
• Wypracowanie sprawnych mechanizmów/procedur identyfikacji potrzeb
informacyjnych
• Identyfikacja przyczyn niskiej jakości wyników badań ewaluacyjnych i
wypracowanie narzędzi/podejść przeciwdziałania im
•
Integracja wiedzy (jej generowania i wykorzystania w ramach polityki
spójności oraz w ramach innych polityk publicznych realizowanych w Polsce)
•
Uruchomienie stałego przepływu wiedzy i informacji pomiędzy ewaluatorami
a decydentami
2013
Dziękujemy
za uwagę
Dziękuj
[email protected]
2013
45

System ewaluacji 2014-2020 oraz Plany Ewaluacji 2014-2020

Transkrypt

Podobne dokumenty

KONFERENCJA MIĘDZYNARODOWA Jakość edukacji czy/i jakość

PROGRAM SZKOLENIA „Ewaluacja Międzynarodowych Spotkań

Wymaganie: Placówka wspomaga rozwój wychowanków, z

zakres zadań KM RPO L2020

Diagnoza etymologii i rodzajów nagannych postaw i zachowań

Oferta szkoleń z ewaluacji - Polsko

PLANOWANIE STRATEGICZNE W JST

Pracownik ds. szkoleń

„Od badania do działania, czyli 3P – prosta, potrzebna i praktyczna