pobierz - ministerstwo rozwoju

BDG.2511.25.2016.GK
Załącznik Nr 1 do SIWZ
SZCZEGÓŁOWY OPIS PRZEDMIOTU ZAMÓWIENIA
Ocena efektów oraz systemu zarządzania i wdrażania
Mechanizmu Finansowego Europejskiego Obszaru Gospodarczego 2009-2014
i Norweskiego Mechanizmu Finansowego 2009-2014
SŁOWNICZEK PODSTAWOWYCH POJĘĆ I SKRÓTÓW
Słowo lub skrót użyte
w niniejszym SOPZ:
Należy rozumieć jako:
Beneficjent
Instytucja realizująca projekt
BMF
Biuro Mechanizmów Finansowych
CATI
Ankieta telefoniczna
interview)
CAWI
Ankieta internetowa (ang. computer-assisted web interview)
DPP
Partnerzy Programów z Państw-Darczyńców
IDI
Wywiad indywidualny pogłębiony (ang. individual in-depth
interview)
ITI
Wywiad pogłębiony telefoniczny (ang. in-depth telephone
interview)
MF EOG
Mechanizm Finansowy Europejskiego Obszaru Gospodarczego
na lata 2009-2014
NMF
Norweski Mechanizm Finansowy na lata 2009-2014
(ang.
computer-assisted
telephone
Mechanizmy
Finansowe, Mechanizm Finansowy Europejskiego Obszaru Gospodarczego
Mechanizmy, MF EOG i NMF
na lata 2009-2014 i Norweski Mechanizm Finansowy na lata
2009-2014
MR
Ministerstwo Rozwoju
KPK
Krajowy Punkt Kontaktowy
Ostateczny odbiorca
Osoba lub instytucja uczestnicząca w projekcie realizowanym
przez Beneficjenta lub czerpiąca korzyści dzięki projektowi
1. WPROWADZENIE
1.1. KONTEKST REALIZACJI BADANIA
1
Niniejsze badanie ewaluacyjne dotyczy Mechanizmu Finansowego Europejskiego Obszaru
Gospodarczego na lata 2009-2014 oraz Norweskiego Mechanizmu Finansowego na lata
2009-2014 (dalej: MF EOG i NMF). Mechanizmy te mają na celu:
• przyczynić się do zmniejszania różnic ekonomicznych i społecznych w obrębie
Europejskiego Obszaru Gospodarczego;
• przyczynić się do wzmocnienia stosunków dwustronnych pomiędzy PaństwamiDarczyńcami (w przypadku MF EOG – Islandią, Księstwem Liechtensteinu oraz
Królestwem Norwegii; w przypadku NMF – Królestwem Norwegii) a PaństwemBeneficjentem.
Dla Polski, jako jednego z Państw-Beneficjentów MF EOG i NMF, zaplanowana została pomoc
finansowa w wysokości 578,1 mln EUR, włączając w to koszty zarządzania funduszami
ponoszone przez stronę Darczyńców oraz przez stronę polską. Jest ona dostępna w
następujących obszarach programowych:
a) dla MF EOG: Różnorodność biologiczna i działania na rzecz ekosystemów; Monitoring
środowiska oraz zintegrowane planowanie i kontrola; Efektywność energetyczna
i odnawialne źródła energii; Fundusz dla Organizacji Pozarządowych; Lokalne i
regionalne inicjatywy na rzecz zmniejszenia nierówności i promowania spójności
społecznej; Inicjatywy na rzecz ochrony zdrowia; Konserwacja i rewitalizacja
dziedzictwa kulturowego i naturalnego; Promowanie różnorodności kulturowej i
artystycznej w ramach europejskiego dziedzictwa kulturowego; Fundusz
Stypendialny;
b) dla NMF: Innowacje w zakresie „Zielonych Technologii”; Dwustronna współpraca
badawcza; Dwustronny program stypendialny; Inicjatywy na rzecz ochrony zdrowia;
Przeciwdziałanie przemocy w rodzinie i przemocy ze względu na płeć; Współpraca w
obszarze Schengen oraz walka z przestępczością transgraniczną i zorganizowaną, w
tym przeciwdziałanie handlowi ludźmi oraz migracjom grup przestępczych;
Budowanie potencjału instytucjonalnego i współpraca w obszarze wymiaru
sprawiedliwości; Wsparcie Służby Więziennej, w tym sankcji pozawięziennych;
Dziedzictwo
kulturowe;
Globalny
fundusz
na
rzecz
godnej
pracy
i dialogu trójstronnego.
Główną instytucją odpowiedzialną za realizację MF EOG i NMF jest Krajowy Punkt Kontaktowy.
W Polsce funkcję Krajowego Punktu Kontaktowego pełni Ministerstwo Rozwoju, Departament
Programów Pomocowych (dawniej – Ministerstwo Rozwoju Regionalnego, Departament Programów
Pomocowych i Pomocy Technicznej).
Fundusze norweskie i EOG wdrażane są w Polsce w ramach 18 Programów, obejmujących
wymienione powyżej obszary oraz Fundusz Pomocy Technicznej i Fundusz Współpracy Dwustronnej
na poziomie krajowym. W ramach Programów realizowane są:
• projekty predefiniowane – wskazane do realizacji na podstawie Programu, bez konieczności
organizacji konkursów;
• projekty konkursowe, w tym: projekty duże oraz w ramach Funduszu Małych Grantów.
Za realizację każdego z Programów odpowiada Operator Programu. Do jego zadań należy organizacja
konkursów, przyjmowanie i ocena wniosków, monitoring realizacji projektów i promocja Programu.
2
1.2. UZASADNIENIE REALIZACJI BADANIA
Państwa-Beneficjenci są zobowiązane1 przeprowadzić ewaluacje Programów, w celu oceny
rzeczywistych i/lub oczekiwanych efektów na poziomie rezultatu. Ewaluacja ta ma być
przeprowadzona przez zewnętrznych ekspertów lub podmioty niezależne od instytucji systemu
wdrażania. Podstawowe wytyczne dla ewaluacji MF EOG i NMF na lata 2009-2014 zawiera dokument
pt. „Evaluation Guideline – EEA and Norwegian Financial Mechanism 2009-2014”2. Zgodnie z tymi
wytycznymi, ewaluacja ma pomóc Państwu-Beneficjentowi i Darczyńcom uczyć się na
doświadczeniach, dokumentować efekty rezultatów oraz oceniać jakość Programów.
Aktualny stan wdrażania Mechanizmów pozwala na realizację kompleksowego badania
ewaluacyjnego zarówno dla MF EOG, jak i dla NMF. W trakcie wdrażania jest 18 Programów, w tym
Fundusz Pomocy Technicznej i Fundusz Współpracy Dwustronnej na poziomie krajowym. Na
poziomie poszczególnych Programów, w ramach Mechanizmów, funkcjonują systemy wdrażania,
naboru wniosków, sprawozdawczości, rozliczania i kontroli.
Badanie pozwoli zatem na ocenę osiągniętych dotychczas rezultatów projektów i Programów oraz ich
wpływu na:
•
zmniejszenie różnic ekonomicznych i społecznych między obszarami, w których realizowane
są projekty, a pozostałymi obszarami;
•
wzmocnienie stosunków dwustronnych pomiędzy Polską a Państwami-Darczyńcami;
•
poprawę sytuacji w zdefiniowanych obszarach priorytetowych.
Ponadto, badanie pozwoli na oszacowanie prognozowanych/oczekiwanych rezultatów Programów
w przypadku projektów, dla których okres kwalifikowalności wydatków został wydłużony poza
30 kwietnia 2016 r.
Ewaluacja umożliwi też określenie stopnia trafności i skuteczności zastosowanego systemu wdrażania
Mechanizmów, w tym struktury instytucjonalnej, procedur i dokumentów na poziomie Krajowego
Punktu Kontaktowego i poszczególnych Operatorów. Wskazówki dotyczące usprawnień systemu
wdrażania wykorzystane zostaną w miarę możliwości w aktualnym okresie programowania, jak
również w realizacji podobnych programów w przyszłości.
1.3. KRYTERIA EWALUACYJNE
W badaniu zastosowane zostaną następujące kryteria ewaluacyjne zdefiniowane poniżej,
specyficznie w relacji do przedmiotu badania3:
• Skuteczność (Effectiveness) – stopień realizacji zakładanych celów w odniesieniu do
użytych metod, instytucji oraz wpływ czynników zewnętrznych na ostateczne efekty;
1
Zgodnie z art. 9.1 Regulacji w sprawie wdrażania Mechanizmu Finansowego Europejskiego Obszaru
Gospodarczego (EOG) oraz art. 9.1 Regulacji w sprawie wdrażania Norweskiego Mechanizmu Finansowego na
lata 2009-2014.
2
Dokument znajduje się na stronie:
http://eeagrants.org/content/download/5246/51882/version/1/file/Guidelines+on+evaluation.pdf
3
Na podstawie: Evaluation Guideline EEA and Norwegian Financial Mechanism 2009-2014; K. Olejniczak,
M. Kozak, B. Ledzion (red.) „Teoria i praktyka ewaluacji interwencji publicznych”, Wydawnictwa Akademickie
i Profesjonalne, Akademia Leona Koźmińskiego, Warszawa 2008.
3
• Wydajność (Efficiency) – relacje między nakładami, kosztami, zasobami
(finansowymi, ludzkimi, administracyjnymi), przyjętymi metodami wdrażania a
osiągniętymi rezultatami Programów w ramach MF EOG i NMF;
• Trwałość (Sustainability) – ciągłość efektów (przede wszystkim pozytywnych) danej
interwencji w perspektywie średnio- i długookresowej (w tym po zakończeniu
realizacji Programów);
•
Wpływ (Impact) – ocena bezpośredniego i pośredniego oddziaływania interwencji na
obszary nią objęte i grupy docelowe.
2. ZAKRES BADANIA
2.1. Zakres czasowy
Ewaluacja dotyczy okresu od początku realizacji MF EOG na lata 2009-2014 oraz NMF na lata
2009-2014 do momentu realizacji poszczególnych etapów badania przez Wykonawcę.
2.2. Zakres przedmiotowy
Przedmiotem badania są:
• Programy realizowane na podstawie Memorandum of Understanding Wdrażania
Mechanizmu Finansowego Europejskiego Obszaru Gospodarczego na lata 2009-2014
pomiędzy Islandią, Księstwem Liechtensteinu i Królestwem Norwegii a
Rzecząpospolitą Polską oraz na podstawie Memorandum of Understanding
Wdrażania Norweskiego Mechanizmu Finansowego na lata 2009-2014 pomiędzy
Królestwem Norwegii a Rzecząpospolitą Polską, jak również projekty
dofinansowywane w ramach powyższych Programów (szczegółowy spis Programów
wraz z liczbą projektów znajduje się w tabeli stanowiącej załącznik do SOPZ);
• system wdrażania i zarządzania MF EOG i NMF w Polsce, w tym poszczególnych
Programów.
W sposób pogłębiony należy dokonać oceny Programu PL06 – „Rozwój miast poprzez
wzmocnienie kompetencji jednostek samorządu terytorialnego, dialog społeczny oraz
współpracę
z przedstawicielami społeczeństwa obywatelskiego”.
CELE BADANIA
2.3. CEL GŁÓWNY
Celem głównym badania jest ocena efektów Programów i projektów realizowanych w
ramach Mechanizmu Finansowego EOG na lata 2009-2014 oraz Norweskiego Mechanizmu
Finansowego na lata 2009-2014 oraz ocena systemów wdrażania i zarządzania
4
zastosowanych w poszczególnych Programach wraz ze sformułowaniem wskazówek
dotyczących usprawnień dla obecnych i kolejnych podobnych programów.
2.4. PYTANIA BADAWCZE I KRYTERIA EWALUACYJNE
Poniższa tabela przedstawia pytania badawcze sformułowane na potrzeby niniejszej
ewaluacji.
Do każdego pytania zostały przypisane najważniejsze kryteria ewaluacyjne.
Tabela 1. Pytania badawcze i kryteria ewaluacyjne
PYTANIA BADAWCZE
KRYTERIA EWALUACYJNE
1) W jakim stopniu Programy i projekty realizowane
w ramach MF EOG i NMF przyczyniły się do zmniejszania
różnic ekonomicznych i społecznych w województwach,
w których realizowane były projekty w ramach MF EOG
i NMF, oraz pomiędzy tymi województwami?
•
•
•
skuteczność
wpływ
trwałość
2)
W jakim stopniu Programy i projekty realizowane
w ramach MF EOG i NMF przyczyniły się do wzmocnienia
stosunków dwustronnych pomiędzy Polską a Norwegią,
między Polską a Islandią i między Polską
a Liechtensteinem?
•
•
•
skuteczność
wpływ
trwałość
3)
W jakim stopniu udało się osiągnąć cele (poprzez
osiągnięcie wartości wskaźników produktów i rezultatów)
poszczególnych Programów4 realizowanych w ramach MF
EOG i NMF oraz trwałość rezultatów? (w tym pogłębiona
ocena Programu PL06)
•
•
skuteczność
wpływ
4)
Czy mechanizmy zastosowane w Pomocy Technicznej
były adekwatne do potrzeb instytucji zaangażowanych we
wdrażanie MF EOG i NMF, w tym w odniesieniu do
promocji i informacji?
•
•
skuteczność
wydajność
5)
W jakim stopniu systemy zarządzania i kontroli, naboru
i oceny wniosków, monitoringu (w tym wskaźników)
zastosowane w MF EOG i NMF oraz poszczególnych
Programach okazały się skuteczne i wydajne?
•
•
skuteczność
wydajność
4
Patrz: „Uwaga” pod tabelą. DLA PROGRAMÓW PL05, PL18 i PA22 nie stosuje się pytań od 3 do 6. DLA
POZOSTAŁYCH PROGRAMÓW należy zastosować wszystkie pytania badawcze.
5
PYTANIA BADAWCZE
KRYTERIA EWALUACYJNE
6)
•
•
Jakie usprawnienia należałoby wprowadzić w zakresie
systemów zarządzania i kontroli dla poszczególnych
Programów,
promocji
i
informacji,
systemów
instytucjonalnych, procedur i dokumentów, w tym
Regulacji, podręczników i wytycznych (w szczególności
w kolejnym okresie programowania)?
skuteczność
wydajność
Źródło: opracowanie własne
UWAGA: DLA PROGRAMÓW PL05, PL18 i PA22 nie stosuje się pytań od 3 do 6. DLA
POZOSTAŁYCH PROGRAMÓW należy zastosować wszystkie pytania badawcze.
Zadaniem Wykonawcy będzie sformułowanie rekomendacji dotyczących usprawnień w
zakresie systemów zarządzania i kontroli, promocji i informacji, systemów instytucjonalnych,
procedur i dokumentów, w tym Regulacji, podręczników i wytycznych (w szczególności w
kolejnym okresie programowania).
3. WSKAZÓWKI USZCZEGÓŁAWIAJĄCE
Dla każdego z powyższych pytań badawczych sformułowano zestaw wskazówek
kierunkowych. Pytania te zawiera poniższa tabela.
Tabela 2. Wskazówki uszczegóławiające, przyporządkowane do poszczególnych pytań badawczych
Pytanie 1: W jakim stopniu Programy i projekty realizowane w ramach MF EOG i NMF przyczyniły
się do zmniejszania różnic ekonomicznych i społecznych w województwach, w których realizowane
były projekty w ramach MF EOG i NMF, oraz pomiędzy tymi województwami?
Wskazówki kierunkowe:
1.1. Jak w czasie realizacji MF EOG i NMF zmieniła się sytuacja społeczna i gospodarcza
w województwach, w których realizowane były Programy i projekty w ramach MF EOG i NMF?
1.2. W których województwach wpływ Programów i projektów realizowanych w ramach MF EOG
i NMF był najsilniejszy, a w których najsłabszy i dlaczego?
1.3. Jakie Programy miały najsilniejszy, a jakie najsłabszy wpływ na sytuację społeczno-gospodarczą
terenów objętych projektami finansowanymi z MF EOG i NMF i dlaczego?
1.4. Jaki jest wpływ realizacji poszczególnych Programów i projektów na sytuację grup docelowych
(w tym na wyrównanie ich szans społeczno-gospodarczych)?
Pytanie 2: W jakim stopniu Programy i projekty realizowane w ramach MF EOG i NMF przyczyniły się
do wzmocnienia stosunków dwustronnych pomiędzy Polską a Norwegią, między Polską a Islandią
i między Polską a Liechtensteinem?
Wskazówki kierunkowe:
2.1. Jak przedstawiała się współpraca instytucji systemu wdrażania, beneficjentów i partnerów
6
projektowych z Polski z instytucjami z Państw-Darczyńców w ramach MF EOG i NMF na każdym
etapie: poszukiwania i doboru partnerów, opracowywania wniosku, realizacji projektu, rozliczania
projektu? W ilu i w jakich projektach wystąpiła ta współpraca? Czym charakteryzowały się projekty,
w których wystąpiła ta współpraca, w porównaniu z projektami, w których taka współpraca nie
wystąpiła? (do uwzględnienia rola i stopień realizacji Funduszu Współpracy Dwustronnej na
poziomie krajowym, Funduszu Współpracy Dwustronnej na poziomie programu oraz działań
uzupełniających w ramach poszczególnych Programów)
2.2. Jakie były główne bariery i problemy we współpracy na każdym jej etapie: poszukiwania
i doboru partnerów, opracowywania wniosku, realizacji projektu, rozliczania projektu? Jakie były
czynniki sprzyjające tej współpracy?
2.3. Co stanowiło motywację do współpracy oraz jakie były kryteria doboru partnerów? Jak pod
względem zakresu, przebiegu i efektów współpracy zagranicznej różniły się pomiędzy sobą
Programy, w których współpraca była zdefiniowana (w propozycji programu, Memorandum of
Understanding etc.) od tych, w których była dobrowolna?
2.4. Jaki jest aktualny wpływ tej współpracy na wzmocnienie stosunków dwustronnych pomiędzy
Polską a Norwegią, między Polską a Islandią i między Polską a Liechtensteinem (w tym na wzrost
wzajemnego zrozumienia, dzielenia się rezultatami działań, efekt synergii)?
2.5. W jakim stopniu współpraca z partnerami z Państw-Darczyńców przyczyniła się do osiągnięcia
efektów Programów i projektów?
2.6. W jakim stopniu współpraca nawiązana w ramach MF EOG i NMF jest trwała? Jakie czynniki
sprzyjają trwałości tej współpracy?
2.7. W jakim stopniu przyjęta formuła, założenia, procedury i system finansowania współpracy
bilateralnej okazały się trafne i skuteczne w zakresie osiągania tych efektów? W jakim stopniu
osiągnięto wskaźniki bilateralne dla Programów? Czy należałoby je zmienić, a jeśli tak, to w jaki
sposób?
Pytanie 3: W jakim stopniu udało się osiągnąć cele (poprzez osiągnięcie wartości wskaźników
produktów i rezultatów) poszczególnych Programów5 realizowanych w ramach MF EOG i NMF oraz
trwałość rezultatów? (w tym pogłębiona ocena Programu PL06)
Wskazówki kierunkowe:
3.1. W jakim stopniu osiągnięto cele, efekty rzeczowe (rezultaty i produkty)6 w ramach
poszczególnych Programów?
3.2. Jakie są dotychczasowe efekty rzeczowe realizowanych i zakończonych projektów (w tym wg
obszarów priorytetowych, podziału terytorialnego i grup docelowych)? Jakie są przyczyny
nieosiągnięcia lub przekroczenia wskaźników?
3.3. Jakie niezamierzone efekty (pozytywne i negatywne) miały miejsce w ramach realizowanych
Programów i projektów?
3.4. Jakie są najważniejsze sukcesy osiągnięte w ramach MF EOG i NMF oraz realizowanych w ich
ramach Programów i projektów? Jaka była wartość dodana zrealizowanych projektów?
5
DLA PROGRAMÓW PL05, PL18 i PA22 nie stosuje się pytań od 3 do 6. DLA POZOSTAŁYCH PROGRAMÓW
należy zastosować wszystkie pytania badawcze.
6
Zgodnie z przyjętym systemem, rezultat na poziomie programu to cel na poziomie projektu a wynik/produkt
na poziomie programu to rezultat na poziomie projektu.
7
3.5. W jakim stopniu efekty projektów realizowanych w ramach MF EOG i NMF są trwałe/można
prognozować ich trwałość w przyszłości? W jakim stopniu cele i rezultaty projektów przyczyniają się
do osiągnięcia rezultatów i produktów Programów?
3.6. Jakie kluczowe czynniki sprzyjają osiągnięciu rezultatów i ich trwałości?
3.7. Jakie były najważniejsze problemy i bariery, które pojawiły się na etapie realizacji projektów
i Programów w ramach MF EOG i NMF?
3.8. Jakie rekomendacje z poprzednich ewaluacji zostały wdrożone, a jakie nie? W jakim stopniu
wdrożone rekomendacje przyczyniły się do osiągnięcia celów Programów?
3.9. Jakim grupom docelowym wsparcie w ramach MF EOG i NMF przyniosło największe
i najtrwalsze korzyści?
3.10. Czy osiągnięte efekty udałoby się osiągnąć bez interwencji MF EOG i NMF? Jeśli tak, z jakich
źródeł byłyby finansowane działania dążące do ich osiągnięcia?
DODATKOWE wskazówki DLA PROGRAMU PL06:
3.11. Jaki jest stan opracowywania zintegrowanych strategii rozwoju i planów operacyjnych
w ramach Programu? Jaki jest stan opracowywania dokumentacji technicznej w ramach ww.
strategii i planów i czy wynikają one z ww. dokumentów strategicznych? Jakie są dalsze plany
dotyczące wykorzystania tych strategii i planów?
3.12. W jakim stopniu Program „Rozwój miast…” przyczynił się do rozwoju współpracy między JST
oraz między JST i przedstawicielami społeczeństwa obywatelskiego/przedsiębiorcami? Czy
nawiązana w ramach projektów współpraca partnerska jest trwała, względnie jaka jest jej
prognozowana trwałość?
3.13. Jakie partnerstwa zawiązały się w ramach Programu, w jaki sposób partnerzy ze sobą
współpracują i jaka jest perspektywa trwałości tej współpracy?
3.14. W jakim stopniu poszczególne działania podejmowane w zakresie projektu predefiniowanego
przyczyniły się do podniesienia kompetencji przedstawicieli JST i lokalnych partnerstw? W jakim
stopniu efekty tego projektu wpływają na realizację projektów konkursowych?
3.15. Jakie jest oddziaływanie współpracy nawiązanej lub rozwiniętej w ramach projektów na
sytuację gmin, w których realizowane są projekty? Które działania są najbardziej, a które najmniej
skuteczne?
Pytanie 4: Czy mechanizmy zastosowane w Pomocy Technicznej były adekwatne do potrzeb
instytucji zaangażowanych we wdrażanie MF EOG i NMF, w tym w odniesieniu do promocji
i informacji?
Wskazówki kierunkowe:
4.1. W jakim stopniu założenia i formuła Pomocy Technicznej i innych instrumentów związanych
z zarządzaniem (także na poziomie Programów) były adekwatne do potrzeb i specyfiki instytucji
zaangażowanych w realizację MF EOG i NMF oraz w jakim stopniu przyczyniły się one do osiągnięcia
celów i rezultatów MF EOG i NMF?
4.2. W jakim stopniu zastosowane w ramach MF EOG i NMF narzędzia promocji i informacji okazały
się skuteczne i trafne w odniesieniu do grup docelowych?
4.3. W jakim stopniu przekazywana potencjalnym beneficjentom informacja dotycząca MF EOG
i NMF oraz poszczególnych Programów była przejrzysta, zrozumiała, spójna i kompletna?
Pytanie 5: W jakim stopniu systemy zarządzania i kontroli, naboru i oceny wniosków, monitoringu
8
(w tym wskaźników) zastosowane w MF EOG i NMF oraz poszczególnych Programach okazały się
skuteczne i wydajne?
Wskazówki kierunkowe:
5.1. W jakim stopniu instytucjonalne systemy zarządzania i kontroli przyjęte w poszczególnych
Programach okazały się trafne, skuteczne i wydajne? W jakim stopniu przyczyniły się one do
sprawnego osiągnięcia efektów Programów?
5.2. Jaki jest poziom kompletności, przejrzystości, spójności i użyteczności dokumentów (m.in.
Regulacji, podręczników, wytycznych) obowiązujących w ramach MF EOG i NMF oraz w ramach
poszczególnych Programów? W jakim stopniu obowiązujące dokumenty zapewniały sprawną
realizację Programów i projektów?
5.3. W jakim stopniu zastosowane w poszczególnych Programach procedury naboru i oceny
wniosków były skuteczne, przejrzyste i gwarantowały nabór wniosków wysokiej jakości?
5.4. Jak beneficjenci oceniają relacje i kontakty z instytucjami zaangażowanymi we wdrażanie
MF EOG i NMF oraz poszczególnych Programów pod względem przepływu informacji i skuteczności
udzielonego wsparcia?
5.5. Jaki był stopień trafności, skuteczności i wydajności przyjętego systemu monitoringu
i sprawozdawczości (na poziomie MF EOG i NMF, Programów i projektów), w tym informatycznego
systemu sprawozdawczości? (dotyczy również bazy internetowej DoRIS – Documentation Reporting
and Information System, zarządzanej przez Darczyńców)
5.6. Czy trafnie określono w ramach poszczególnych Programów wskaźniki monitoringowe oraz ich
wartości docelowe? Czy wskaźniki zostały zdefiniowane w sposób przejrzysty i zrozumiały? Czy
były/są one możliwe do osiągnięcia?
5.7. Czy pojawiły się bariery związane z wdrażaniem MF EOG i NMF oraz poszczególnych
Programów? Jeżeli tak, jakie i jakie kroki podjęto, aby je zniwelować?
5.8. Jaki był stopień trafności, skuteczności i wydajności pozostałych procedur przyjętych w ramach
MF EOG i NMF (kontrola, audyt, zmiany w projektach etc.)? W jakim stopniu obowiązujące
dokumenty zapewniały sprawną realizację Programów i projektów?
5.9. W jakim stopniu sprawdziła się przyjęta struktura projektów konkursowych (dużych i małych
grantów) oraz predefiniowanych, w tym również w ramach Funduszu Współpracy Dwustronnej na
poziomie programu? Czy należy ją zmodyfikować w przyszłości? Jeśli tak, to dlaczego i w jaki
sposób?
Pytanie 6: Jakie usprawnienia należałoby wprowadzić w zakresie systemów zarządzania i kontroli dla
poszczególnych Programów, promocji i informacji, systemów instytucjonalnych, procedur
i dokumentów, w tym Regulacji, podręczników i wytycznych (w szczególności w kolejnym okresie
programowania)?
Wskazówki kierunkowe:
6.1. W jaki sposób należałoby usprawnić konstrukcję Programów, projektów i działań
podejmowanych w ramach MF EOG i NMG oraz ich cele, aby osiągnąć jak najlepsze efekty
i oddziaływanie?
6.2. Jak należałoby usprawnić system zarządzania i realizacji Programów MF EOG i NMF (w tym
system instytucjonalny), aby był on jak najbardziej skuteczny, przejrzysty i przyczyniał się do
osiągnięcia jak najlepszych rezultatów?
6.3. Jakie usprawnienia należałoby wprowadzić w dokumentach (m.in. Regulacjach, podręcznikach
9
i wytycznych) dla MF EOG i NMF, aby były one jak najbardziej spójne, przejrzyste i użyteczne,
zapewniały sprawną realizację Programów i projektów i przyczyniały się do osiągnięcia trwałych
efektów?
6.4. Jakie usprawnienia należałoby wprowadzić w procesach zarządzania i wdrażania MF EOG
i NMF, m.in. w procesach naboru wniosków, sprawozdawczości, rozliczania, kontroli i współpracy
z beneficjentami, aby były one jak najbardziej spójne, przejrzyste i użyteczne, zapewniały sprawną
realizację Programów i projektów i przyczyniały się do osiągnięcia trwałych efektów?
4. MINIMUM METODOLOGICZNE
4.1. Metody i techniki gromadzenia danych
Minimum metodologiczne, jakim Wykonawca jest zobowiązany posłużyć się w ramach
badania, obejmuje poniższe metody i techniki gromadzenia danych.
•
Analiza desk research obejmująca co najmniej dokumenty, w tym Regulacje,
podręczniki
i wytyczne dotyczące systemów zarządzania i kontroli na poziomie MF EOG i NMF
oraz na poziomie poszczególnych Programów (w tym sprawozdania z realizacji
Programów, dokumenty dotyczące naboru wniosków, sprawozdania beneficjentów),
dotychczasowe badania ewaluacyjne.
• Techniki ilościowe:
o badanie ankietowe CAWI lub CATI z Operatorami Programów;
o badanie ankietowe CAWI lub CATI z beneficjentami projektów konkursowych
i predefiniowanych;
o badanie ankietowe CAWI lub CATI z ostatecznymi odbiorcami wsparcia
(osobami, samorządami, organizacjami pozarządowymi i innymi organizacjami
z terenów, na których były realizowane badania);
o badanie ankietowe CAWI lub CATI z zagranicznymi i polskimi partnerami
projektów.
• Techniki jakościowe:
o wywiady pogłębione bezpośrednie (IDI) z przedstawicielami BMF i PaństwDarczyńców;
o wywiady pogłębione bezpośrednie (IDI) z przedstawicielami KPK;
o wywiady pogłębione bezpośrednie (IDI) z Operatorami Programów;
o wywiady pogłębione bezpośrednie lub telefoniczne (IDI/ITI) z Partnerami
Programów z Państw-Darczyńców;
o wywiady pogłębione bezpośrednie lub telefoniczne (IDI/ITI) z beneficjentami
projektów konkursowych;
o wywiady częściowo skategoryzowane bezpośrednie lub telefoniczne z
beneficjentami projektów predefiniowanych;
10
o wywiady grupowe zogniskowane z przedstawicielami
Programów, beneficjentów i instytucji systemu wdrażania.
Operatorów
Zamawiający zakłada, że Wykonawca w ofercie przedstawi sposób wyłonienia prób
badawczych wraz z ich liczebnością. Struktura prób badawczych powinna odzwierciedlać
strukturę projektów realizowanych w ramach poszczególnych Programów.
4.2. Metody analizy i oceny danych
Do minimum metodologicznego, jakim Wykonawca jest zobowiązany posłużyć się w ramach
badania, zalicza się poniższe metody i techniki analizy i oceny danych:
• analiza wpływu MF EOG i NMF na gospodarkę i społeczeństwo (pytanie badawcze nr
1);
• panele eksperckie (cykl dwóch paneli eksperckich – po jednym panelu na I i na II
etapie badania), w których powinni uczestniczyć w szczególności:
o przedstawiciele beneficjentów;
o przedstawiciele środowiska akademickiego;
•
analiza SWOT/TOWS.
5. HARMONOGRAM REALIZACJI BADANIA
Realizacja badania może trwać nie dłużej niż 181 dni kalendarzowych. Badanie ma być
przeprowadzone etapowo, zgodnie z następstwem poszczególnych technik, przedstawionym
poniżej. Umożliwi to trafną i wyczerpującą interpretację wyników badań ilościowych. Udział
ekspertów na każdym etapie realizacji badania zapewni trafne sformułowanie wniosków
i wskazówek dotyczących usprawnień.
ETAP I BADAŃ – spośród minimum metodologicznego obowiązkowo obejmuje:
•
•
•
•
•
•
Badanie ankietowe CATI/CAWI z Operatorami Programów;
Badanie ankietowe CATI/CAWI z beneficjentami projektów konkursowych
i predefiniowanych;
Badanie ankietowe CATI/CAWI z ostatecznymi odbiorcami wsparcia;
Badanie ankietowe CATI/CAWI z zagranicznymi i polskimi partnerami projektów;
Maksymalnie 30% zaplanowanych wywiadów indywidualnych bezpośrednich
(IDI);
I panel ekspertów – podsumowujący I etap badań, dokonujący oceny i analizy
eksperckiej oraz formułujący wskazówki do II etapu badań.
Rezultatem I etapu jest raport cząstkowy.
ETAP II BADAŃ – obowiązkowo obejmuje pozostałą część minimum metodologicznego,
zrealizowaną na podstawie uzupełnionych narzędzi badawczych.
Rezultatem II etapu jest raport końcowy, raport skrócony i prezentacja multimedialna.
11
II panel ekspertów dotyczący wypracowania ostatecznych wniosków i wskazówek oraz
ostatecznego kształtu raportu i oceny eksperckiej wyników odbywa się w trakcie konsultacji
wstępnej wersji raportu końcowego.
W ramach badania obowiązują następujące terminy:
1) Dostarczenie wstępnej wersji raportu metodologicznego: w terminie 14 dni od
dnia podpisania umowy;
2) Konsultacje raportu metodologicznego: w terminie 14 dni od dnia dostarczenia
raportu metodologicznego (rezultat: zaakceptowana ostateczna wersja raportu
metodologicznego);
3) Dostarczenie wstępnej wersji raportu cząstkowego (w tym I panel ekspertów):
w terminie 85 dni od zaakceptowania raportu metodologicznego przez
Zamawiającego;
4) Konsultacje raportu cząstkowego: w terminie 14 dni od dnia dostarczenia
raportu cząstkowego (rezultat: zaakceptowana ostateczna wersja raportu
cząstkowego);
5) Dostarczenie wstępnej wersji raportu końcowego, raportu skróconego i
prezentacji multimedialnej: w terminie 40 dni od dnia zaakceptowania
ostatecznej wersji raportu cząstkowego (rezultat: zaakceptowana ostateczna
wersja raportu cząstkowego);
6) Konsultacje raportu końcowego (w tym II panel ekspertów): w terminie 14 dni
od dnia dostarczenia raportu końcowego (rezultat: zaakceptowana ostateczna
wersja raportu końcowego, raportu skróconego i prezentacji multimedialnej).
6. PRODUKTY BADANIA I SPOSÓB PREZENTACJI DANYCH
Raport metodologiczny – wersja wstępna i wersja ostateczna – musi zawierać co najmniej
następujące elementy:
• spis treści;
• wprowadzenie (skrócony opis celów, zakresu i koncepcji badania);
• szczegółowy opis procesu realizacji badania ze wskazaniem harmonogramu w
układzie tygodniowym oraz z zakresem obowiązków i podziałem odpowiedzialności
poszczególnych członków zespołu;
• szczegółowy wykaz dokumentów i danych, które zostaną poddane analizie desk
research;
• planowany skład I i II Panelu Ekspertów;
• szczegółowy opis sposobu realizacji badania krok po kroku, uwzględniający wszystkie
metody i techniki gromadzenia i analizy danych oraz szczegółowy opis prób
badawczych;
• szczegółowy opis planowanego sposobu analizy wpływu MF EOG i NMF na
gospodarkę i społeczeństwo;
12
• narzędzia badawcze przewidziane do wykorzystania w ramach badania (w tym w
ramach minimum metodologicznego: kwestionariusze do badań CATI/CAWI ze
wszystkimi badanymi grupami, dyspozycje do wywiadów IDI/ITI ze wszystkimi
badanymi grupami, wywiadów grupowych, scenariusze paneli ekspertów);
Wstępna i ostateczna wersja raportu metodologicznego zostaną opracowane w formacie
.docx (lub .doc) i przekazane Zamawiającemu drogą elektroniczną na podany w umowie
adres e-mail.
Raport metodologiczny powinien zostać sporządzony w języku polskim.
Raport cząstkowy – wersja I (wstępna), wersja II i wersja ostateczna – musi zawierać co
najmniej następujące elementy:
• opis wyników I etapu badania ilustrowany wykresami, tabelami i innymi formami
graficznej prezentacji danych;
• najważniejsze wnioski z I etapu badania wraz z oceną ekspercką;
•
wskazówki do II etapu badania.
Załącznikiem do raportu cząstkowego ma być uzupełnienie narzędzi badawczych
przeznaczonych do wykorzystania w II etapie o pytania związane z interpretacją wyników I
etapu badania.
Wstępna i ostateczna wersja raportu cząstkowego zostaną opracowane w formacie .docx
(lub .doc) i przekazane Zamawiającemu drogą elektroniczną na podany w umowie adres
e-mail.
Raport cząstkowy powinien zostać sporządzony w dwóch wersjach językowych: w języku
polskim
i w języku angielskim.
Raport końcowy – wersja wstępna i ostateczna – musi zawierać co najmniej następujące
elementy:
• streszczenie (max. 7 500 znaków ze spacjami);
• opis metodologii zastosowanej w badaniu;
• opis procesu realizacji badania;
• opis wyników badania ilustrowany wykresami, tabelami i innymi formami graficznej
prezentacji danych, w tym pojedyncze rozdziały dotyczące każdego z poszczególnych
Programów;
• syntetyczne odpowiedzi na wszystkie pytania badawcze;
• najważniejsze wnioski z badania wraz z oceną ekspercką;
•
wskazówki dotyczące usprawnień i kolejnego okresu programowania.
13
Wersja wstępna i wersja II raportu końcowego zostaną opracowane w formacie .docx (lub
.doc)
i przekazane Zamawiającemu drogą elektroniczną na podany w umowie adres e-mail.
Ostateczna wersja raportu końcowego zostanie opracowana w wersji .docx (lub .doc) oraz w
formie drukowanej w 3 egzemplarzach i przekazana Zamawiającemu w wersji elektronicznej
na podany w umowie adres e-mail. Raport powinien mieć maksymalnie 180 stron + ew.
załączniki.
Raport końcowy powinien zostać sporządzony w dwóch wersjach językowych: w języku
polskim
i w języku angielskim.
Raport skrócony (wersja wstępna i wersja ostateczna) musi zawierać co najmniej
następujące elementy:
• wprowadzenie do badania wraz z opisem metodologii (max. 5 000 znaków);
• opis wyników badania napisany prostym językiem, ilustrowany wykresami, tabelami i
innymi formami graficznej prezentacji danych;
•
zestawienie najważniejszych wniosków z badania oraz wskazówek dotyczących
usprawnień
i kolejnego okresu programowania.
Maksymalna długość raportu skróconego to 40 000 znaków ze spacjami.
Wstępna wersja raportu skróconego zostanie opracowana w formacie .docx (lub .doc) i
przekazana Zamawiającemu drogą elektroniczną na podany w umowie adres e-mail.
Ostateczna wersja raportu skróconego zostanie opracowana w wersji .docx (lub .doc) oraz w
formie drukowanej w 3 egzemplarzach i przekazana Zamawiającemu w wersji elektronicznej
na podany w umowie adres e-mail oraz bezpośrednio do siedziby Zamawiającego
(Ministerstwo Rozwoju, Departament Programów Pomocowych, Pl. Trzech Krzyży 3/5, 00507 Warszawa).
Raport skrócony powinien zostać sporządzony w dwóch wersjach językowych: w języku
polskim i w języku angielskim.
Prezentacja multimedialna (wersja wstępna i wersja ostateczna) musi zawierać co najmniej
następujące elementy:
• wprowadzenie do badania, cele badania, opis metod (max. 5 slajdów);
• najważniejsze wyniki badania (max. 15 slajdów);
•
zestawienie najważniejszych wniosków z badania oraz wskazówek dotyczących
usprawnień
i kolejnego okresu programowania (max. 10 slajdów).
14
Wstępna i ostateczna wersja prezentacji multimedialnej zostanie opracowana w formacie
.pptx (lub .ppt) i przekazana Zamawiającemu drogą elektroniczną na podany w umowie
adres e-mail.
Prezentacja multimedialna powinna zostać sporządzona w dwóch wersjach językowych: w
języku polskim i w języku angielskim.
7. WYMAGANIA DOTYCZĄCE WSPÓŁPRACY Z ZAMAWIAJĄCYM
Współpraca Wykonawcy z Zamawiającym odbywa się na następujących zasadach:
• Wykonawca jest zobowiązany do stałej współpracy z Zamawiającym na wszystkich
etapach realizacji badania, oraz – na wybranych etapach – z niezależnym ekspertem
zewnętrznym Zamawiającego;
• Wykonawca na żądanie Zamawiającego jest zobowiązany do przedstawienia
bieżących wyników prac w miejscu wskazanym przez Zamawiającego;
• Wykonawca będzie sporządzał elektronicznie, co 2 tygodnie, robocze sprawozdanie
z postępu realizacji badania przedstawiające co najmniej liczbę zrealizowanych ankiet
i wywiadów, stan realizacji analizy desk research oraz problemy, które pojawiły się w
trakcie realizacji badania.
• Zamawiający oczekuje od Wykonawcy zaprezentowania wyników badania
ewaluacyjnego
w ramach dwóch spotkań. Terminy i miejsca wyznaczone zostaną przez
Zamawiającego. Koszty dotarcia na spotkania pokrywa Wykonawca.
• W terminie do 7 dni od podpisania umowy Wykonawca przekaże Zamawiającemu
listę danych, których potrzebuje do ewaluacji, a Zamawiający przekaże Wykonawcy
dane, które są w jego dyspozycji, nie są dostępne publicznie i Zamawiający może je
udostępnić. Zamawiający przekaże Wykonawcy te dane w wersji elektronicznej lub
drukowanej.
• Zamawiający ułatwi (jeśli będzie to konieczne) dostęp do informacji i danych,
ważnych
z punktu widzenia realizowanego badania ewaluacyjnego, gromadzonych przez inne
instytucje zaangażowane w proces zarządzania i wdrażania MF EOG i NMF.
•
Wykonawca zachowa poufność odnośnie jakichkolwiek informacji czy dokumentów
ujawnionych, odkrytych, zgromadzonych lub opracowanych w trakcie
przeprowadzania badania. Ponadto, Wykonawca zobowiązuje się, że informacje te
będą wykorzystane jedynie do celów badania i nie zostaną ujawnione osobom
trzecim oraz że zostaną zniszczone/usunięte po zakończeniu badania.
•
Zamawiający może przedstawiać uwagi oraz prowadzić spotkania w języku
angielskim.
15
Badanie będzie finansowane ze środków Mechanizmu Finansowego Europejskiego Obszaru
Gospodarczego na lata 2009-2014 oraz ze środków Norweskiego Mechanizmu Finansowego na lata
2009-2014.
Wszystkie raporty, które zostaną opracowane w toku badania ewaluacyjnego, powinny być
opatrzone logotypami: Ministerstwa Rozwoju (do pobrania na stronie internetowej MR –
http://www.mr.gov.pl/), funduszy EOG i funduszy norweskich (do pobrania na stronie internetowej
funduszy – https://www.eog.gov.pl/) oraz formułą „Badanie zostało sfinansowane z funduszy
norweskich i EOG pochodzących z Islandii, Liechtensteinu i Norwegii".
16
Załącznik:
Tabela nr 1 przedstawia Programy objęte ewaluacją i aktualną liczbę projektów w ramach
każdego
z ww. Programów, z podziałem na projekty predefiniowane i konkursowe.
Tabela 1. Programy i projekty w ramach Mechanizmów Finansowych
Nr
programu
Nazwa programu
Operator
DPP
Liczba projektów
zrealizowanych i będących
w trakcie realizacji
w tym
w tym
predefiniowane konkursowe
PL01
Fundusz Pomocy
Ministerstwo
Technicznej
Rozwoju
i Fundusz
Współpracy
Dwustronnej na
poziomie krajowym
PL02
(PA02/MF
EOG)
Ochrona
różnorodności
biologicznej
i ekosystemów
PL03
(PA03/MF
EOG)
Ministerstwo
Wzmocnienie
Środowiska oraz
monitoringu
Narodowy Fundusz
środowiska oraz
Ochrony Środowiska
działań kontrolnych
i Gospodarki Wodnej
nie dotyczy
Ministerstwo
nie dotyczy
Środowiska oraz
Narodowy Fundusz
Ochrony Środowiska
i Gospodarki Wodnej
Norweska Agencja
ds. Klimatu
i Zanieczyszczeń
(KLIF)
7
nie dotyczy
nie dotyczy
1
60
4
5
Oszczędzanie
PL04 (PA05
energii
& PA06/MF
i promowanie
EOG,
odnawialnych
PA20/NMF)
źródeł energii
Ministerstwo
nie dotyczy
Środowiska oraz
Narodowy Fundusz
Ochrony Środowiska
i Gospodarki Wodnej
24
105
PL05
(PA10/MF
EOG)
Fundacja im.
S. Batorego oraz
Polska Fundacja
Dzieci i Młodzieży
nie dotyczy
brak
543
Obywatele dla
Demokracji
Ministerstwo
Rozwoju
nie dotyczy
1
17
PL06
(PA12/MF
EOG)
Rozwój miast
poprzez
wzmocnienie
kompetencji
jednostek
samorządu
terytorialnego,
dialog społeczny
7
Projekty w ramach Funduszu Współpracy Dwustronnej na poziomie krajowym
17
Nr
programu
Nazwa programu
Operator
DPP
Liczba projektów
zrealizowanych i będących
w trakcie realizacji
w tym
w tym
predefiniowane konkursowe
oraz współpracę
z przedstawicielami
społeczeństwa
obywatelskiego
Ministerstwo
Poprawa i lepsze
Zdrowia
dostosowanie
ochrony zdrowia
do trendów
demograficznoepidemiologicznych
nie dotyczy
brak
37
PL08
(PA16/MF
EOG)
Konserwacja
i rewitalizacja
dziedzictwa
kulturowego
Ministerstwo
Kultury
i Dziedzictwa
Narodowego
nie dotyczy
1
22
Ministerstwo
Kultury
i Dziedzictwa
Narodowego
Norweska Rada
Sztuki (NKR)
przy wsparciu
Norweskiego
Dyrektoriatu
ds. Dziedzictwa
Kulturowego (RA)
brak
62
PL09
(PA17/MF
EOG)
Promowanie
różnorodności
kulturowej
i artystycznej
w ramach
europejskiego
dziedzictwa
kulturowego
Fundacja Rozwoju
Systemu Edukacji
Norweskie Centrum
Współpracy
Międzynarodowej
w Szkolnictwie
Wyższym (SIU),
Islandzkie Centrum
Badań (RANNIS)
oraz Agencja
ds. Kształcenia
Międzynarodowego
(AIBA) w Liechtensteinie
brak
171
Polsko-Norweska
PL12
Współpraca
(PA23/NMF)
Badawcza
Narodowe Centrum
Badań i Rozwoju
Norweska Rada
Nauki
brak
109
Ograniczanie
PL13
społecznych
(PA27/NMF) nierówności
w zdrowiu
Ministerstwo
Zdrowia
Norweski
Dyrektoriat do
Spraw Zdrowia
1
26
Przeciwdziałanie
PL14
przemocy
(PA29/NMF) w rodzinie
i przemocy ze
Ministerstwo
Rodziny, Pracy
i Polityki Społecznej
nie dotyczy
3
19
PL07
(PA27/NMF
& PA13/MF
EOG)
PL10
(PA24/NMF
& PA19/MF
EOG)
Fundusz
Stypendialny
i Szkoleniowy
18
Nr
programu
Nazwa programu
Operator
DPP
Liczba projektów
zrealizowanych i będących
w trakcie realizacji
w tym
w tym
predefiniowane konkursowe
względu na płeć
Współpraca
Ministerstwo Spraw
w obszarze
Wewnętrznych
Schengen i walka
i Administracji
z przestępczością
transgraniczną
PL15
i zorganizowaną,
(PA30/NMF)
w tym
przeciwdziałanie
handlowi ludźmi
oraz migracjom
grup przestępczych
nie dotyczy
2
23
Budowanie
potencjału
instytucjonalnego
i współpraca
w obszarze
PL16
wymiaru
(PA31/NMF)
sprawiedliwości /
Poprawa
skuteczności
wymiaru
sprawiedliwości
Ministerstwo
Sprawiedliwości
Norweska Krajowa
Administracja
Sądów (Norwegian
National Courts
Administration)
6
brak
Zespół ds. Funduszy
Europejskich
w Centralnym
Zarządzie Służby
Więziennej
Norweskie Służby
Więzienne
7
brak
Wsparcie Służby
PL17
Więziennej,
(PA32/NMF) w tym sankcji
pozawięziennych
PL18
Green Industry
Innovation
BMF/ Innovation
Norway
nie dotyczy
brak
28
BMF/ Innovation
Norway
nie dotyczy
brak
11
(PA 22)
Fundusz na rzecz
godnej pracy
i dialogu
trójstronnego
50
1238
RAZEM
Źródło: baza „EEAGrants Project Database”, na podstawie: http://eeagrants.org/project-portal (stan wg
Raportu Strategicznego na 2015 r. oraz aktualnych danych).
19