pobierz - ministerstwo rozwoju
Transkrypt
pobierz - ministerstwo rozwoju
BDG.2511.25.2016.GK Załącznik Nr 1 do SIWZ SZCZEGÓŁOWY OPIS PRZEDMIOTU ZAMÓWIENIA Ocena efektów oraz systemu zarządzania i wdrażania Mechanizmu Finansowego Europejskiego Obszaru Gospodarczego 2009-2014 i Norweskiego Mechanizmu Finansowego 2009-2014 SŁOWNICZEK PODSTAWOWYCH POJĘĆ I SKRÓTÓW Słowo lub skrót użyte w niniejszym SOPZ: Należy rozumieć jako: Beneficjent Instytucja realizująca projekt BMF Biuro Mechanizmów Finansowych CATI Ankieta telefoniczna interview) CAWI Ankieta internetowa (ang. computer-assisted web interview) DPP Partnerzy Programów z Państw-Darczyńców IDI Wywiad indywidualny pogłębiony (ang. individual in-depth interview) ITI Wywiad pogłębiony telefoniczny (ang. in-depth telephone interview) MF EOG Mechanizm Finansowy Europejskiego Obszaru Gospodarczego na lata 2009-2014 NMF Norweski Mechanizm Finansowy na lata 2009-2014 (ang. computer-assisted telephone Mechanizmy Finansowe, Mechanizm Finansowy Europejskiego Obszaru Gospodarczego Mechanizmy, MF EOG i NMF na lata 2009-2014 i Norweski Mechanizm Finansowy na lata 2009-2014 MR Ministerstwo Rozwoju KPK Krajowy Punkt Kontaktowy Ostateczny odbiorca Osoba lub instytucja uczestnicząca w projekcie realizowanym przez Beneficjenta lub czerpiąca korzyści dzięki projektowi 1. WPROWADZENIE 1.1. KONTEKST REALIZACJI BADANIA 1 Niniejsze badanie ewaluacyjne dotyczy Mechanizmu Finansowego Europejskiego Obszaru Gospodarczego na lata 2009-2014 oraz Norweskiego Mechanizmu Finansowego na lata 2009-2014 (dalej: MF EOG i NMF). Mechanizmy te mają na celu: • przyczynić się do zmniejszania różnic ekonomicznych i społecznych w obrębie Europejskiego Obszaru Gospodarczego; • przyczynić się do wzmocnienia stosunków dwustronnych pomiędzy PaństwamiDarczyńcami (w przypadku MF EOG – Islandią, Księstwem Liechtensteinu oraz Królestwem Norwegii; w przypadku NMF – Królestwem Norwegii) a PaństwemBeneficjentem. Dla Polski, jako jednego z Państw-Beneficjentów MF EOG i NMF, zaplanowana została pomoc finansowa w wysokości 578,1 mln EUR, włączając w to koszty zarządzania funduszami ponoszone przez stronę Darczyńców oraz przez stronę polską. Jest ona dostępna w następujących obszarach programowych: a) dla MF EOG: Różnorodność biologiczna i działania na rzecz ekosystemów; Monitoring środowiska oraz zintegrowane planowanie i kontrola; Efektywność energetyczna i odnawialne źródła energii; Fundusz dla Organizacji Pozarządowych; Lokalne i regionalne inicjatywy na rzecz zmniejszenia nierówności i promowania spójności społecznej; Inicjatywy na rzecz ochrony zdrowia; Konserwacja i rewitalizacja dziedzictwa kulturowego i naturalnego; Promowanie różnorodności kulturowej i artystycznej w ramach europejskiego dziedzictwa kulturowego; Fundusz Stypendialny; b) dla NMF: Innowacje w zakresie „Zielonych Technologii”; Dwustronna współpraca badawcza; Dwustronny program stypendialny; Inicjatywy na rzecz ochrony zdrowia; Przeciwdziałanie przemocy w rodzinie i przemocy ze względu na płeć; Współpraca w obszarze Schengen oraz walka z przestępczością transgraniczną i zorganizowaną, w tym przeciwdziałanie handlowi ludźmi oraz migracjom grup przestępczych; Budowanie potencjału instytucjonalnego i współpraca w obszarze wymiaru sprawiedliwości; Wsparcie Służby Więziennej, w tym sankcji pozawięziennych; Dziedzictwo kulturowe; Globalny fundusz na rzecz godnej pracy i dialogu trójstronnego. Główną instytucją odpowiedzialną za realizację MF EOG i NMF jest Krajowy Punkt Kontaktowy. W Polsce funkcję Krajowego Punktu Kontaktowego pełni Ministerstwo Rozwoju, Departament Programów Pomocowych (dawniej – Ministerstwo Rozwoju Regionalnego, Departament Programów Pomocowych i Pomocy Technicznej). Fundusze norweskie i EOG wdrażane są w Polsce w ramach 18 Programów, obejmujących wymienione powyżej obszary oraz Fundusz Pomocy Technicznej i Fundusz Współpracy Dwustronnej na poziomie krajowym. W ramach Programów realizowane są: • projekty predefiniowane – wskazane do realizacji na podstawie Programu, bez konieczności organizacji konkursów; • projekty konkursowe, w tym: projekty duże oraz w ramach Funduszu Małych Grantów. Za realizację każdego z Programów odpowiada Operator Programu. Do jego zadań należy organizacja konkursów, przyjmowanie i ocena wniosków, monitoring realizacji projektów i promocja Programu. 2 1.2. UZASADNIENIE REALIZACJI BADANIA Państwa-Beneficjenci są zobowiązane1 przeprowadzić ewaluacje Programów, w celu oceny rzeczywistych i/lub oczekiwanych efektów na poziomie rezultatu. Ewaluacja ta ma być przeprowadzona przez zewnętrznych ekspertów lub podmioty niezależne od instytucji systemu wdrażania. Podstawowe wytyczne dla ewaluacji MF EOG i NMF na lata 2009-2014 zawiera dokument pt. „Evaluation Guideline – EEA and Norwegian Financial Mechanism 2009-2014”2. Zgodnie z tymi wytycznymi, ewaluacja ma pomóc Państwu-Beneficjentowi i Darczyńcom uczyć się na doświadczeniach, dokumentować efekty rezultatów oraz oceniać jakość Programów. Aktualny stan wdrażania Mechanizmów pozwala na realizację kompleksowego badania ewaluacyjnego zarówno dla MF EOG, jak i dla NMF. W trakcie wdrażania jest 18 Programów, w tym Fundusz Pomocy Technicznej i Fundusz Współpracy Dwustronnej na poziomie krajowym. Na poziomie poszczególnych Programów, w ramach Mechanizmów, funkcjonują systemy wdrażania, naboru wniosków, sprawozdawczości, rozliczania i kontroli. Badanie pozwoli zatem na ocenę osiągniętych dotychczas rezultatów projektów i Programów oraz ich wpływu na: • zmniejszenie różnic ekonomicznych i społecznych między obszarami, w których realizowane są projekty, a pozostałymi obszarami; • wzmocnienie stosunków dwustronnych pomiędzy Polską a Państwami-Darczyńcami; • poprawę sytuacji w zdefiniowanych obszarach priorytetowych. Ponadto, badanie pozwoli na oszacowanie prognozowanych/oczekiwanych rezultatów Programów w przypadku projektów, dla których okres kwalifikowalności wydatków został wydłużony poza 30 kwietnia 2016 r. Ewaluacja umożliwi też określenie stopnia trafności i skuteczności zastosowanego systemu wdrażania Mechanizmów, w tym struktury instytucjonalnej, procedur i dokumentów na poziomie Krajowego Punktu Kontaktowego i poszczególnych Operatorów. Wskazówki dotyczące usprawnień systemu wdrażania wykorzystane zostaną w miarę możliwości w aktualnym okresie programowania, jak również w realizacji podobnych programów w przyszłości. 1.3. KRYTERIA EWALUACYJNE W badaniu zastosowane zostaną następujące kryteria ewaluacyjne zdefiniowane poniżej, specyficznie w relacji do przedmiotu badania3: • Skuteczność (Effectiveness) – stopień realizacji zakładanych celów w odniesieniu do użytych metod, instytucji oraz wpływ czynników zewnętrznych na ostateczne efekty; 1 Zgodnie z art. 9.1 Regulacji w sprawie wdrażania Mechanizmu Finansowego Europejskiego Obszaru Gospodarczego (EOG) oraz art. 9.1 Regulacji w sprawie wdrażania Norweskiego Mechanizmu Finansowego na lata 2009-2014. 2 Dokument znajduje się na stronie: http://eeagrants.org/content/download/5246/51882/version/1/file/Guidelines+on+evaluation.pdf 3 Na podstawie: Evaluation Guideline EEA and Norwegian Financial Mechanism 2009-2014; K. Olejniczak, M. Kozak, B. Ledzion (red.) „Teoria i praktyka ewaluacji interwencji publicznych”, Wydawnictwa Akademickie i Profesjonalne, Akademia Leona Koźmińskiego, Warszawa 2008. 3 • Wydajność (Efficiency) – relacje między nakładami, kosztami, zasobami (finansowymi, ludzkimi, administracyjnymi), przyjętymi metodami wdrażania a osiągniętymi rezultatami Programów w ramach MF EOG i NMF; • Trwałość (Sustainability) – ciągłość efektów (przede wszystkim pozytywnych) danej interwencji w perspektywie średnio- i długookresowej (w tym po zakończeniu realizacji Programów); • Wpływ (Impact) – ocena bezpośredniego i pośredniego oddziaływania interwencji na obszary nią objęte i grupy docelowe. 2. ZAKRES BADANIA 2.1. Zakres czasowy Ewaluacja dotyczy okresu od początku realizacji MF EOG na lata 2009-2014 oraz NMF na lata 2009-2014 do momentu realizacji poszczególnych etapów badania przez Wykonawcę. 2.2. Zakres przedmiotowy Przedmiotem badania są: • Programy realizowane na podstawie Memorandum of Understanding Wdrażania Mechanizmu Finansowego Europejskiego Obszaru Gospodarczego na lata 2009-2014 pomiędzy Islandią, Księstwem Liechtensteinu i Królestwem Norwegii a Rzecząpospolitą Polską oraz na podstawie Memorandum of Understanding Wdrażania Norweskiego Mechanizmu Finansowego na lata 2009-2014 pomiędzy Królestwem Norwegii a Rzecząpospolitą Polską, jak również projekty dofinansowywane w ramach powyższych Programów (szczegółowy spis Programów wraz z liczbą projektów znajduje się w tabeli stanowiącej załącznik do SOPZ); • system wdrażania i zarządzania MF EOG i NMF w Polsce, w tym poszczególnych Programów. W sposób pogłębiony należy dokonać oceny Programu PL06 – „Rozwój miast poprzez wzmocnienie kompetencji jednostek samorządu terytorialnego, dialog społeczny oraz współpracę z przedstawicielami społeczeństwa obywatelskiego”. CELE BADANIA 2.3. CEL GŁÓWNY Celem głównym badania jest ocena efektów Programów i projektów realizowanych w ramach Mechanizmu Finansowego EOG na lata 2009-2014 oraz Norweskiego Mechanizmu Finansowego na lata 2009-2014 oraz ocena systemów wdrażania i zarządzania 4 zastosowanych w poszczególnych Programach wraz ze sformułowaniem wskazówek dotyczących usprawnień dla obecnych i kolejnych podobnych programów. 2.4. PYTANIA BADAWCZE I KRYTERIA EWALUACYJNE Poniższa tabela przedstawia pytania badawcze sformułowane na potrzeby niniejszej ewaluacji. Do każdego pytania zostały przypisane najważniejsze kryteria ewaluacyjne. Tabela 1. Pytania badawcze i kryteria ewaluacyjne PYTANIA BADAWCZE KRYTERIA EWALUACYJNE 1) W jakim stopniu Programy i projekty realizowane w ramach MF EOG i NMF przyczyniły się do zmniejszania różnic ekonomicznych i społecznych w województwach, w których realizowane były projekty w ramach MF EOG i NMF, oraz pomiędzy tymi województwami? • • • skuteczność wpływ trwałość 2) W jakim stopniu Programy i projekty realizowane w ramach MF EOG i NMF przyczyniły się do wzmocnienia stosunków dwustronnych pomiędzy Polską a Norwegią, między Polską a Islandią i między Polską a Liechtensteinem? • • • skuteczność wpływ trwałość 3) W jakim stopniu udało się osiągnąć cele (poprzez osiągnięcie wartości wskaźników produktów i rezultatów) poszczególnych Programów4 realizowanych w ramach MF EOG i NMF oraz trwałość rezultatów? (w tym pogłębiona ocena Programu PL06) • • skuteczność wpływ 4) Czy mechanizmy zastosowane w Pomocy Technicznej były adekwatne do potrzeb instytucji zaangażowanych we wdrażanie MF EOG i NMF, w tym w odniesieniu do promocji i informacji? • • skuteczność wydajność 5) W jakim stopniu systemy zarządzania i kontroli, naboru i oceny wniosków, monitoringu (w tym wskaźników) zastosowane w MF EOG i NMF oraz poszczególnych Programach okazały się skuteczne i wydajne? • • skuteczność wydajność 4 Patrz: „Uwaga” pod tabelą. DLA PROGRAMÓW PL05, PL18 i PA22 nie stosuje się pytań od 3 do 6. DLA POZOSTAŁYCH PROGRAMÓW należy zastosować wszystkie pytania badawcze. 5 PYTANIA BADAWCZE KRYTERIA EWALUACYJNE 6) • • Jakie usprawnienia należałoby wprowadzić w zakresie systemów zarządzania i kontroli dla poszczególnych Programów, promocji i informacji, systemów instytucjonalnych, procedur i dokumentów, w tym Regulacji, podręczników i wytycznych (w szczególności w kolejnym okresie programowania)? skuteczność wydajność Źródło: opracowanie własne UWAGA: DLA PROGRAMÓW PL05, PL18 i PA22 nie stosuje się pytań od 3 do 6. DLA POZOSTAŁYCH PROGRAMÓW należy zastosować wszystkie pytania badawcze. Zadaniem Wykonawcy będzie sformułowanie rekomendacji dotyczących usprawnień w zakresie systemów zarządzania i kontroli, promocji i informacji, systemów instytucjonalnych, procedur i dokumentów, w tym Regulacji, podręczników i wytycznych (w szczególności w kolejnym okresie programowania). 3. WSKAZÓWKI USZCZEGÓŁAWIAJĄCE Dla każdego z powyższych pytań badawczych sformułowano zestaw wskazówek kierunkowych. Pytania te zawiera poniższa tabela. Tabela 2. Wskazówki uszczegóławiające, przyporządkowane do poszczególnych pytań badawczych Pytanie 1: W jakim stopniu Programy i projekty realizowane w ramach MF EOG i NMF przyczyniły się do zmniejszania różnic ekonomicznych i społecznych w województwach, w których realizowane były projekty w ramach MF EOG i NMF, oraz pomiędzy tymi województwami? Wskazówki kierunkowe: 1.1. Jak w czasie realizacji MF EOG i NMF zmieniła się sytuacja społeczna i gospodarcza w województwach, w których realizowane były Programy i projekty w ramach MF EOG i NMF? 1.2. W których województwach wpływ Programów i projektów realizowanych w ramach MF EOG i NMF był najsilniejszy, a w których najsłabszy i dlaczego? 1.3. Jakie Programy miały najsilniejszy, a jakie najsłabszy wpływ na sytuację społeczno-gospodarczą terenów objętych projektami finansowanymi z MF EOG i NMF i dlaczego? 1.4. Jaki jest wpływ realizacji poszczególnych Programów i projektów na sytuację grup docelowych (w tym na wyrównanie ich szans społeczno-gospodarczych)? Pytanie 2: W jakim stopniu Programy i projekty realizowane w ramach MF EOG i NMF przyczyniły się do wzmocnienia stosunków dwustronnych pomiędzy Polską a Norwegią, między Polską a Islandią i między Polską a Liechtensteinem? Wskazówki kierunkowe: 2.1. Jak przedstawiała się współpraca instytucji systemu wdrażania, beneficjentów i partnerów 6 projektowych z Polski z instytucjami z Państw-Darczyńców w ramach MF EOG i NMF na każdym etapie: poszukiwania i doboru partnerów, opracowywania wniosku, realizacji projektu, rozliczania projektu? W ilu i w jakich projektach wystąpiła ta współpraca? Czym charakteryzowały się projekty, w których wystąpiła ta współpraca, w porównaniu z projektami, w których taka współpraca nie wystąpiła? (do uwzględnienia rola i stopień realizacji Funduszu Współpracy Dwustronnej na poziomie krajowym, Funduszu Współpracy Dwustronnej na poziomie programu oraz działań uzupełniających w ramach poszczególnych Programów) 2.2. Jakie były główne bariery i problemy we współpracy na każdym jej etapie: poszukiwania i doboru partnerów, opracowywania wniosku, realizacji projektu, rozliczania projektu? Jakie były czynniki sprzyjające tej współpracy? 2.3. Co stanowiło motywację do współpracy oraz jakie były kryteria doboru partnerów? Jak pod względem zakresu, przebiegu i efektów współpracy zagranicznej różniły się pomiędzy sobą Programy, w których współpraca była zdefiniowana (w propozycji programu, Memorandum of Understanding etc.) od tych, w których była dobrowolna? 2.4. Jaki jest aktualny wpływ tej współpracy na wzmocnienie stosunków dwustronnych pomiędzy Polską a Norwegią, między Polską a Islandią i między Polską a Liechtensteinem (w tym na wzrost wzajemnego zrozumienia, dzielenia się rezultatami działań, efekt synergii)? 2.5. W jakim stopniu współpraca z partnerami z Państw-Darczyńców przyczyniła się do osiągnięcia efektów Programów i projektów? 2.6. W jakim stopniu współpraca nawiązana w ramach MF EOG i NMF jest trwała? Jakie czynniki sprzyjają trwałości tej współpracy? 2.7. W jakim stopniu przyjęta formuła, założenia, procedury i system finansowania współpracy bilateralnej okazały się trafne i skuteczne w zakresie osiągania tych efektów? W jakim stopniu osiągnięto wskaźniki bilateralne dla Programów? Czy należałoby je zmienić, a jeśli tak, to w jaki sposób? Pytanie 3: W jakim stopniu udało się osiągnąć cele (poprzez osiągnięcie wartości wskaźników produktów i rezultatów) poszczególnych Programów5 realizowanych w ramach MF EOG i NMF oraz trwałość rezultatów? (w tym pogłębiona ocena Programu PL06) Wskazówki kierunkowe: 3.1. W jakim stopniu osiągnięto cele, efekty rzeczowe (rezultaty i produkty)6 w ramach poszczególnych Programów? 3.2. Jakie są dotychczasowe efekty rzeczowe realizowanych i zakończonych projektów (w tym wg obszarów priorytetowych, podziału terytorialnego i grup docelowych)? Jakie są przyczyny nieosiągnięcia lub przekroczenia wskaźników? 3.3. Jakie niezamierzone efekty (pozytywne i negatywne) miały miejsce w ramach realizowanych Programów i projektów? 3.4. Jakie są najważniejsze sukcesy osiągnięte w ramach MF EOG i NMF oraz realizowanych w ich ramach Programów i projektów? Jaka była wartość dodana zrealizowanych projektów? 5 DLA PROGRAMÓW PL05, PL18 i PA22 nie stosuje się pytań od 3 do 6. DLA POZOSTAŁYCH PROGRAMÓW należy zastosować wszystkie pytania badawcze. 6 Zgodnie z przyjętym systemem, rezultat na poziomie programu to cel na poziomie projektu a wynik/produkt na poziomie programu to rezultat na poziomie projektu. 7 3.5. W jakim stopniu efekty projektów realizowanych w ramach MF EOG i NMF są trwałe/można prognozować ich trwałość w przyszłości? W jakim stopniu cele i rezultaty projektów przyczyniają się do osiągnięcia rezultatów i produktów Programów? 3.6. Jakie kluczowe czynniki sprzyjają osiągnięciu rezultatów i ich trwałości? 3.7. Jakie były najważniejsze problemy i bariery, które pojawiły się na etapie realizacji projektów i Programów w ramach MF EOG i NMF? 3.8. Jakie rekomendacje z poprzednich ewaluacji zostały wdrożone, a jakie nie? W jakim stopniu wdrożone rekomendacje przyczyniły się do osiągnięcia celów Programów? 3.9. Jakim grupom docelowym wsparcie w ramach MF EOG i NMF przyniosło największe i najtrwalsze korzyści? 3.10. Czy osiągnięte efekty udałoby się osiągnąć bez interwencji MF EOG i NMF? Jeśli tak, z jakich źródeł byłyby finansowane działania dążące do ich osiągnięcia? DODATKOWE wskazówki DLA PROGRAMU PL06: 3.11. Jaki jest stan opracowywania zintegrowanych strategii rozwoju i planów operacyjnych w ramach Programu? Jaki jest stan opracowywania dokumentacji technicznej w ramach ww. strategii i planów i czy wynikają one z ww. dokumentów strategicznych? Jakie są dalsze plany dotyczące wykorzystania tych strategii i planów? 3.12. W jakim stopniu Program „Rozwój miast…” przyczynił się do rozwoju współpracy między JST oraz między JST i przedstawicielami społeczeństwa obywatelskiego/przedsiębiorcami? Czy nawiązana w ramach projektów współpraca partnerska jest trwała, względnie jaka jest jej prognozowana trwałość? 3.13. Jakie partnerstwa zawiązały się w ramach Programu, w jaki sposób partnerzy ze sobą współpracują i jaka jest perspektywa trwałości tej współpracy? 3.14. W jakim stopniu poszczególne działania podejmowane w zakresie projektu predefiniowanego przyczyniły się do podniesienia kompetencji przedstawicieli JST i lokalnych partnerstw? W jakim stopniu efekty tego projektu wpływają na realizację projektów konkursowych? 3.15. Jakie jest oddziaływanie współpracy nawiązanej lub rozwiniętej w ramach projektów na sytuację gmin, w których realizowane są projekty? Które działania są najbardziej, a które najmniej skuteczne? Pytanie 4: Czy mechanizmy zastosowane w Pomocy Technicznej były adekwatne do potrzeb instytucji zaangażowanych we wdrażanie MF EOG i NMF, w tym w odniesieniu do promocji i informacji? Wskazówki kierunkowe: 4.1. W jakim stopniu założenia i formuła Pomocy Technicznej i innych instrumentów związanych z zarządzaniem (także na poziomie Programów) były adekwatne do potrzeb i specyfiki instytucji zaangażowanych w realizację MF EOG i NMF oraz w jakim stopniu przyczyniły się one do osiągnięcia celów i rezultatów MF EOG i NMF? 4.2. W jakim stopniu zastosowane w ramach MF EOG i NMF narzędzia promocji i informacji okazały się skuteczne i trafne w odniesieniu do grup docelowych? 4.3. W jakim stopniu przekazywana potencjalnym beneficjentom informacja dotycząca MF EOG i NMF oraz poszczególnych Programów była przejrzysta, zrozumiała, spójna i kompletna? Pytanie 5: W jakim stopniu systemy zarządzania i kontroli, naboru i oceny wniosków, monitoringu 8 (w tym wskaźników) zastosowane w MF EOG i NMF oraz poszczególnych Programach okazały się skuteczne i wydajne? Wskazówki kierunkowe: 5.1. W jakim stopniu instytucjonalne systemy zarządzania i kontroli przyjęte w poszczególnych Programach okazały się trafne, skuteczne i wydajne? W jakim stopniu przyczyniły się one do sprawnego osiągnięcia efektów Programów? 5.2. Jaki jest poziom kompletności, przejrzystości, spójności i użyteczności dokumentów (m.in. Regulacji, podręczników, wytycznych) obowiązujących w ramach MF EOG i NMF oraz w ramach poszczególnych Programów? W jakim stopniu obowiązujące dokumenty zapewniały sprawną realizację Programów i projektów? 5.3. W jakim stopniu zastosowane w poszczególnych Programach procedury naboru i oceny wniosków były skuteczne, przejrzyste i gwarantowały nabór wniosków wysokiej jakości? 5.4. Jak beneficjenci oceniają relacje i kontakty z instytucjami zaangażowanymi we wdrażanie MF EOG i NMF oraz poszczególnych Programów pod względem przepływu informacji i skuteczności udzielonego wsparcia? 5.5. Jaki był stopień trafności, skuteczności i wydajności przyjętego systemu monitoringu i sprawozdawczości (na poziomie MF EOG i NMF, Programów i projektów), w tym informatycznego systemu sprawozdawczości? (dotyczy również bazy internetowej DoRIS – Documentation Reporting and Information System, zarządzanej przez Darczyńców) 5.6. Czy trafnie określono w ramach poszczególnych Programów wskaźniki monitoringowe oraz ich wartości docelowe? Czy wskaźniki zostały zdefiniowane w sposób przejrzysty i zrozumiały? Czy były/są one możliwe do osiągnięcia? 5.7. Czy pojawiły się bariery związane z wdrażaniem MF EOG i NMF oraz poszczególnych Programów? Jeżeli tak, jakie i jakie kroki podjęto, aby je zniwelować? 5.8. Jaki był stopień trafności, skuteczności i wydajności pozostałych procedur przyjętych w ramach MF EOG i NMF (kontrola, audyt, zmiany w projektach etc.)? W jakim stopniu obowiązujące dokumenty zapewniały sprawną realizację Programów i projektów? 5.9. W jakim stopniu sprawdziła się przyjęta struktura projektów konkursowych (dużych i małych grantów) oraz predefiniowanych, w tym również w ramach Funduszu Współpracy Dwustronnej na poziomie programu? Czy należy ją zmodyfikować w przyszłości? Jeśli tak, to dlaczego i w jaki sposób? Pytanie 6: Jakie usprawnienia należałoby wprowadzić w zakresie systemów zarządzania i kontroli dla poszczególnych Programów, promocji i informacji, systemów instytucjonalnych, procedur i dokumentów, w tym Regulacji, podręczników i wytycznych (w szczególności w kolejnym okresie programowania)? Wskazówki kierunkowe: 6.1. W jaki sposób należałoby usprawnić konstrukcję Programów, projektów i działań podejmowanych w ramach MF EOG i NMG oraz ich cele, aby osiągnąć jak najlepsze efekty i oddziaływanie? 6.2. Jak należałoby usprawnić system zarządzania i realizacji Programów MF EOG i NMF (w tym system instytucjonalny), aby był on jak najbardziej skuteczny, przejrzysty i przyczyniał się do osiągnięcia jak najlepszych rezultatów? 6.3. Jakie usprawnienia należałoby wprowadzić w dokumentach (m.in. Regulacjach, podręcznikach 9 i wytycznych) dla MF EOG i NMF, aby były one jak najbardziej spójne, przejrzyste i użyteczne, zapewniały sprawną realizację Programów i projektów i przyczyniały się do osiągnięcia trwałych efektów? 6.4. Jakie usprawnienia należałoby wprowadzić w procesach zarządzania i wdrażania MF EOG i NMF, m.in. w procesach naboru wniosków, sprawozdawczości, rozliczania, kontroli i współpracy z beneficjentami, aby były one jak najbardziej spójne, przejrzyste i użyteczne, zapewniały sprawną realizację Programów i projektów i przyczyniały się do osiągnięcia trwałych efektów? 4. MINIMUM METODOLOGICZNE 4.1. Metody i techniki gromadzenia danych Minimum metodologiczne, jakim Wykonawca jest zobowiązany posłużyć się w ramach badania, obejmuje poniższe metody i techniki gromadzenia danych. • Analiza desk research obejmująca co najmniej dokumenty, w tym Regulacje, podręczniki i wytyczne dotyczące systemów zarządzania i kontroli na poziomie MF EOG i NMF oraz na poziomie poszczególnych Programów (w tym sprawozdania z realizacji Programów, dokumenty dotyczące naboru wniosków, sprawozdania beneficjentów), dotychczasowe badania ewaluacyjne. • Techniki ilościowe: o badanie ankietowe CAWI lub CATI z Operatorami Programów; o badanie ankietowe CAWI lub CATI z beneficjentami projektów konkursowych i predefiniowanych; o badanie ankietowe CAWI lub CATI z ostatecznymi odbiorcami wsparcia (osobami, samorządami, organizacjami pozarządowymi i innymi organizacjami z terenów, na których były realizowane badania); o badanie ankietowe CAWI lub CATI z zagranicznymi i polskimi partnerami projektów. • Techniki jakościowe: o wywiady pogłębione bezpośrednie (IDI) z przedstawicielami BMF i PaństwDarczyńców; o wywiady pogłębione bezpośrednie (IDI) z przedstawicielami KPK; o wywiady pogłębione bezpośrednie (IDI) z Operatorami Programów; o wywiady pogłębione bezpośrednie lub telefoniczne (IDI/ITI) z Partnerami Programów z Państw-Darczyńców; o wywiady pogłębione bezpośrednie lub telefoniczne (IDI/ITI) z beneficjentami projektów konkursowych; o wywiady częściowo skategoryzowane bezpośrednie lub telefoniczne z beneficjentami projektów predefiniowanych; 10 o wywiady grupowe zogniskowane z przedstawicielami Programów, beneficjentów i instytucji systemu wdrażania. Operatorów Zamawiający zakłada, że Wykonawca w ofercie przedstawi sposób wyłonienia prób badawczych wraz z ich liczebnością. Struktura prób badawczych powinna odzwierciedlać strukturę projektów realizowanych w ramach poszczególnych Programów. 4.2. Metody analizy i oceny danych Do minimum metodologicznego, jakim Wykonawca jest zobowiązany posłużyć się w ramach badania, zalicza się poniższe metody i techniki analizy i oceny danych: • analiza wpływu MF EOG i NMF na gospodarkę i społeczeństwo (pytanie badawcze nr 1); • panele eksperckie (cykl dwóch paneli eksperckich – po jednym panelu na I i na II etapie badania), w których powinni uczestniczyć w szczególności: o przedstawiciele beneficjentów; o przedstawiciele środowiska akademickiego; • analiza SWOT/TOWS. 5. HARMONOGRAM REALIZACJI BADANIA Realizacja badania może trwać nie dłużej niż 181 dni kalendarzowych. Badanie ma być przeprowadzone etapowo, zgodnie z następstwem poszczególnych technik, przedstawionym poniżej. Umożliwi to trafną i wyczerpującą interpretację wyników badań ilościowych. Udział ekspertów na każdym etapie realizacji badania zapewni trafne sformułowanie wniosków i wskazówek dotyczących usprawnień. ETAP I BADAŃ – spośród minimum metodologicznego obowiązkowo obejmuje: • • • • • • Badanie ankietowe CATI/CAWI z Operatorami Programów; Badanie ankietowe CATI/CAWI z beneficjentami projektów konkursowych i predefiniowanych; Badanie ankietowe CATI/CAWI z ostatecznymi odbiorcami wsparcia; Badanie ankietowe CATI/CAWI z zagranicznymi i polskimi partnerami projektów; Maksymalnie 30% zaplanowanych wywiadów indywidualnych bezpośrednich (IDI); I panel ekspertów – podsumowujący I etap badań, dokonujący oceny i analizy eksperckiej oraz formułujący wskazówki do II etapu badań. Rezultatem I etapu jest raport cząstkowy. ETAP II BADAŃ – obowiązkowo obejmuje pozostałą część minimum metodologicznego, zrealizowaną na podstawie uzupełnionych narzędzi badawczych. Rezultatem II etapu jest raport końcowy, raport skrócony i prezentacja multimedialna. 11 II panel ekspertów dotyczący wypracowania ostatecznych wniosków i wskazówek oraz ostatecznego kształtu raportu i oceny eksperckiej wyników odbywa się w trakcie konsultacji wstępnej wersji raportu końcowego. W ramach badania obowiązują następujące terminy: 1) Dostarczenie wstępnej wersji raportu metodologicznego: w terminie 14 dni od dnia podpisania umowy; 2) Konsultacje raportu metodologicznego: w terminie 14 dni od dnia dostarczenia raportu metodologicznego (rezultat: zaakceptowana ostateczna wersja raportu metodologicznego); 3) Dostarczenie wstępnej wersji raportu cząstkowego (w tym I panel ekspertów): w terminie 85 dni od zaakceptowania raportu metodologicznego przez Zamawiającego; 4) Konsultacje raportu cząstkowego: w terminie 14 dni od dnia dostarczenia raportu cząstkowego (rezultat: zaakceptowana ostateczna wersja raportu cząstkowego); 5) Dostarczenie wstępnej wersji raportu końcowego, raportu skróconego i prezentacji multimedialnej: w terminie 40 dni od dnia zaakceptowania ostatecznej wersji raportu cząstkowego (rezultat: zaakceptowana ostateczna wersja raportu cząstkowego); 6) Konsultacje raportu końcowego (w tym II panel ekspertów): w terminie 14 dni od dnia dostarczenia raportu końcowego (rezultat: zaakceptowana ostateczna wersja raportu końcowego, raportu skróconego i prezentacji multimedialnej). 6. PRODUKTY BADANIA I SPOSÓB PREZENTACJI DANYCH Raport metodologiczny – wersja wstępna i wersja ostateczna – musi zawierać co najmniej następujące elementy: • spis treści; • wprowadzenie (skrócony opis celów, zakresu i koncepcji badania); • szczegółowy opis procesu realizacji badania ze wskazaniem harmonogramu w układzie tygodniowym oraz z zakresem obowiązków i podziałem odpowiedzialności poszczególnych członków zespołu; • szczegółowy wykaz dokumentów i danych, które zostaną poddane analizie desk research; • planowany skład I i II Panelu Ekspertów; • szczegółowy opis sposobu realizacji badania krok po kroku, uwzględniający wszystkie metody i techniki gromadzenia i analizy danych oraz szczegółowy opis prób badawczych; • szczegółowy opis planowanego sposobu analizy wpływu MF EOG i NMF na gospodarkę i społeczeństwo; 12 • narzędzia badawcze przewidziane do wykorzystania w ramach badania (w tym w ramach minimum metodologicznego: kwestionariusze do badań CATI/CAWI ze wszystkimi badanymi grupami, dyspozycje do wywiadów IDI/ITI ze wszystkimi badanymi grupami, wywiadów grupowych, scenariusze paneli ekspertów); Wstępna i ostateczna wersja raportu metodologicznego zostaną opracowane w formacie .docx (lub .doc) i przekazane Zamawiającemu drogą elektroniczną na podany w umowie adres e-mail. Raport metodologiczny powinien zostać sporządzony w języku polskim. Raport cząstkowy – wersja I (wstępna), wersja II i wersja ostateczna – musi zawierać co najmniej następujące elementy: • opis wyników I etapu badania ilustrowany wykresami, tabelami i innymi formami graficznej prezentacji danych; • najważniejsze wnioski z I etapu badania wraz z oceną ekspercką; • wskazówki do II etapu badania. Załącznikiem do raportu cząstkowego ma być uzupełnienie narzędzi badawczych przeznaczonych do wykorzystania w II etapie o pytania związane z interpretacją wyników I etapu badania. Wstępna i ostateczna wersja raportu cząstkowego zostaną opracowane w formacie .docx (lub .doc) i przekazane Zamawiającemu drogą elektroniczną na podany w umowie adres e-mail. Raport cząstkowy powinien zostać sporządzony w dwóch wersjach językowych: w języku polskim i w języku angielskim. Raport końcowy – wersja wstępna i ostateczna – musi zawierać co najmniej następujące elementy: • streszczenie (max. 7 500 znaków ze spacjami); • opis metodologii zastosowanej w badaniu; • opis procesu realizacji badania; • opis wyników badania ilustrowany wykresami, tabelami i innymi formami graficznej prezentacji danych, w tym pojedyncze rozdziały dotyczące każdego z poszczególnych Programów; • syntetyczne odpowiedzi na wszystkie pytania badawcze; • najważniejsze wnioski z badania wraz z oceną ekspercką; • wskazówki dotyczące usprawnień i kolejnego okresu programowania. 13 Wersja wstępna i wersja II raportu końcowego zostaną opracowane w formacie .docx (lub .doc) i przekazane Zamawiającemu drogą elektroniczną na podany w umowie adres e-mail. Ostateczna wersja raportu końcowego zostanie opracowana w wersji .docx (lub .doc) oraz w formie drukowanej w 3 egzemplarzach i przekazana Zamawiającemu w wersji elektronicznej na podany w umowie adres e-mail. Raport powinien mieć maksymalnie 180 stron + ew. załączniki. Raport końcowy powinien zostać sporządzony w dwóch wersjach językowych: w języku polskim i w języku angielskim. Raport skrócony (wersja wstępna i wersja ostateczna) musi zawierać co najmniej następujące elementy: • wprowadzenie do badania wraz z opisem metodologii (max. 5 000 znaków); • opis wyników badania napisany prostym językiem, ilustrowany wykresami, tabelami i innymi formami graficznej prezentacji danych; • zestawienie najważniejszych wniosków z badania oraz wskazówek dotyczących usprawnień i kolejnego okresu programowania. Maksymalna długość raportu skróconego to 40 000 znaków ze spacjami. Wstępna wersja raportu skróconego zostanie opracowana w formacie .docx (lub .doc) i przekazana Zamawiającemu drogą elektroniczną na podany w umowie adres e-mail. Ostateczna wersja raportu skróconego zostanie opracowana w wersji .docx (lub .doc) oraz w formie drukowanej w 3 egzemplarzach i przekazana Zamawiającemu w wersji elektronicznej na podany w umowie adres e-mail oraz bezpośrednio do siedziby Zamawiającego (Ministerstwo Rozwoju, Departament Programów Pomocowych, Pl. Trzech Krzyży 3/5, 00507 Warszawa). Raport skrócony powinien zostać sporządzony w dwóch wersjach językowych: w języku polskim i w języku angielskim. Prezentacja multimedialna (wersja wstępna i wersja ostateczna) musi zawierać co najmniej następujące elementy: • wprowadzenie do badania, cele badania, opis metod (max. 5 slajdów); • najważniejsze wyniki badania (max. 15 slajdów); • zestawienie najważniejszych wniosków z badania oraz wskazówek dotyczących usprawnień i kolejnego okresu programowania (max. 10 slajdów). 14 Wstępna i ostateczna wersja prezentacji multimedialnej zostanie opracowana w formacie .pptx (lub .ppt) i przekazana Zamawiającemu drogą elektroniczną na podany w umowie adres e-mail. Prezentacja multimedialna powinna zostać sporządzona w dwóch wersjach językowych: w języku polskim i w języku angielskim. 7. WYMAGANIA DOTYCZĄCE WSPÓŁPRACY Z ZAMAWIAJĄCYM Współpraca Wykonawcy z Zamawiającym odbywa się na następujących zasadach: • Wykonawca jest zobowiązany do stałej współpracy z Zamawiającym na wszystkich etapach realizacji badania, oraz – na wybranych etapach – z niezależnym ekspertem zewnętrznym Zamawiającego; • Wykonawca na żądanie Zamawiającego jest zobowiązany do przedstawienia bieżących wyników prac w miejscu wskazanym przez Zamawiającego; • Wykonawca będzie sporządzał elektronicznie, co 2 tygodnie, robocze sprawozdanie z postępu realizacji badania przedstawiające co najmniej liczbę zrealizowanych ankiet i wywiadów, stan realizacji analizy desk research oraz problemy, które pojawiły się w trakcie realizacji badania. • Zamawiający oczekuje od Wykonawcy zaprezentowania wyników badania ewaluacyjnego w ramach dwóch spotkań. Terminy i miejsca wyznaczone zostaną przez Zamawiającego. Koszty dotarcia na spotkania pokrywa Wykonawca. • W terminie do 7 dni od podpisania umowy Wykonawca przekaże Zamawiającemu listę danych, których potrzebuje do ewaluacji, a Zamawiający przekaże Wykonawcy dane, które są w jego dyspozycji, nie są dostępne publicznie i Zamawiający może je udostępnić. Zamawiający przekaże Wykonawcy te dane w wersji elektronicznej lub drukowanej. • Zamawiający ułatwi (jeśli będzie to konieczne) dostęp do informacji i danych, ważnych z punktu widzenia realizowanego badania ewaluacyjnego, gromadzonych przez inne instytucje zaangażowane w proces zarządzania i wdrażania MF EOG i NMF. • Wykonawca zachowa poufność odnośnie jakichkolwiek informacji czy dokumentów ujawnionych, odkrytych, zgromadzonych lub opracowanych w trakcie przeprowadzania badania. Ponadto, Wykonawca zobowiązuje się, że informacje te będą wykorzystane jedynie do celów badania i nie zostaną ujawnione osobom trzecim oraz że zostaną zniszczone/usunięte po zakończeniu badania. • Zamawiający może przedstawiać uwagi oraz prowadzić spotkania w języku angielskim. 15 Badanie będzie finansowane ze środków Mechanizmu Finansowego Europejskiego Obszaru Gospodarczego na lata 2009-2014 oraz ze środków Norweskiego Mechanizmu Finansowego na lata 2009-2014. Wszystkie raporty, które zostaną opracowane w toku badania ewaluacyjnego, powinny być opatrzone logotypami: Ministerstwa Rozwoju (do pobrania na stronie internetowej MR – http://www.mr.gov.pl/), funduszy EOG i funduszy norweskich (do pobrania na stronie internetowej funduszy – https://www.eog.gov.pl/) oraz formułą „Badanie zostało sfinansowane z funduszy norweskich i EOG pochodzących z Islandii, Liechtensteinu i Norwegii". 16 Załącznik: Tabela nr 1 przedstawia Programy objęte ewaluacją i aktualną liczbę projektów w ramach każdego z ww. Programów, z podziałem na projekty predefiniowane i konkursowe. Tabela 1. Programy i projekty w ramach Mechanizmów Finansowych Nr programu Nazwa programu Operator DPP Liczba projektów zrealizowanych i będących w trakcie realizacji w tym w tym predefiniowane konkursowe PL01 Fundusz Pomocy Ministerstwo Technicznej Rozwoju i Fundusz Współpracy Dwustronnej na poziomie krajowym PL02 (PA02/MF EOG) Ochrona różnorodności biologicznej i ekosystemów PL03 (PA03/MF EOG) Ministerstwo Wzmocnienie Środowiska oraz monitoringu Narodowy Fundusz środowiska oraz Ochrony Środowiska działań kontrolnych i Gospodarki Wodnej nie dotyczy Ministerstwo nie dotyczy Środowiska oraz Narodowy Fundusz Ochrony Środowiska i Gospodarki Wodnej Norweska Agencja ds. Klimatu i Zanieczyszczeń (KLIF) 7 nie dotyczy nie dotyczy 1 60 4 5 Oszczędzanie PL04 (PA05 energii & PA06/MF i promowanie EOG, odnawialnych PA20/NMF) źródeł energii Ministerstwo nie dotyczy Środowiska oraz Narodowy Fundusz Ochrony Środowiska i Gospodarki Wodnej 24 105 PL05 (PA10/MF EOG) Fundacja im. S. Batorego oraz Polska Fundacja Dzieci i Młodzieży nie dotyczy brak 543 Obywatele dla Demokracji Ministerstwo Rozwoju nie dotyczy 1 17 PL06 (PA12/MF EOG) Rozwój miast poprzez wzmocnienie kompetencji jednostek samorządu terytorialnego, dialog społeczny 7 Projekty w ramach Funduszu Współpracy Dwustronnej na poziomie krajowym 17 Nr programu Nazwa programu Operator DPP Liczba projektów zrealizowanych i będących w trakcie realizacji w tym w tym predefiniowane konkursowe oraz współpracę z przedstawicielami społeczeństwa obywatelskiego Ministerstwo Poprawa i lepsze Zdrowia dostosowanie ochrony zdrowia do trendów demograficznoepidemiologicznych nie dotyczy brak 37 PL08 (PA16/MF EOG) Konserwacja i rewitalizacja dziedzictwa kulturowego Ministerstwo Kultury i Dziedzictwa Narodowego nie dotyczy 1 22 Ministerstwo Kultury i Dziedzictwa Narodowego Norweska Rada Sztuki (NKR) przy wsparciu Norweskiego Dyrektoriatu ds. Dziedzictwa Kulturowego (RA) brak 62 PL09 (PA17/MF EOG) Promowanie różnorodności kulturowej i artystycznej w ramach europejskiego dziedzictwa kulturowego Fundacja Rozwoju Systemu Edukacji Norweskie Centrum Współpracy Międzynarodowej w Szkolnictwie Wyższym (SIU), Islandzkie Centrum Badań (RANNIS) oraz Agencja ds. Kształcenia Międzynarodowego (AIBA) w Liechtensteinie brak 171 Polsko-Norweska PL12 Współpraca (PA23/NMF) Badawcza Narodowe Centrum Badań i Rozwoju Norweska Rada Nauki brak 109 Ograniczanie PL13 społecznych (PA27/NMF) nierówności w zdrowiu Ministerstwo Zdrowia Norweski Dyrektoriat do Spraw Zdrowia 1 26 Przeciwdziałanie PL14 przemocy (PA29/NMF) w rodzinie i przemocy ze Ministerstwo Rodziny, Pracy i Polityki Społecznej nie dotyczy 3 19 PL07 (PA27/NMF & PA13/MF EOG) PL10 (PA24/NMF & PA19/MF EOG) Fundusz Stypendialny i Szkoleniowy 18 Nr programu Nazwa programu Operator DPP Liczba projektów zrealizowanych i będących w trakcie realizacji w tym w tym predefiniowane konkursowe względu na płeć Współpraca Ministerstwo Spraw w obszarze Wewnętrznych Schengen i walka i Administracji z przestępczością transgraniczną PL15 i zorganizowaną, (PA30/NMF) w tym przeciwdziałanie handlowi ludźmi oraz migracjom grup przestępczych nie dotyczy 2 23 Budowanie potencjału instytucjonalnego i współpraca w obszarze PL16 wymiaru (PA31/NMF) sprawiedliwości / Poprawa skuteczności wymiaru sprawiedliwości Ministerstwo Sprawiedliwości Norweska Krajowa Administracja Sądów (Norwegian National Courts Administration) 6 brak Zespół ds. Funduszy Europejskich w Centralnym Zarządzie Służby Więziennej Norweskie Służby Więzienne 7 brak Wsparcie Służby PL17 Więziennej, (PA32/NMF) w tym sankcji pozawięziennych PL18 Green Industry Innovation BMF/ Innovation Norway nie dotyczy brak 28 BMF/ Innovation Norway nie dotyczy brak 11 (PA 22) Fundusz na rzecz godnej pracy i dialogu trójstronnego 50 1238 RAZEM Źródło: baza „EEAGrants Project Database”, na podstawie: http://eeagrants.org/project-portal (stan wg Raportu Strategicznego na 2015 r. oraz aktualnych danych). 19