„Ocena listy wskaźników Regionalnego Programu Operacyjnego dla

„Ocena listy wskaźników Regionalnego Programu
Operacyjnego dla Województwa Dolnośląskiego
na lata 2007-2013”
„Projekt współfinansowany jest ze środków Unii Europejskiej - Europejskiego Funduszu Rozwoju Regionalnego oraz ze
środków Samorządu Województwa Dolnośląskiego w ramach Pomocy Technicznej Regionalnego Programu Operacyjnego dla
Województwa Dolnośląskiego na lata 2007-2013 ”
Wstęp
Niniejsze badanie ewaluacyjne pt: „Ocena listy wskaźników Regionalnego Programu Operacyjnego dla
Województwa Dolnośląskiego na lata 2007-2013” zostało wykonane przez konsorcjum składające się
z firm: Grupa Gumułka – Kancelaria Prawa Finansowego Sp. z o.o. i Grupa Gumułka Sp. z o.o.
(Wykonawcę) na zlecenie Instytucji Zarządzającej Regionalnym Programem Operacyjnym dla
Województwa Dolnośląskiego na lata 2007-2013.
Cel główny badania:
Celem głównym niniejszego badania było dostarczenie informacji na temat użyteczności systemu
wskaźników przyjętego w ramach RPO WD, ulepszenie procedur związanych z jego stosowaniem,
ułatwienie wnioskodawcom Programu zrozumienia przyjętego systemu oraz jego dostosowanie do potrzeb
związanych z zarządzaniem i wdrażaniem RPO WD.
Cele szczegółowe:
•
Analiza „Listy wskaźników monitoringorych RPO WD”, pod kątem adekwatności z celami
Programu, poszczególnych Działań Programu oraz z Wytycznymi Ministerstwa Rozwoju
Regionalnego (MRR);
•
Weryfikacja użyteczności, czytelności, kompletności oraz wewnętrznej spójności katalogu
wskaźników na poziomie Działań RPO WD oraz jego aktualizacja;
•
Wskazanie możliwych usprawnień procedur IZ RPO WD, Dolnośląskiej Instytucji Pośredniczącej
(DIP) oraz MRR związanych z realizacją systemu wskaźników w ramach RPO WD.
Metody badawcze wykorzystane w badaniu
Wykonawca w ramach niniejszej ewaluacji zastosował szereg ilościowych i jakościowych metod
badawczych. Poniższa tabela przedstawia wykaz metod i technik badawczych wykorzystanych w badaniach
terenowych. Ponadto Wykonawca zastosował różnorodne metody analizy, takie jak: analiza dokumentów
i danych zastanych, analiza wskaźników z wykorzystaniem standardu S.M.A.R.T. oraz analizy statystyczne.
METODY I TECHNIKI BADAWCZE WYKORZYSTANE W BADANIACH TERENOWYCH
➢
Indywidualne wywiady pogłębione (IDI) z:
•
kadrą zarządzającą i pracownikami IZ RPO w ramach UMWD – łącznie 7 wywiadów;
•
kadrą zarządzającą i pracownikami DIP – 5 wywiadów;
•
przedstawicielami MRR – 2 wywiady;
•
ekspertami zajmującymi się tematyką wskaźników – 2 wywiady.
➢
Zogniskowany wywiad grupowy (FGI):
•
z pracownikami IZ RPO WD oraz DIP.
➢
Ankiety kwestionariuszowe PAPI:
•
z wnioskodawcami RPO WD – 10 ankiet kwestionariuszowych PAPI.
➢
Wywiad telefoniczny wspomagany komputerowo (CATI):
•
z wnioskodawcami RPO WD – 60 wywiadów.
Główne wyniki i wnioski z badania
W ramach oceny Listy wskaźników monitoringowych posłużono się standardem SMART. Standard ten
składa się z następujących kryteriów:
•
•
•
•
•
konkretny (S) Specific – wskaźnik jest konkretny, kiedy nazwa wskaźnika oraz przyjęta definicja
wystarczająco precyzyjnie określa ją badane zjawisko; istotna jest możliwość porównań i agregacji
wskaźników;
mierzalny (M) Measurable – kryterium to spełnione jest w sytuacji, gdy dany wskaźnik jest
określony w taki sposób, że jest możliwe techniczne dokonanie pomiaru jego wartości, oparte
o prawidłowo dobraną jednostkę, z zachowaniem zakładanej dokładności pomiaru;
dostępny (A) Available – wskaźnik jest dostępny, gdy osiągalne i dostępne są informacje potrzebne
do określenia zmian wskaźnika (ze szczególnym uwzględnieniem dostępności danych
z perspektywy beneficjentów);
odpowiedni (R) Relevant – kryterium to jest spełnione, gdy dany wskaźnik zaspokaja potrzeby
informacyjne, kiedy bezpośrednio odnosi się do celów Programu, osi priorytetowej oraz działania,
jest dokładnie i precyzyjnie określony; czy kryterium weryfikuje uzyskiwane dane obrazują wpływ
interwencji RPO WD;
z perspektywą czasową (T) Time-bound – wskaźnik uwzględnia perspektywę czasową, kiedy
możliwe jest określenie dostępności informacji niezbędnych do określenia, czy dany cel został
osiągnięty i czy w określonym okresie informacje te będą już dostępne.
Analiza SMART wykazała, że niektóre wskaźniki nie spełniają wymienionych powyżej kryteriów:
Ponadto niektóre ze wskaźników zawartych w liście wskaźników monitoringowych generują nadmierne
koszty pomiaru dla beneficjentów. Nie jest to duża liczba wskaźników, jednak zjawisko wymaga podjęcia
działań naprawczych poprzez:
•
•
monitorowanie i dokumentowanie wyłącznie produktów mających strategiczne znaczenie dla
realizacji projektu;
tworzenie wskaźników w oparciu o dane posiadane przez beneficjenta (protokoły zdawczoodbiorcze, statystki beneficjenta, dowody dostarczania produktów i usług podmiotom
gospodarczym oraz odbiorcom indywidualnym).
Lista wskaźników monitoringowych w zakresie większości Działań jest kompletna. Zdiagnozowano jednak
obszary, które nie są objęte systemem wskaźników, natomiast są kluczowymi skutkami wdrażania RPO
WD. W związku z tym zaproponowano dodanie odpowiednich wskaźników .
Spójność systemu wskaźników jest wysoka. W nielicznych przypadkach wskazano potrzebę zwiększenia
spójności, m.in. poprzez:
•
•
zachowanie rozłączności zakresu wskaźników;
konsekwentny podział wskaźników ze względu na jedną zmienną, a nie jak do tej pory inne
zmienne w przypadku każdego wskaźnika.
Rekomendacje wynikające z tej części badania dotyczyły głównie modyfikacji systemu wskaźników, tak by
spełniał on wszystkie standardy SMART.
Analiza dostosowania systemu wskaźników do potrzeb wnioskodawców
Odpowiedzi udzielone przez beneficjentów na pytania dotyczące dostosowania systemu wskaźników do ich
potrzeb wskazują, że system ten w znacznym stopniu odpowiada wymaganiom tej grupy badanych.
Jednakże respondenci wskazali również kilka wad omawianego systemu, których zniwelowanie może
wpłynąć na zmniejszenie liczby błędów popełnianych przez wnioskodawców podczas aplikowania o środki
unijne.
Ponad połowa badanych stwierdziła, że procedura doboru wskaźników jest ich zdaniem czytelna
i zrozumiała. Jednakże stosunkowo duży odsetek badanych będących odmiennego zdania wskazuje na
konieczność przeprowadzenia dodatkowych szkoleń dla beneficjentów i potencjalnych beneficjentów.
Ilustracja 1: Czytelność procedury doboru wskaźników
Czy procedura doboru wskaźników do projektu jest,
Pana(i) zdaniem, czytelna i zrozumiała?
nie wiem 3,9%
nie 25,5%
tak 58,8%
trudno powiedzieć 11,8%
Źródło: opracowanie własne na podstawie wyników badania CATI
Wśród błędów związanych ze wskaźnikami popełnianych najczęściej przez beneficjentów w procedurze
naboru wniosków należy wymienić m. in.:
•
•
•
•
próbę stosowania wskaźników z jednego z działań w projekcie realizowanym w innym działaniu;
błędy wynikające z przekonania o tym, że im więcej wskaźników zostanie zadeklarowanych tym
większe prawdopodobieństwo otrzymania dofinansowania na realizację projektu;
przekroczenie wartości wskaźnika o 15%;
określanie wartości bazowej wskaźników na poziomie innym niż 0.
Większość respondentów badania CATI i PAPI stwierdziło, że pojęcia „wartość bazowa” i „wartość
docelowa” są dla nich zrozumiałe, jednakże większy odsetek respondentów miał problem ze
zdefiniowaniem pojęcia „wartość bazowa”. Sytuacja ta może być efektem zamieszczenia niezbyt precyzyjnej
definicji tego pojęcia w „Poradniku Beneficjenta”.
Ilustracja 2: Rozumienie pojęcia wartości bazowej oraz wartości docelowej
Czy miał(a) Pan(i) problem ze zrozumieniem pojęć
wartość bazowa oraz wartość docelowa?
15,7%
25,5%
Tak
78,4%
70,6%
Nie
Nie wiem
5,9%
3,9%
0,0%
10,0%
20,0%
30,0%
Wartość bazowa
40,0%
50,0%
60,0%
70,0%
80,0%
Wartość docelowa
Źródło: opracowanie własne na podstawie wyników badania CATI
Wśród wskaźników, z którymi beneficjenci mieli problemy należy wymienić m.in.:
•
•
•
„Liczba zakupionego sprzętu”;
„Liczba osób niepełnosprawnych korzystających z dostosowanych do ich potrzeb
infrastruktury”;
„Oszczędność czasu na nowych i zmodernizowanych drogach”.
Ponadto dużym problemem dla wielu beneficjentów był brak definicji wskaźników ministerialnych, niejasna
definicja e-usługi oraz mylenie pojęć specjalistycznych, czasem stosowanie ich zamiennie (np. modernizacja,
przebudowa, rozbudowa i budowa).
W celu ograniczenia liczby błędów we wnioskach o dofinansowanie Wykonawca proponuje wdrożenie
m.in. następujących rekomendacji:
•
•
•
•
•
•
•
opracowanie broszury zawierającej informacje na temat zagadnień, które sprawiły
wnioskodawcom największe problemy. Broszury te powinny być rozdawane podczas szkoleń dla
beneficjentów oraz powinny być dostępne w siedzibie DIP i IZ;
umieszczenie na stronach www.rpo.dolnyslask.pl i www.dip.dolnyslask.pl zakładki Najczęściej
popełniane błędy;
opracowanie metodologii w formie zaleceń dla beneficjentów odnośnie szacowania wartości
wskaźnika „Liczba osób niepełnosprawnych korzystających z dostosowanych do ich potrzeb
infrastruktury”;
omawianie w trakcie szkoleń dla beneficjentów metodologii pomiaru, podstawowych błędów
i trudności związanych ze stosowaniem wskaźnika „Oszczędność czasu na nowych
i zmodernizowanych drogach”;
dopracowanie definicji e-usługi;
przyspieszenie prac nad definicjami wskaźników MRR;
zmodyfikowanie definicji „wartości bazowej” zamieszczonej w Poradniku Beneficjenta lub
wytłuszczenie zdania mówiącego o tym, że wartość bazowa wskaźnika jest równa zeru.
System prac nad wskaźnikami, komunikacja i procedury
Z informacji uzyskanych podczas niniejszego badania wynika, że system prac nad wskaźnikami ujętymi
w Uszczegółowieniu RPO był zgodny z zasadami przyjętymi dla Krajowego Systemu Informatycznego.
Respondenci, którzy brali udział w badaniach IDI i FGI nie zdiagnozowali na etapie tworzenia wskaźników
dla RPO WD większych problemów czy barier.
Jednakże w trakcie badania Wykonawca zdiagnozował następujące problemy i okoliczności mogące
spowodować utrudnienia w procesie monitorowania w tym w pracach nad systemem wskaźników:
•
•
•
•
•
•
•
brak definicji wskaźników MRR;
problemy związane z wyznaczaniem wartości docelowej dla wskaźników znajdujących się
w Uszczegółowieniu RPO;
wielość i różnorodność dokumentów zawierających różne listy wskaźników;
brak w pełni funkcjonalnego narzędzia informatycznego służącego m.in. monitorowaniu
i agregacji wartości docelowych wskaźników (LSI);
mało rozbudowana skala oceny wskaźników ujętych w projektach przez beneficjentów;
możliwość wprowadzania przez beneficjentów własnych wskaźników w projektach;
problemy pojawiające się na etapie monitorowania osiągania wartości wskaźników w celu ich
agregacji, ze względu na różne jednostki miary przyjęte dla wskaźników w URPO oraz wskaźników
KSI.
W ramach realizacji niniejszej ewaluacji analizą objęto również wybrane procedury IZ RPO oraz DIP, które
bezpośrednio i pośrednio są związane z systemem wskaźników dla Programu.
Podstawowe wnioski z analizy omawianych procedur były następujące:
•
•
•
•
zakresy odpowiedzialności za poszczególne zadania wynikające z instrukcji są właściwie
przypisane do kompetencji osób pełniących dane funkcje;
uczestnicy indywidualnych wywiadów pogłębionych nie zauważają problemów w stosowaniu
wewnętrznych procedur;
instrukcje dla DIP są opracowane z uwzględnieniem procedur IZ RPO, np. terminy na
wykonanie poszczególnych zadań przez DIP właściwie korespondują z terminami IZ;
niektóre procedury opracowane są na zbyt dużym stopniu ogólności – nie precyzują terminów
przewidzianych na wykonanie danych czynności, a czasem nawet osób odpowiedzialnych za
wykonanie konkretnego zadania.
Komunikacja pomiędzy komórkami i jednostkami biorącymi udział w pracach związanych z systemem
wskaźników przebiega bez większych zakłóceń. Zdarzają się drobne opóźnienia w przepływie informacji,
jednakże są to pojedyncze przypadki, które nie mają negatywnego wpływu na wypełnianie celów
Programu.
Rekomendacje wskazane przez Wykonawcę w ramach niniejszego rozdziału dotyczyły głównie:
wprowadzenia dodatkowych szkoleń dla pracowników IZ oraz DIP, przygotowania dokumentu, który
będzie regulował sposób przyporządkowania wskaźników RPO WD do KSI, modyfikacji
poszczególnych instrukcji wykonawczych, dopracowania LSI oraz rozbudowania płaskiej skali ocen, tak aby
móc w większym stopniu różnicować projekty ze względu na planowane i realne do osiągnięcia produkty
czy rezultaty.
Drzewo problemów
Problem ze
zrozumieniem
definicji
Trudności
z doborem
wskaźników
Trudności
z obliczaniem
wartości
docelowych
Dla beneficjentów
Występowanie
Nieoszacowanie wskaźników nie
wartości
spełniających
docelowych
kryteriów
SM ART
Dla Listy wskaźników
monitoringowych
Brak spójności
i kompletności
na poziomie
niektórych
Działań
Konieczność przygotowania
klucza asocjacji
SKUTKI
Utrudnienia w
agregacji danych
Dla Instytucji Zarządzającej
PROBLEM
GŁÓWNY
NIESPÓJNOŚCI WYSTĘPUJACE W RAMACH SYSTEMU WSKAŹNIKÓW
PRZYCZYNY
Przygotowanie systemu
rozciągnięte w czasie
Opóźnienia
w przygotowaniu
KSI
Brak oraz
nieprecyzyjność
definicji
wskaźnika
Odmienna geneza
powstania list
wskaźników
Opóźnienia w
przekazywaniu
wskaźników
przez M RR
Brak systemowej pracy
nad wskaźnikami w
obrębie różnych
Priorytetów
Brak spójnej
metodologii
tworzenia systemu
wskaźników