Ocena systemu kryteriów wyboru projektów (finansowanych operacji

Transkrypt

Ocena systemu kryteriów wyboru projektów
(finansowanych operacji) zaprojektowanych w ramach
Regionalnego Programu Operacyjnego Województwa
Opolskiego na lata 2007-2013
Raport Końcowy
Opracowanie przygotowane przez:
Politechnika Opolska
ul. Mikołajczyka 5, Opole
Wydział Zarządzania i Inżynierii Produkcji
ul. Waryńskiego 4, Opole
Tel. (77) 454 35 33 w. 52
Fax (77) 454 35 33 w. 52
Badanie ewaluacyjne współfinansowane przez Unię Europejską ze środków Europejskiego Funduszu Rozwoju Regionalnego
w ramach pomocy technicznej Regionalnego Programu Operacyjnego Województwa Opolskiego na lata 2007-2013
1
Ocena systemu kryteriów wyboru projektów (finansowanych operacji) zaprojektowanych w ramach
Regionalnego Programu Operacyjnego Województwa Opolskiego na lata 2007-2013
Streszczenie raportu wersja polska
CEL, ZAKRES I METODOLOGIA BADANIA
Głównym celem badania „Ocena systemu kryteriów wyboru projektów (finansowanych operacji)
zaprojektowanych w ramach Regionalnego Programu Operacyjnego Województwa Opolskiego na
lata 2007-2013” było dokonanie oceny kryteriów wyboru projektów zaakceptowanych przez
Komitet Monitorujący RPO WO 2007-2013 pod kątem zapewnienia skutecznej i najbardziej
efektywnej realizacji RPO WO 2007-2013.
Realizacja celu głównego badania została dokonana poprzez ocenę jakości przyjętego systemu
kryteriów wyboru projektów wyrażoną kardynalną lub porządkową funkcjonalnością, badanego
systemu, czyli stopniem i poziomem zapewnienia wyboru optymalnych projektów z punktu
widzenia realizacji celów RPO WO 2007-2013.
Wnioski z badania zostaną wykorzystane przez Instytucję Zarządzającą przy modyfikacjach i
usprawnieniach systemu kryteriów oceny Regionalnego Programu Operacyjnego Województwa
Opolskiego na lata 2007-2013.
Zakres badania obejmował analizę spójności wewnętrznej programu, w aspekcie koncentrującym
się wokół następujących obszarów badawczych powstałych z pogrupowania pytań badawczych:

Kryteria oceny formalnej

Kryteria oceny merytorycznej (I i II stopnia)

Opinia (generalna) na temat systemu kryteriów oceny
Zaproponowana metodologia umożliwiła, zgodnie z ofertą, dokonanie analizy oceny systemu
kryteriów wyboru projektów w Regionalnym Programie Operacyjnym Województwa Opolskiego na
lata 2007-2013 oraz sformułowanie stosownych rekomendacji. W badaniu zastosowano metody
triangulacji technik badawczych i źródeł danych. Połączone zostały różnorodne, komplementarne
metody, gwarantujące uzyskanie bezstronnych i wiarygodnych danych. Schemat badania
uwzględniał wykorzystanie następujących narzędzi:

analizy danych zastanych

badania pierwotne:

indywidualne wywiady pogłębione

wywiady kwestionariuszowe (face to face)

wywiady telefoniczne (CATI)
analiza SWOT
Dzięki takiemu postępowaniu zgromadzono dane zarówno ilościowe, jak i jakościowe oraz
dokonano ewaluacji z uwzględnieniem punktu widzenia różnych grup (np. przedstawicieli IZ i IP2,
członków Komisji Konkursowej Oceniającej Wnioski o Dofinansowanie Projektów złożonych w
ramach RPO WO 2007-2013 i Komitetu Monitorującego RPO WO 2007-2013).
NAJWAŻNIEJSZE WYNIKI BADANIA I GŁÓWNE REKOMENDACJE
Wyniki
przeprowadzonych
badań
wskazują
na
prawidłowe
przeprowadzenie
procedury
opracowania kryteriów oceny. Wyniki przeprowadzonych wywiadów jednoznacznie wskazały, że
jednostka dotrzymała wszelkich wymagań w zakresie ustalania kryteriów oceny oraz sposobu
powoływania asesorów i ekspertów do oceny wniosków. W trakcie badania dostrzeżono niemniej
niektóre elementy funkcjonującego systemu kryteriów oceny, które mogą zostać zmienione lub
udoskonalone. Rekomendacje mają charakter propozycji/ sugestii i mogą zostać wykorzystane
przez Zamawiającego do ewentualnych modyfikacji obecnego systemu kryteriów oceny.
Względem następujących części ewaluator sformułował stosowne wnioski i rekomendacje
skoncentrowane wokół poszczególnych pytań badawczych.
Kryteria oceny formalnej
Pytanie: Czy przyjęte kryteria formalne w ramach RPO WO 2007-2013 są zgodne z zapisami linii
demarkacyjnej przyjętej przez Komitet Koordynujący (KK) NSRO?
Przeprowadzając badania źródeł zastanych (desk research) oraz badań z respondentami nie
zidentyfikowano braku zgodności pomiędzy zapisami kryteriów oceny formalnej z zapisami linii
demarkacyjnej. Niemniej jednak w trakcie prowadzonego badania zwrócono uwagę na problem w
interpretacji i stosowaniu dokumentu Linia Demarkacyjna przez wnioskodawców. Dużym
problemem według respondentów była prawidłowa identyfikacja czy dany beneficjent może
aplikować do danej rundy aplikacyjnej RPO WO 2007- 2013, czy też zgodnie z sugestiami zapisów
linii demarkacyjnej oczekiwać na ogłoszenie szczegółowych wytycznych innego programu. Ze
względu na liczne wątpliwości ewaluator proponuje zamieszczenie (np. w formie przewodnika
internetowego - kwalifikatora wnioskodawcy lub listy sprawdzającej) informacji o tym, jaki
wnioskodawca może ubiegać się w
ramach
określonego działania/ poddziałania.
Przedłożenie wnioskodawcom szczegółowych danych w tym zakresie ułatwi możliwość
prawidłowego spełnienia wymagań stawianych w ramach linii demarkacyjnej.
Pytanie: Czy kryteria formalne są czytelnie, jasno sformułowane i nie budzą wątpliwości
potencjalnych beneficjentów?
Wyniki badań wskazały na brak jednoznaczności i czytelności w odniesieniu do niektórych zapisów
kryteriów oceny formalnej. Takie wnioski nasuwają się po zestawieniu opinii respondentów oraz
przeprowadzonej analizie dokumentacji. Wątpliwości odnoszą się do zakresu nazwy kryteriów oraz
komentarza/
uzasadnienia
im
odpowiadającego.
Dla
poprawienia
czytelności,
jasności
sformułowań proponuje się przyjąć nieco inną formę zapisu tabeli kryteriów oceny formalnej
(aneks nr 1) z uwzględnieniem zmiany niektórych nazw i grupowaniem dotychczas występujących
kategorii. W zamyśle ewaluatora propozycja taka ułatwi czytelność i niwelację obecnie
występujących wątpliwości. Wykorzystanie proponowanej formy na etapie kryteriów oceny
formalnej, może zostać rozszerzone (po zaadoptowaniu) także do kryteriów oceny merytorycznej.
3
Kryteria oceny merytorycznej (I i II stopnia)
Pytanie: Czy przyjęte kryteria w ramach RPO WO 2007-2013 służące ocenie merytorycznej
pozwolą na wybór projektów, które w optymalny sposób będą służyły realizacji celów:
a.
działania w ramach uszczegółowienia RPO WO 2007-2013,
b.
Osi priorytetowej RPO WO 2007-2013,
c.
Regionalnego Programu Operacyjnego Województwa Opolskiego na lata 2007-2013,
d.
Narodowych Strategicznych Ram Odniesienia 2007-2013,
e.
Strategii rozwoju województwa opolskiego,
f.
Strategii sektorowych i branżowych regionu oraz kraju.
Wyniki prowadzonego badania wskazują na generalną zasadę, że wybór projektów realizowany był
w sposób optymalny i służył realizacji celów działania w ramach uszczegółowienia RPO WO 20072013. Podobna zasada odnosi się to do wypełnienia celów Osi priorytetowych RPO WO 20072013. Niestety wraz ze spadkiem szczegółowości poziomu celów zmniejsza się identyfikacja
znaczenia kryteriów oceny merytorycznej. W opinii ewaluatora wprowadzone kryteria oceny
merytorycznej w znakomitej większości zostały określone w sposób prawidłowy, co zapewnia
realizację celów na różnym poziomie szczegółowości. Ewaluator pragnie podkreślić, iż za
wyjątkiem sporadycznych przypadków w ramach osi priorytetowej numer 1, przyjęte założenia
wpisują się dokładnie w przyjęte cele. Ponadto poza wskazanymi w części szczegółowej
wątpliwościami wyniki badania wskazują, że przyjęty system kryteriów oceny pozwoli na
optymalną realizację celów na różnym poziomie szczegółowości.
Pytanie: Czy kryteria oceny merytorycznej w pełni odzwierciedlają założenia przewidywane dla
określonej grupy beneficjentów?
Wyniki przeprowadzonego badania wskazują, że w znakomitej większości działań, kryteria oceny
merytorycznej w pełni odzwierciedlają założenia przewidywane dla określonej grupy beneficjentów
(pod pojęciem określonej grupy beneficjentów rozumie się tylko podmioty wskazane w
Szczegółowym Opisie Osi Priorytetowych Regionalnego Programu Operacyjnego na lata 20072013). Niemniej jednak, w ramach szczegółowej analizy dostrzeżono kryteria oceny merytorycznej,
które mogą mieć wpływ na subiektywne odczucia respondentów w zakresie uprzywilejowania
szczególnej grupy beneficjentów (np. nowopowstałych przedsiębiorstw w ramach działania 1.1.2
Inwestycje w mikroprzedsiębiorstwa). Ewaluator rekomenduje upublicznienie szczegółowego
trybu postępowania w ramach kryteriów budzących powszechne wątpliwości (np. podczas
kryterium, gdzie punktacja przyznawana jest w trybie rankingowania).
Pytanie: Czy kryteria oceny merytorycznej umożliwią właściwy wybór projektów mających
pożądany wpływ na wielkość założonych celów?
Przedmiotowe pytanie łączy się z wynikami uzyskanymi w ramach poprzedniego zagadnienia.
Generalna opinia ewaluatora wskazuje, że kryteria oceny merytorycznej umożliwiają we właściwy
sposób dokonanie wyboru tylko projektów mających pożądany wpływ na wielkości założonych
celów. Jedyna wątpliwość ewaluatora odnosi się do faktu występowania w systemie kryteriów
4
oceny merytorycznej, których weryfikacji nie można dokonać na etapie samego procesu oceny,
gdyż mają charakter deklaratywny. Ewaluator dostrzega niebezpieczeństwo braku możliwości
wypełnienia założonych celów w przypadku, gdy dotychczasowe doświadczenie i posiadane
zasoby nie pozwolą wnioskodawcy na osiągnięcie deklarowanych wielkości. W tym zakresie
rekomenduje
się
zwrócenie
szczególnej
uwagi
na
znaczenie
dotychczasowego
doświadczenia i dostępnych zasobów wnioskodawców ubiegających się o wsparcie (np.
poprzez wprowadzenie dodatkowych kryteriów oceny lub wskaźników korygujących
wielkości deklarowane). Ponadto zauważa się brak szczegółowej informacji o sposobie
postępowania IZ w przypadku niespełnienia kryterium oceny powodującego wybór danego
wnioskodawcy. Rekomenduje się w tym zakresie, wpisanie kryteriów oceny merytorycznej
stopnia II o charakterze deklaratywnym do wskaźników rezultatu oraz określenie
jednoznacznych zasad postępowania w przypadku braku osiągnięcia założonych wielkości.
Pytanie: W kontekście odpowiedzi na pytania z punktu nr 2 (powyższe pytania) wskazanie, czy
przyjętym kryteriom służącym ocenie merytorycznej II stopnia nadano odpowiedni system
punktowy, tj. wag i odpowiadającej im ilości punktów?
Wyniki badań wskazują, że system punktowy- wag i odpowiadające im ilości punków zostały
określone na właściwym poziomie. Ewaluator zauważył prawidłowy dobór wielkości punktowych
oraz wagowych dla Osi priotytetowych od 2 do 6 (dla Osi priorytetowej 1 wykonawca badań
dostrzega potrzebę modyfikacji niektórych zapisów co bezpośrednio wynika ze wskazanych już
powyżej wniosków i rekomendacji). Należy zauważyć, iż przyjęty system punktowy odzwierciedla
główne założenia w zakresie celów poziomu działania/ priorytetu/ programu. Rekomenduje się
uszczegółowienie zapisów kryteriów oceny merytorycznej o charakterze deklaratywnym o
elementy wynikające z obecnego doświadczenia wnioskodawcy. Ponadto ewaluator zauważa
potrzebę uszczegółowienia procedury postępowania w trybie przyznawania punktacji dla kryterium
oceny rankingowanie. Brak informacji w tym zakresie wzbudza powszechną wątpliwość wśród
respondentów badania.
Pytanie: Czy przyjęte wielkości wagowe odpowiadają przyjętym założeniom o charakterze
strategicznym dla regionu, kraju, wspólnoty?
Powyższe pytanie stanowi rozszerzenie formuły wskazanej w poprzednich pytaniach. Według
badających zagadnienie, funkcjonujący obecnie system kryteriów oceny jest prawidłowo określony,
a wielkości wagowe poza sporadycznymi elementami (określonymi w części szczegółowej)
odpowiadają założeniom o charakterze strategicznym dla regionu, kraju wspólnoty.
Opinia (generalna) na temat systemu kryteriów oceny
Pytanie: Czy przyjęte kryteria oceny formalnej i merytorycznej w ramach RPO WO 2007-2013 są:
a. obiektywne,
b. precyzyjne, tzn. umożliwiają zrozumiałą i jednoznaczną interpretację zarówno
przez osoby oceniające projekty, jak i beneficjentów,
5
c.
mierzalne,
d. spójne wewnętrznie.
Względem generalnej opinii ewaluator zauważa, iż przyjęte kryteria są zarówno obiektywne,
precyzyjne, mierzalne i spójne wewnętrzne. Zidentyfikowane wątpliwości mają charakter
selektywny i dotyczą zaledwie paru poszczególnych kryteriów oceny.
Ponadto
celem
wprowadzenia
pełnej
transparentności
systemu
oceny
proponuje
się
wykorzystanie i upublicznienie listy sprawdzającej zaadoptowanej pod szczegółowe
wymagania poszczególnych działań/ poddziałań. Wnioskodawca mając możliwość skorzystania
z listy sprawdzającej będzie w stanie samodzielnie i precyzyjnie zweryfikować, co oznaczają
poszczególne wskazania kryteriów i jakie elementy brane są szczegółowo pod uwagę w ocenie
formalnej danego wniosku. Ze względu na wątpliwości respondentów odnoszące się do wymagań
stawianych w związku z politykami horyzontalnymi UE ewaluator proponuje doprecyzowanie
wymagań odnoszących się do założeń polityki horyzontalnej UE. Umieszczenie skróconego
opracowania
prezentującego
najważniejsze
założenia
wspomnianych
polityk
ułatwi
wnioskodawcom zrozumienie przedmiotowego kryterium.
6
Summary report English version
THE OBJECTIVE, THE RANGE AND THE METHODOLOGY OF RESEARCH
The main objective of research "The evaluation of the criteria choice system of projects ( the
financed operations) designed by the Regional Operational Programme of Opolskie Voivodeship
for 2007-2013” was to estimate the choice criteria of projects accepted by Monitoring Committee
ROP OV 2007-2013 to ensure the efficient and most effective implementation of ROP OV 20072013.
Achieving the aim of main the main research will be done through the evaluation of criteria choice
system of projects quality defined by the cardinal or the ordinal functionality of the examined
system in order to choose the best project to comply with the rules of ROP OV 2007- 2013.
The conclusions from the research will be used by Managing Authority in modifying and improving
the criteria evaluation system of the Regional Operational Programme of Opolskie Voivodeship for
2007-2013.
The range of research included the inner cohesion analysis of the programme which concentrates
on the following research area grouped into research questions such as:
The formal evaluation criteria
The essential evaluation criteria (1st degree and 2nd degree)
The general opinion on the evaluation criteria system
The suggested methodology enabled as suggested in the offer to analyse the evaluation criteria
system choice of projects in the Regional Operational Programme of Opolskie Voivodeship for
2007-2013 to define
appropriate recommendations. The method of research techniques
triangulation and data sources was used in this research. Various and complementary methods
guaranteeing impartial and credible data were used. The scheme of the research included the
following items:
desk research
primary research:
individual in- depth interviews
face to face questionnaire interviews
computer aided telephone interviews (CATI)
analysis SWOT
The research helped to collect quantity and quality data and to evaluate point of views of different
groups (e.g. the members of the Managing Authority, the Intermediate Body 2nd degree, the
members of Tender Commission Estimating Applications for Additional Financing filed in the ROP
OV 2007- 2013 and the Monitoring Committee the ROP OV 2007- 2013).
7
THE MAIN RESEARCH OUTCOME AND RECOMMENDATIONS
The outcome of the research show the appropriate way of dealing with procedure preparing
evaluation criteria. The results of conducted interviews showed, that the individual complied with all
the rules concerning evaluation criteria and the way assessors and experts are appointed to
assess applications. During the research it was noticed that same elements of the functioning
evaluations criteria system can be changed or improved. The recommendations are viewed as
proposals / suggestions and can be used by the ordering Party to modify the existing evaluation
criteria system. The evaluator formulated suitable conclusions and recommendations concentrating
on the following research questions:
The formal evaluation criteria
Question: Are the established formal criteria in ROP OV 2007- 2013 corresponding to the
Demarcation Line record accepted by Co-ordinating Committee (KK) NSRO?
The lack of accordance between the formal evaluation criteria record and the demarcation like
record was not identified in the desk research and the respondent research. The problem in
interpreting and using of Demarcation Line document by applicants was noticed in the conducted
research. The big problem for respondents was the appropriate identifying if the beneficiary can
apply to an application round of ROP OV 2007- 2013 or if in accordance with the demarcation line
record he can wait for the details of another programme to be announced. Because there are many
doubts, the evaluator suggest placing information about who as the Ordering Party can apply
for in the specific acting/ sub acting. It can be done in the form of the Internet guide – the
Ordering Party qualifier or the checking list. If the Ordering Party is given detailed data he can fulfil
the requirements defined in the Demarcation Line.
Question: Are formal evaluation clearly formulated and aren’t they doubtful for the potential
beneficiates?
The research result indicated that there is lack of univocality and the legibility as for as some formal
evaluation criteria records is concerned. Such conclusions can be drown after having read
respondents’ opinions and the document analysis. There are doubts about the names of criteria
and corresponding comments. It is suggested that another form of formal evaluation criteria
table should be designed to improve legibility and clarity of statements/ expressions. Same
names and groups of the existing categories should be changed (the appendix No. 1). It is
evaluator’s intention to improve legibility and erase existing doubts. Such proposal can be added
(after same adjustments) to the essential evaluation criteria.
8
The essential evaluation criteria (1st and 2nd degree)
Question: Will the accepted criteria in ROP OV 2007- 2013 for the essential evaluation allow to
optimal choose projects, achieving their objectives accordance with:
a. Acting in Detailed Description ROP OV 2007- 2013
b. Priority Axes in Detailed Description ROP OV 2007- 2013,
c.
Regional Operational Programme of Opolskie Voivodeship for 2007-2013,
d. National Strategic Reference Framework 2007-2013,
e. Opolskie Voivodeship Development Strategy
f.
Sector and trade strategies of the region and the country.
The results of the conducted research point at the general rule showing that the projects were
chosen in the best way and that they achieved their aim in the Detailed Description of ROP OV
2007- 2013. The similar rules applies to achieving aims of the ROP OV 207- 2013 Priority Axes.
Unfortunately when the level of aims becomes less detailed, the significance of the essential
evaluation criteria decreases. In the evaluator’s opinion the appropriate way. It means that the aims
are achieved at the different level of detailed description. The elevator wants to emphasize that
despite save cases in the priority axis number 1, the assumptions are equal to the assumed
aims. The results of the research despite the emphasized doubts indicate that the evaluation
criteria system will enable to achieve aims at different levels of the detailed description.
Question: Do the essential evaluation criteria reflect fully the anticipated assumption for the specific
group of beneficiaries?
The results of the conducted research indicate that in the vast majority of cases, the essential
evaluation criteria reflect fully the anticipated assumptions for the specific group of beneficiaries.
(The specific group of the beneficiaries can be definite as the indicated in the Detailed Description
ROP OV 207- 2013 Priority Axes). However, in the profound analysis it was noticed that there were
essential evaluation criteria which could influence the subjective feelings of responders.
Respondents can have the impression that the specific group of beneficiaries are privileged (e.g.
the new enterprises as 1.1.2 Investments in Micro- enterprises). The evaluator recommends to
publicize the detailed procedures of the doubtful criteria (e.g. the criteria in which points are
given in the ranking system).
Question: Will the essential evaluation criteria enable the proper choice of projects having the
desired influence on the size of the anticipated aims?
The question can be connected with the results achieved from the former consideration. In the
evaluator’s opinion, the essential evaluation criteria enable the proper choice of only those projects
which have the desired influence on the size of the anticipation aims. The evaluator has only
doubts about those essential evaluation criteria which are of declaring character. The evaluator
detects the danger of not achieving the anticipated aims because of the fact that the applicant does
not have the necessary experience and resources to reach the declared size. It is recommended
that special attention should be paid to the existing experience and available resources of
9
applicants (e.g. trough introducing additional evaluation criteria or indicators correcting the
declared value). It is noticed that there is no detailed information about the way the Managing
Authority acts in case of not fulfilling the evaluation criteria resulting in the choice of an applicant. It
is recommended that the essential evaluation criteria of 2nd degree and that the explicit
rules should be defined in case the declared values are not reached.
Question: Are the essential evaluation criteria 2nd degree granted the relevant point system which
is the scales and the number of corresponding points?
The research results indicate that that point system – the scales and the number of of
correspondingpoints were defined at the proper level.. The evaluator detected the proper choice of
point values and scales values for the priority axes from 2 to 6 (the executor of the research sees
the need of modification of some records for the priority Axis 1 which is connected to the above
mentioned conclusions and recommendations). It should be noticed that the accepted point system
reflects the major assumptions of the acting/ priority/ programme aims. It is suggested that the
detailed description of the essential evaluation criteria of declaring character should be
enriched with the elements from the existing experience of the applicant. However, the
evaluator (emphasizes) the need to make the procedure of granting points more detailed for the
evaluation criteria of ranking. The lack of information about it confuses the respondents of the
research.
Question: Do the accepted scaled values correspond to the strategic assumptions for the region,
country, community?
The above question is the extended version of the formula described in the former questions. In the
researchers opinion the existing functioning evaluation criteria system is defined properly and the
scales values despite some rave elements (described in the detailed section) correspond to the
strategic assumption for the region, country, community.
The general opinion on the evaluation criteria system
Question: Are the assumed formal and essential criteria in ROP OV 2007- 2013:
a. objective,
b. precise, which enables the clear and univocal interpretation by the project assessors and
the beneficiaries
c.
measurable,
d. coherent.
As for as the general opinion is concerned the evaluator claims that the assumed criteria are
objective, precise, measurable and coherent. There are some doubts but about some single
evaluation criteria.
It is suggested that the checking list adapted to special requirements of particular activities/
sub activities should be used and publicized to ensure the full transparency of the
evaluation criteria system.
10
The applicant can use the checking list to verify the criteria precisely and define the elements
which should be taken into account while the application is being assessed. Because of the doubts
the responders have about the requirements concerning horizontal policies of EU, the evaluator
proposes to define them precisely. The placement of the shortened study presenting the most
important assumptions of the mentioned policies will enable the applicants to understand the
criteria.
11
Spis treści
Wstęp ................................................................................................................................................13
1 Założenia ewaluacji ........................................................................................................................14
1.1 Cele i zakres badania ..............................................................................................................14
1.2 Metodologia .............................................................................................................................16
1.3 Etapy procesu badawczego.....................................................................................................18
1.4 Wybór zbiorowości i dobór próby ............................................................................................19
2 Ograniczenia procesu badawczego ...............................................................................................20
2.1 Ograniczenie formalne badania...............................................................................................20
2.2 Ograniczenie odnoszące się do poszczególnych badań.........................................................20
3 Opis systemu kryteriów wyboru projektów w Regionalnym Programie Operacyjnym Województwa
Opolskiego na lata 2007- 2013 .........................................................................................................21
3.1 RPO WO 2007- 2013 a wybór projektów ................................................................................21
3.2 Kryteria oceny formalnej (uniwersalne) ...................................................................................24
3.3 Kryteria oceny merytorycznej I stopnia (uniwersalne).............................................................25
3.4 Kryteria oceny merytorycznej II stopnia...................................................................................25
4 Wyniki badań ..................................................................................................................................26
4.1 Dane wprowadzające ..............................................................................................................26
4.2 Kryteria oceny formalnej ..........................................................................................................30
4.3 Kryteria oceny merytorycznej (I i II stopnia) ............................................................................38
4.4 Opinia (generalna) na temat systemu kryteriów oceny ...........................................................51
5. Wnioski i rekomendacje ................................................................................................................60
Spis wykresów...................................................................................................................................64
Wykaz skrótów ..................................................................................................................................66
Aneks.................................................................................................................................................67
Aneks 1. Przykładowe zestawienie zmodyfikowanej formatki kryteriów oceny formalnej.............68
Aneks 2. Propozycja zamieszczenia informacji o polityce horyzontalnej UE................................69
Aneks 3. Przegląd wskaźników oceny merytorycznej ...................................................................70
Aneks 4. Zastosowane narzędzia badawcze ................................................................................79
Aneks 5. Lista dokumentów i publikacji wykorzystanych przy realizacji badania..........................95
12
Wstęp
Prezentowany dokument jest raportem końcowym z badania „Ocena systemu kryteriów wyboru
projektów (finansowanych operacji) zaprojektowanych w ramach Regionalnego Programu
Operacyjnego Województwa Opolskiego na lata 2007-2013”.
Autorami raportu jest zespół ekspertów zaangażowanych w realizację badania w składzie: Prof. dr
hab. Krzysztof Malik, Prof. dr hab. Krystian Heffner, Dr inż. Łukasz Mach, Mgr inż. Łukasz Dymek.
Badanie „Ocena systemu kryteriów wyboru projektów (finansowanych operacji) zaprojektowanych
w ramach Regionalnego Programu Operacyjnego Województwa Opolskiego na lata 2007-2013”
było realizowane przez Wydział Zarządzania i Inżynierii Produkcji Politechniki Opolskiej na
zlecenie Urzędu Marszałkowskiego Województwa Opolskiego zgodnie z umową z dnia
27.05.2008 r. Prace związane z badaniem przeprowadzone zostały w miesiącach maj 2008 –
sierpień 2008 roku.
Dla przejrzystości i jasności prezentowanego raportu przyjęto następujące założenia:
– członków Komisji Konkursowej Oceniającej Wnioski o Dofinansowanie Projektów złożonych w
ramach RPO WO 2007-2013 będzie określać się jako członków komisji oceniającej wnioski lub
oceniających,
– ekspertów biorących udział w opracowaniu kryteriów oceny projektów oraz członków Komitetu
Monitorującego RPO WO 2007-2013 będzie określać się jako ekspertów,
– beneficjentów, którzy złożyli wnioski o dofinansowanie projektów w ramach RPO WO 2007-2013
będzie określać się jako wnioskodawców.
– kryteria wyboru projektów na poziomie uszczegółowionym określać się będzie jako kryteria
oceny formalnej, merytorycznej I stopnia, merytorycznej II stopnia.
13
1 Założenia ewaluacji
1.1 Cele i zakres badania
Zgodnie z treścią Zamówienia oraz przedłożonej przez ewaluatora Oferty głównym celem
prowadzonego
badania
zatytułowanego
„Ocena
systemu
kryteriów
wyboru
projektów
(finansowanych operacji) zaprojektowanych w ramach Regionalnego Programu Operacyjnego
Województwa Opolskiego na lata 2007-2013” było:
Dokonanie oceny kryteriów wyboru projektów zaakceptowanych przez Komitet Monitorujący RPO
WO 2007-2013 pod kątem zapewnienia skutecznej i najbardziej efektywnej realizacji RPO WO
2007-2013. Realizacja celu głównego badania została dokonana poprzez ocenę jakości przyjętego
systemu kryteriów wyboru projektów wyrażoną kardynalną lub porządkową funkcjonalnością,
badanego systemu, czyli stopniem i poziomem wyboru optymalnych projektów z punktu widzenia
realizacji celów RPO WO 2007-2013.
Wnioski z badania mogą zostać wykorzystane przez Instytucję Zarządzającą przy udoskonalaniu
systemu
kryteriów
oceny
wniosków
w
ramach
Regionalnego
Programu
Operacyjnego
Województwa Opolskiego na lata 2007-2013.
Badania koncentrują się na obszarach badawczych, które utworzono poprzez pogrupowanie pytań
badawczych:

Kryteria oceny formalnej – uszczegółowione poprzez pytania badawcze:
o
Czy przyjęte kryteria formalne w ramach RPO WO 2007-2013 są zgodne z zapisami
linii demarkacyjnej przyjętej przez Komitet Koordynujący (KK) NSRO?
o
Czy kryteria formalne są czytelnie, jasno sformułowane i nie budzą wątpliwości

Kryteria oceny merytorycznej – uszczegółowione przez pytania badawcze:
o
Czy przyjęte kryteria w ramach RPO WO 2007-2013 służące ocenie merytorycznej
a. działania w ramach uszczegółowienia RPO WO 2007-2013,
b. osi priorytetowej RPO WO 2007-2013,
c.
Regionalnego Programu Operacyjnego Województwa Opolskiego na lata 20072013,
d. Narodowych Strategicznych Ram Odniesienia 2007-2013,
e. Strategii rozwoju województwa opolskiego,
f.
o
Czy kryteria oceny merytorycznej w pełni odzwierciedlają założenia przewidywane dla
o
Czy kryteria oceny merytorycznej umożliwią właściwy wybór projektów mających
14
o
W kontekście odpowiedzi na pytania z punktu nr 2 wskazanie, czy przyjętym kryteriom
służącym ocenie merytorycznej II stopnia nadano odpowiedni system punktowy, tj.
wag i odpowiadającej im ilości punktów?
o
Czy przyjęte wielkości wagowe odpowiadają przyjętym założeniom o charakterze

Opinia (generalna) na temat systemu kryteriów oceny – uszczegółowione poprzez pytania
badawcze:
o
Czy przyjęte kryteria oceny formalnej i merytorycznej w ramach RPO WO 2007-2013
są:
a. obiektywne,
b. precyzyjne, tzn. umożliwiają zrozumiałą i jednoznaczną interpretację zarówno
przez osoby oceniające projekty, jak i beneficjentów,
c.
mierzalne,
Badanie ewaluacyjne zostało dokonane w oparciu o badania danych zastanych oraz badania
empiryczne, w trakcie których gromadzone były dane ilościowe i jakościowe. Na podstawie
przeanalizowanych danych na postawione pytania ewaluacyjne zostały sformułowane odpowiedzi
w postaci wniosków i rekomendacji.
15
1.2 Metodologia
Zaproponowana metodologia umożliwiła, zgodnie z ofertą, dokonanie analizy systemu kryteriów
wyboru projektów (finansowanych operacji) zaprojektowanych w ramach Regionalnego Programu
Operacyjnego Województwa Opolskiego na lata 2007-2013 oraz sformułowanie stosownych
rekomendacji. W badaniu wykorzystano triangulację metod badawczych pozwalającą na łączenie
metod celem wielopłaszczyznowego spojrzenia na badany obszar badawczy. Wybrane metody i
techniki mają na celu udzielenie wiarygodnej odpowiedzi na postawione pytania badawcze.
Dokonano wyboru następujących metod i narzędzi badawczych:

Analiza źródeł wtórnych (desk research)

Indywidualne wywiady pogłębione (individual in-depth interviews),

Wywiady kwestionariuszowe (face to face)

Wywiady telefoniczne (CATI)

Analiza SWOT
Dzięki takiemu postępowaniu zgromadzono dane zarówno ilościowe, jak i jakościowe oraz
dokonano ewaluacji z uwzględnieniem punktu widzenia różnych grup interesariuszy:

przedstawicieli IZ i IP2,

członków Komisji Konkursowej Oceniającej Wnioski o Dofinansowanie Projektów
złożonych w ramach RPO WO 2007-2013,

członków Komitetu Monitorującego RPO WO 2007-2013,

ekspertów biorących udział w opracowywaniu kryteriów oceny projektów.
Proces badawczy pozwolił na triangulację danych otrzymanych podczas badania. Dane zebrane
od respondentów z zastosowaniem różnych technik badawczych: (indywidualne wywiady
pogłębione - individual in-depth interview, wywiady kwestionariuszowe - face to face, wywiady
telefoniczne, CATI) zestawiono z informacjami uzyskanymi ze źródeł wtórnych i analizy
strategicznej SWOT.
Celem głównym wykorzystania technik badawczych użytych do realizacji przedmiotowego badania
było zapewnienie jak najwyższej rzetelności i trafności badania, a także zebranie jak
najpełniejszych i wzajemnie weryfikujących się informacji.
Analiza źródeł wtórnych (desk research) - analiza dokumentacji pozwoliła na zapoznanie się z
danymi faktograficznymi - uzyskane informacje pochodziły bezpośrednio ze źródeł wykazanych w
aneksie do raportu. Badanie koncentrowało się na:

sporządzeniu spisu kluczowych źródeł informacji,

przeszukiwaniu baz danych głównie dostępnych za pośrednictwem Internetu (Web
research),

weryfikacji
dostępnych
alternatywnych
wyników
prac
z
badanego
obszaru
z uszczegółowieniem ze względu na kryterium przedmiotowe i podmiotowe,

odwołania się do prac zawierających odnośniki do źródeł danych oraz odwołanie do
16
źródeł zewnętrznych,

weryfikacji oceny jakości zebranych informacji.
Badanie miało charakter ekspercki i koncentrowało się na ocenie spójności zapisów
poszczególnych dokumentów o charakterze strategicznym z zapisami kryteriów oceny projektów
przyjętymi dla RPO WO 2007-2013.
Indywidualne wywiady pogłębione (individual in-depth interviews) – wywiady mające charakter
swobodnej rozmowy z respondentami będącymi przedstawicielami kierownictwa opierały się na
określonym scenariuszu. Swoboda wypowiedzi w danym obszarze pozwalała na moderację
rozmowy przez prowadzącego wywiad celem uzyskania szczegółowych i pogłębionych informacji
na temat badanego zagadnienia.
Wywiady kwestionariuszowe (face to face) – badanie to pozwoliło na przeprowadzenie
stosownego wnioskowania odnośnie prawidłowości zapisów kryteriów oceny projektów, a tym
samym ich walidację m.in. przez osoby biorące udział w komisji oceny wniosków. Grupą
respondentów oprócz osób oceniających byli przedstawiciele grupy osób tworzących i opiniujących
kryteria, a także przedstawiciele KM RPO WO 2007-2013.
Wywiady telefoniczne (CATI) – badanie to pozwoliło na objęcie dużej reprezentatywnej grupy
respondentów, co pozwoliło na stosowne wnioskowanie odnoszące się do całej grupy
wnioskodawców. Wyniki otrzymane bezpośrednio od zainteresowanych wnioskodawców pozwoliły
na wyciągnięcie wniosków odnoszących się do subiektywnych odczuć wnioskodawców odnośnie
kryteriów oceny wniosków.
Analiza SWOT – badanie w tym obszarze polegało na analizie wynikowej dotychczas
przeprowadzonych badań (analiza źródeł zastanych, wywiady kwestionariuszowe, pogłębione i
telefoniczne).
Multiplikacja źródeł pochodzenia informacji pozwoliła na uwzględnienie różnych aspektów
badanego problemu, ze szczególnym uwzględnieniem różnych grup zaangażowanych w realizację
projektów. Podejście to pozwoliło na zebranie informacji pełnych, bogatych i zróżnicowanych, które
zostały poddane szczegółowej interpretacji, a tym samym są bardziej użyteczne w procesie
generowania rekomendacji. Badanie ze względu na swoją specyfikę przybrało formę określonych
uogólnień, co spowodowane było selektywną wiedzą grupy badanych i związku, jaki mają z
systemem kryteriów oceny (tworzący kryteria, nadzorujący system, oceniający wnioski).
17
1.3 Etapy procesu badawczego
Całość procesu badawczego realizowana została zgodnie z harmonogramem realizacji
z wyszczególnieniem następujących etapów:
Etap I. Prace przygotowawcze. Etap ten polegał na działaniach wstępnych, przygotowaniu raportu
metodologicznego zawierającego informacje na temat przedmiotu, zakresu i pytań badawczych.
Na tym etapie powstały także stosowne kwestionariusze wywiadu oraz scenariusze wywiadu (IDI).
Etap II. Diagnoza regionalna i inwentaryzacja. Na tym etapie przeprowadzono analizę danych
zastanych (interpretacja danych wtórnych). Badanie dokumentów opisujących kryteria oceny RPO
WO 2007- 2013 oraz badanie ewentualnych procesów powstawania dokumentów. W ramach
dokumentów wewnętrznych instytucji odpowiedzialnych za wdrażanie programu na poziomie
regionu zostały przeprowadzone analizy z wykorzystaniem technik Desk research i Web research.
Badania w tej części obejmowały także wyniki badań, których zakres tematyczny jest powiązany z
problematyką badawczą podejmowaną w realizacji RPO WO 2007- 2013. Uzupełnieniem pracy
badawczej w tej części było przygotowanie wstępnej analizy SWOT stopniowo uzupełnianej po
interpretacji wyników cząstkowych pozostałych badań.
Etap III. Badania pierwotne. W tej części procesu badawczego zespół badaczy rozpoczął pracę
nad badaniem właściwym polegającym na pozyskaniu informacji od wyznaczonych grup
respondentów. Na tym etapie wykorzystane zostały następujące narzędzia badawcze:

Indywidualne wywiady pogłębione przeprowadzone z kadrą zarządzającą IZ i IP2
zaangażowaną w proces wdrażania RPO WO 2007- 2013.

Wywiady kwestionariuszowe (face to face) z członkami Komisji Oceny Projektów oraz
ekspertami, którzy brali udział w opracowaniu kryteriów wyboru.

Wywiady telefoniczne - CATI przeprowadzone wśród beneficjentów składających wnioski
w ramach ogłoszonych konkursów RPO WO 2007- 2013. w województwie opolskim.
Badania pierwotne zostały rozszerzone o dodatkowe badanie kwestionariuszowe przeprowadzone
wśród
osób
dokonujących
oceny
na
ocenie
merytorycznej
stopnia II.
Uzasadnienie
przeprowadzenia dodatkowych badań kwestionariuszowych znajduje się w części raportu
zatytułowanej: Ograniczenia procesu badawczego.
Etap IV. Projektowanie i synteza badań. W tej części procesu badawczego przeprowadzono
syntezę i interpretację otrzymanych wyników badań na poprzednich jego etapach. Na podstawie
zebranych danych dokonano szczegółowej syntezy i opracowania wniosków oraz rekomendacji.
Wygenerowane wnioski i rekomendacje mają na celu z jednej strony przedstawienie wyników
przeprowadzonego procesu badawczego w sposób syntetyczny oraz wskazanie na poszukiwanie
konstruktywnych rozwiązań we właściwy sposób adresujących zidentyfikowane problemy. Wnioski
18
sformalizowane na tym etapie powstawały w trybie ciągłym realizowanym podczas całego badania.
W ten sposób uzyskany został wielostronny ogląd identyfikowanych problemów, który umożliwia
bardziej wszechstronną adaptację stworzonych rekomendacji.
Dla badań kwestionariuszowych (face to face) oraz badań telefonicznych CATI przeprowadzono
ponadto badania pilotażowe mające na celu weryfikację założeń ankietowych oraz prawidłowość
stawianych tez badawczych. Wyniki badań pilotażowych posłużyły do sporadycznych modyfikacji
przyjętych kwestionariuszy.
1.4 Wybór zbiorowości i dobór próby
Zbiorowością badaną były wyselekcjonowane grupy posiadające stosowną wiedzę odnoszącą się
do obszarów problemowych wyróżnionych na potrzeby badania. Były to zidentyfikowane grupy
interesariuszy:

kadra zarządzająca RPO WO 2007- 2013 - przedstawiciele kierownictwa Instytucji
Zarządzającej oraz Instytucji Pośredniczącej stopnia II – N=2 (respondentów);

członkowie komisji konkursowej oceniającej wnioski o dofinansowanie projektów złożonych
w ramach ogłoszonych konkursów RPO WO 2007- 2013 – N=24 (respondentów);

eksperci, którzy brali udział w opracowaniu kryteriów oceny oraz wybrani przedstawiciele
Komitetu Monitorującego RPO WO 2007- 2013 – N=22 (respondentów);

beneficjenci, z rund naboru wniosków, dla których odbyła się już ocena formalna – N=100
(respondentów):
W ramach badania zastosowany został dobór próby celowy dla badań: indywidualnych wywiadów
pogłębionych, wywiadów kwestionariuszowych. Dobór celowy w tym przypadku gwarantował udział
w badaniach respondentów o określonym poziomie wiedzy na temat badanych zjawisk, procesów
oraz procedur. Dobór losowy próby zastosowany został dla badania CATI. Ze względu na znaczną
ilość beneficjentów, którzy uczestniczą w RPO WO 2007- 2013 wybór losowy był właściwy, a tym
samym przy założeniu wskazanej liczby respondentów także i reprezentatywny.
19
2 Ograniczenia procesu badawczego
2.1 Ograniczenie formalne badania
W realizacji przedmiotowego procesu badawczego zauważono, iż obecny etap harmonogramu
naborów wniosków nie pozwala na realizację pełnego badania wśród przedstawicieli wszystkich
działań w ramach Regionalnego Programu Operacyjnego Województwa Opolskiego na lata 20072013. Do chwili rozpoczęcia badań ukonstytuowane zostały zespoły członków komisji
konkursowych oceniających wnioski o dofinansowanie (co łączy się z przejściem wniosków przez
ocenę formalną) tylko dla działań:

1.1.2 – Inwestycje w mikroprzedsiębiorstwach,

1.4.1 – Wsparcie usług turystycznych i rekreacyjno- sportowych świadczonych przez
przedsiębiorstwa,

5.2.1 – Stacjonarna opieka medyczna,
Ograniczenie to spowodowało, iż tylko te osoby zaangażowane w proces oceny oraz
wnioskodawcy z przedmiotowych działań zostali poddani badaniu. Dla pozostałych elementów
systemu kryteriów oceny wniosków przeprowadzone zostało badanie eksperckie wykorzystujące
zależności zauważone w badanych częściach.
Podczas realizacji procesu badawczego zmianie uległy niektóre dokumenty programowe, co
wymagało weryfikacji i aktualizacji niektórych otrzymanych wyników.
Ponadto okres przedmiotowego badania pokrywał się z okresem urlopowym, co miało bezpośredni
wpływ na utrudnienia z dostępem do respondentów i w konsekwencji powodowało częste
przesunięcia czasowe.
2.2 Ograniczenie odnoszące się do poszczególnych badań
Ograniczenia w badaniu kwestionariuszowym
W wyniku wstrzymania procedury naboru i oceny wniosków na przełomie kwietnia i maja 2008 r.
(aktualizacja wymagań odnośnie niezgodności polskich przepisów prawnych z wymogami
Dyrektywy 85/337/EWG Rady z dnia 27 czerwca 1985r. w sprawie oceny skutków wywieranych
przez przedsięwzięcia publiczne i prywatne na środowisko naturalne) podjęto decyzję o
powtórzeniu części badania wśród osób, które będą oceniać wnioski w ramach oceny
merytorycznej II stopnia.
Ograniczenia w badaniu telefoniczny CATI
Jako główne ograniczenie wpływające na realizację tego badania wskazano, iż badana grupa
respondentów (wnioskodawcy składający wnioski na ogłoszone konkursy) w znacznej mierze
wykorzystywała, przy opracowaniu dokumentacji projektowej, zewnętrzne firmy konsultingowodoradcze, które w różnym stopniu wpływały na ostateczny kształt składanego wniosku.
Konsekwencją tego typu zjawiska był fakt, iż w dużej części badani respondenci nie potrafili
ustosunkować się kompetentnie do przedmiotu badań (system kryteriów oceny).
20
3 Opis systemu kryteriów wyboru projektów w
Regionalnym Programie Operacyjnym Województwa
Opolskiego na lata 2007- 2013
3.1 RPO WO 2007- 2013 a wybór projektów
Przedmiotem badania była ocena systemu kryteriów wyboru projektów w Regionalnym Programie
Operacyjnym Województwa Opolskiego na lata 2007-2013. Rolę Instytucji Zarządzającej RPO WO
2007- 2013 pełni Zarząd Województwa Opolskiego (na podstawie Regulaminu Organizacyjnego
UMWO obowiązki IZ pełni Departament Koordynacji Programów Operacyjnych Urzędu
Marszałkowskiego Województwa Opolskiego). Dla wydzielonej grupy działań Osi Priorytetowej 1
Instytucja Zarządzająca oddelegowała część zadań do Instytucji Pośredniczącej II stopnia, którą jest
Opolskie Centrum Rozwoju Gospodarki (OCRG).
Regionalny Program Operacyjny Województwa Opolskiego na lata 2007-2013 (RPO WO 20072013) jest jednym z narzędzi realizacji Strategii Rozwoju Województwa Opolskiego, co oznacza,
że z założenia ma przyczynić się do osiągnięcia celów w niej określonych poprzez ustalenie
określonych działań szczegółowych. Działania podejmowane w programie stanowią najistotniejsze
zagadnienia wyselekcjonowane z punku widzenia rozwoju regionu w latach 2007-2013 przy
równoczesnej możliwości wsparcia finansowego pochodzącego z Europejskiego Funduszu
Rozwoju Regionalnego. Cel główny RPO WO 2007- 2013 jest spójny z założeniami celów Strategii
Rozwoju Województwa Opolskiego i określony został jako: Zwiększenie konkurencyjności oraz
zapewnienie spójności społecznej, gospodarczej i przestrzennej dla podniesienia atrakcyjności
województwa opolskiego, jako miejsca do inwestowania, pracy i zamieszkania. Realizacja celu
głównego możliwa jest poprzez realizację celów strategicznych przypisanych do poszczególnych
Osi priotytetowych RPO WO 2007- 2013:

Wzmocnienie gospodarki regionu poprzez rozwój przedsiębiorczości, innowacyjności,
sektora B+R oraz infrastruktury turystycznej i rekreacyjno-sportowej na rzecz rozwoju
społeczno-gospodarczego (Oś priorytetowa 1 - Wzmocnienie atrakcyjności gospodarczej
regionu).
o
Działanie 1.1 Rozwój przedsiębiorczości
Poddziałanie 1.1.1 Wsparcie instytucji otoczenia biznesu
Poddziałanie 1.1.2 Inwestycje w mikroprzedsiębiorstwach
o
Działanie 1.2 Zapewnienie dostępu do finansowania przedsiębiorczości
o
Działanie 1.3 Innowacje, badania, rozwój technologiczny
Poddziałanie 1.3.1 Wsparcie sektora B+R oraz innowacji na rzecz
przedsiębiorstw
Poddziałanie 1.3.2 Inwestycje w innowacje w przedsiębiorstwach
21
o
Działanie 1.4 Rozwój infrastruktury turystycznej i rekreacyjno-sportowej
Poddziałanie 1.4.1 Wsparcie usług turystycznych i rekreacyjno-sportowych
świadczonych przez przedsiębiorstwa
Poddziałanie 1.4.2 Usługi turystyczne i rekreacyjno-sportowe świadczone
przez sektor publiczny

Tworzenie technicznych warunków do powszechnego wykorzystania narzędzi ICT oraz ich
upowszechnianie na rzecz budowy społeczeństwa informacyjnego w województwie
opolskim (Oś priorytetowa 2 – Społeczeństwo informacyjne).

o
Działanie 2.1 Infrastruktura dla wykorzystania narzędzi ICT
o
Działanie 2.2 Moduły informacyjne, platformy e-usługi i bazy danych
Zwiększenie perspektyw rozwojowych regionu i mobilności jego mieszkańców poprzez
rozwój infrastruktury transportowej (Oś priorytetowa 3 – Transport).
o
Działanie 3.1 Infrastruktura drogowa
Poddziałanie 3.1.1 Drogi regionalne
Poddziałanie 3.1.2 Drogi lokalne
o

Działanie 3.2 Transport publiczny
Poprawa
stanu
środowiska
naturalnego
i
ochrona
przyrody
oraz
zapewnienie
bezpieczeństwa przeciwpowodziowego (Oś priorytetowa 4 – Ochrona środowiska).

o
Działanie 4.1 Infrastruktura wodno-ściekowa i gospodarka odpadami
o
Działanie 4.2 Zabezpieczenie przeciwpowodziowe
o
Działanie 4.3 Ochrona powietrza, odnawialne źródła energii
o
Działanie 4.4 Ochrona bioróżnorodności Opolszczyzny
Wzmocnienie roli edukacji i oświaty, wzrost znaczenia kultury na rzecz zwiększenia
atrakcyjności regionu oraz podniesienie poziomu bezpieczeństwa zdrowotnego dla
zapewnienia efektywności regionalnych zasobów pracy (Oś priorytetowa 5 – Infrastruktura
społeczna i szkolnictwo wyższe).
o
Działanie 5.1 Wsparcie infrastruktury edukacyjnej
Poddziałanie 5.1.1 Wsparcie regionalnej infrastruktury edukacyjnej
Poddziałanie 5.1.2 Wsparcie lokalnej infrastruktury edukacyjnej
o
Działanie 5.2 Rozwój bazy medycznej w regionie
Poddziałanie 5.2.1 Stacjonarna opieka medyczna
Poddziałanie 5.2.2 Ambulatoryjna opieka medyczna
o

Działanie 5.3 Rozwój kultury oraz ochrona dziedzictwa kulturowego
Przeciwdziałanie marginalizacji społecznej, gospodarczej i przestrzennej wybranych
obszarów zdegradowanych oraz przeznaczonych do rewitalizacji (Oś priorytetowa 6 –
Aktywizacja obszarów miejskich i zdegradowanych).

o
Działanie 6.1 Rewitalizacja obszarów miejskich
o
Działanie 6.2 Zagospodarowanie terenów zdegradowanych
Zapewnienie efektywnego i sprawnego systemu zarządzania, wdrażania, monitorowania
oceny i kontroli RPO WO 2007-2013 oraz osiągnięcie pełnej absorpcji środków funduszy
22
strukturalnych w latach 2007-2013 (Oś priorytetowa 7 – Pomoc techniczna).
o
85 – Przygotowanie, realizacja, monitorowanie i kontrola,
o
86 – Ocena, badania/ekspertyzy, informacja i komunikacja.
RPO WO 2007- 2013 wdrażany jest przy zastosowaniu dwóch metod wyboru projektów tj.:

procedury konkursowej (objętej przedmiotowym badaniem)

procedury pozakonkursowej dla indywidualnych projektów kluczowych (nie objętej
przedmiotowym badaniem).
Zgodnie z zapisami dokumentu „Szczegółowy opis Osi priotytetowych Regionalnego Programu
Operacyjnego Województwa Opolskiego na lata 2007-2013” procedura konkursowa może
przebiegać jednoetapowo lub dwuetapowo. Procedura dwuetapowa poszerzona jest o etap
preselekcji (weryfikację projektów pod kątem zgodności z kryteriami dostępu i celami RPO WO
2007- 2013). Każda natomiast procedura konkursowa składa się z konkursu właściwego, na który
składa się etap:

Oceny formalnej – dokonywanej przez pracowników IZ lub IP 2 w oparciu
o kryteria formalne uniwersalne (tj. zgodności formalnej w zakresie poprawności złożonej
dokumentacji projektowej) w systemie TAK/NIE lub 0/1 zgodnie z zasadą dwóch par oczu;

Oceny merytorycznej – dokonywanej przez członków komisji konkursowej oceniającej
wnioski o dofinansowanie projektów w ramach dwóch etapów ocen:
o
I stopnia – dotyczy analizy merytorycznej warstwy wniosku m.in. pod względem:
wykonalności i trwałości projektu, realności zakładanych wskaźników, zgodności z
zasadami udzielania pomocy publicznej. Jest możliwa do przeprowadzenia w
systemie TAK/NIE lub 0/1 przez komisję konkursową na podstawie listy
sprawdzającej do oceny wniosku pod kątem kryteriów merytorycznych I stopnia
uniwersalnych i szczegółowych. Ocena merytoryczna ma charakter uniwersalny, tj.
odnoszący się do wszystkich działań i poddziałań oraz charakter szczegółowy
odnoszący się tylko do określonego rodzaju projektów.
o
II stopnia – polega na przypisaniu przez komisję konkursową określonej ilości
punktów w oparciu o listę sprawdzającą do oceny wniosku pod kątem
szczegółowych kryteriów merytorycznych II stopnia.
Na poziomie oceny formalnej oraz oceny merytorycznej I stopnia przyjmuje się kryterium
weryfikacji o charakterze względnym lub bezwzględnym. Charakter względny oznacza, iż IZ lub
IP2 może poprosić o stosowne wyjaśnienia lub uzupełnienia wnioskodawcę. W przypadku
kryterium bezwzględnego działanie takie nie może mieć już miejsca.
Natomiast podczas oceny merytorycznej II stopnia oceniany wniosek otrzymuje określoną liczbę
punktów na podstawie przyjętego systemu wag związanych z rangą kryterium weryfikacji.
23
3.2 Kryteria oceny formalnej (uniwersalne)
Jak wskazano w poprzednim punkcie ocena formalna opiera się o kryteria uniwersalne,
obejmujące w głównej mierze kryteria dostępu oraz poprawność złożonej dokumentacji. W ramach
oceny formalnej dokonuje się weryfikacji wnioskodawcy, z punktu widzenia czy:

beneficjent jest uprawniony do składania wniosku (kryterium bezwzględne) –weryfikacja
typu uprawnionych wnioskodawców (formy organizacyjno prawnej), lokalizacji, siedziby,
itp. na podstawie zapisów zawartych w Szczegółowym opisie Osi priotytetowych RPO WO
2007-2013

rodzaj projektu jest możliwy do realizacji w ramach działania / poddziałania / zakresu
konkursu (kryterium bezwzględne) – weryfikacja rodzajów projektów dopuszczonych do
realizacji w ramach danej rundy aplikacyjnej

wniosek jest złożony poprawnie, zgodnie z wytycznymi Instytucji Zarządzającej (kryterium
względne) – weryfikacja prawidłowego wypełnienia i złożenia wniosku

załączniki do wniosku są kompletne, zgodnie z wytycznymi Instytucji Zarządzającej
(kryterium względne) – weryfikacja kompletności przedłożonych załączników do wniosku

załączniki do wniosku są poprawne, zgodnie z wytycznymi Instytucji Zarządzającej
(kryterium względne) – weryfikacja poprawności przedłożonych załączników do wniosku

wniosek spełnia finansowe i szczegółowe warunki brzegowe (kryterium bezwzględne) –
weryfikacja kwoty minimalnej i maksymalnej przewidzianej dla danego typu wniosków

zabezpieczone są źródła finansowania projektu (kryterium względne) – weryfikacja źródeł
zabezpieczenia finansowego na potrzeby projektu

zapewniona jest kwalifikowalność wydatków (kryterium względne) – weryfikacja kosztów
kwalifikowanych wydatkowanych w ramach projektu

występuje zgodność z linią demarkacyjną (kryterium bezwzględne) – weryfikacja, której
celem jest wyeliminowanie ewentualnego nakładania się interwencji poszczególnych
programów operacyjnych współfinansowanych z funduszy strukturalnych, Funduszu
Spójności, EFRROW i EFRR, stosuje się wymóg zgodności z zapisami „Linii
demarkacyjnej pomiędzy Programami Operacyjnymi Polityki Spójności, Wspólnej Polityki
Rolnej i Wspólnej Polityki Rybackiej” (Linia demarkacyjna).
Kryteria oceny formalnej (uniwersalne) odnoszą się do wszystkich działań, a tylko w przypadku Osi
priorytetowej 7 Pomoc techniczna występują kryteria formalne szczegółowe (dedykowane).
Wyniki badań ewaluacyjnych odnoszące się do zapisów kryteriów oceny formalnej, a także
występujących poniżej kryteriów oceny merytorycznej stopnia I i II zawarte zostały w rozdziałach 4
i 5 raportu.
24
3.3 Kryteria oceny merytorycznej I stopnia (uniwersalne)
W ramach oceny merytorycznej I stopnia (kryteria uniwersalne) dokonuje się weryfikacji złożonych
dokumentów z punktu widzenia:

Wykonalności projektu (kryterium względne) – weryfikacja planowanego harmonogramu,
zakresu rzeczowego, wartości, złożoności procedur przetargowych, innych okoliczności
warunkujących
terminową
realizację
projektu,
wykonalności
instytucjonalnej
oraz
zgodności z przepisami prawa.

Realności zakładanych wskaźników produktu i rezultatu (kryterium względne) – weryfikacja
możliwości osiągnięcia projektowanych wskaźników produktu i rezultatu

Zgodności założeń projektu z celami działania / poddziałania / rodzaju projektu (kryterium
bezwzględne) – weryfikacja zgodności założeń projektu z celami działania na podstawie
przedłożonych informacji zawartych we wniosku

Spełnienia przez projekt zasad udzielania pomocy publicznej (kryterium względne) –
weryfikacja czy wnioskodawca prawidłowo założył występowanie pomocy publicznej

Trwałości projektu (kryterium względne) – weryfikacja czy przedstawione informacje
zapewniają trwałość instytucjonalną projektu

Realności i prawidłowości przygotowanych analiz finansowych (kryterium względne) –
weryfikacja poprawności przedstawionych analiz finansowych, zasadności planowanych
wydatków do realizacji projektu oraz efektywności finansowej projektu.

Zgodności projektu z politykami horyzontalnymi UE (kryterium bezwzględne) – weryfikacja
rzeczywistego wpływu projektu na polityki horyzontalne w obszarze ochrony środowiska,
równości szans (zatrudnienia) oraz społeczeństwa informacyjnego.
3.4 Kryteria oceny merytorycznej II stopnia
W ramach kryteriów oceny merytorycznej II stopnia weryfikacji podlegają szczegółowe kryteria
oceny przyporządkowane do poszczególnych działań i poddziałań ze szczególnym uwypukleniem
celów dla nich przewidzianych. Kryteria oceny merytorycznej mają za zadanie wyłonienie do
dofinansowania tylko takich projektów, które mają pozytywny skutek dla założeń programowych
i strategicznych.
25
4 Wyniki badań
W rozdziale 4. zaprezentowane są wyniki badań ewaluacyjnych wpisane w strukturę przyjętych
pytań badawczych pogrupowanych według obszarów problemowych:

Dane wprowadzające – informacje istotne z punktu widzenia dalszego procesu
badawczego- zawierają dane wynikające z przedstawionych ograniczeń oraz wniosków i
sugestii dotyczących procesu badawczego.

Kryteria oceny formalnej – informacje odnoszące się do zapisów oceny formalnej
uzyskane w wyniku badań pierwotnych, co zostało poszerzone o wyniki badań wtórnych.

Kryteria oceny merytorycznej (I i II stopnia) – szczegółowe badanie zgodności zapisów
kryteriów merytorycznych z kategoriami wyznaczonymi przez pytania badawcze.

Opinia (generalna) na temat systemu kryteriów oceny – wyniki badań odnoszące się do
całości systemu kryteriów oceny w tym zasadności procedury, precyzji zapisu itp.
Wyniki badań zostały przedstawione zgodnie z wytypowanymi polami badawczymi i poszerzone o
wyniki badań desk research z uszczegółowieniem odpowiadającym pytaniom badawczym. Na tym
etapie wykorzystane zostały wyniki przeprowadzonej wstępnej analizy SWOT.
4.1 Dane wprowadzające
W tej części opracowania przedstawione zostaną wyniki badań bezpośrednio związane z
ograniczeniami wskazanymi w rozdz. 2 Raportu. Dane te odnoszą się do całości problematyki
procesu badawczego i w znacznym stopniu miały wpływ na otrzymane wyniki.
W ramach tej części ewaluator wyodrębnił część odnoszącą się do samodzielności opracowania
wniosków przez wnioskodawców.
Z badań wynika, iż w próbie badawczej N= 100, Na pytanie: Czy Pan/Pani samodzielnie
opracowywał
wniosek
o
dofinansowanie?
Aż
75%
respondentów
odpowiedziała,
że
niesamodzielnie przygotowywała wniosek o dofinansowanie, a tylko 25% wskazała w pełni
samodzielną pracę nad wnioskiem. Poziom zaangażowania jednostek z zewnątrz może
sugerować, że badana grupa wnioskodawców nie posiada szczegółowej wiedzy na temat systemu
kryteriów oceny i nie będzie w stanie prawidłowo ustosunkować się do przedmiotu badań. Celem
weryfikacji stopnia zaangażowania osób trzecich (jednostek doradczych i/lub konsultingowych)
przebadano grupę respondentów niesamodzielnie opracowujących wniosek projektowy (N=75) na
okoliczność roli, jaką odegrała w opracowaniu osoba trzecia.
26
Pytanie: Jaki był charakter udzielonej pomocy przez osoby z zewnątrz?
Możliwe odpowiedzi:

bardzo duży (koordynowały prace w ramach dokumentacji projektowej)

duży (część dokumentów wnioskodawca sam opracowywał)

przeciętny (częste konsultacje dotyczące dokumentacji projektowej)

niski (sporadyczne konsultacje dotyczące dokumentacji projektowej)

bardzo niski (pojedyncze konsultacje)

ciężko określić
Wyniki przedstawiały się w sposób następujący:
Wykres 1: Poziom udzielanej pomocy przy opracowaniu wniosku o dofinansowanie przez firmy
zewnętrzne.
20%
27%
Bardzo duży
Duży
Przeciętny
53%
Nikt z respondentów nie udzielił odpowiedzi z pozostałego zakresu (niski, bardzo niski, ciężko
określić).
Badając przyczynę podjęcia decyzji o wyborze jednostki zewnętrznej badane osoby poproszone
zostały o odpowiedź na pytanie: Zakładając, że podjęcie decyzji o wyborze jednostki zewnętrznej
może mieć charakter złożony, proszę o wskazanie elementów mających na to wpływ oraz ich
znaczenie (wagą) w podjęciu tej decyzji?
27
Wykres 2: Przyczyny wyboru firm zewnętrznych pomagających w opracowaniu wniosku o
dofinansowanie
100%
90%
80%
70%
60%
Niskie znaczenie
50%
Duże znaczenie
40%
Bardzo duże znaczenie
30%
20%
10%
0%
Duża liczba w ymagań Duża liczba Ograniczony czas na
Brak
dokumentów
w ykonanie w yspecjalizow anych
dokumentacji
umiejętności i
projektow ej
kw alifikacji w
zakresie
opracow ania
w niosku
Szczegółowe informacje w tym zakresie przedstawiały się następująco:
Tabela 1: Przyczyny wyboru zewnętrznej jednostki doradczej/ konsultingowej
Bardzo duże
znaczenie
Duże znaczenie
Niskie znaczenie
14%
12%
65%
74%
21%
14%
26%
50%
24%
29%
24%
47%
Duża liczba wymagań
Duża liczba dokumentów
Ograniczony czas na wykonanie
dokumentacji projektowej
Brak wyspecjalizowanych
umiejętności i kwalifikacji w
zakresie opracowania wniosku
Jak wynika z powyższych wyników respondenci dokonując wyboru firmy doradczej/ konsultingowej
obawiali się przede wszystkim dużej liczby wymagań jakie musi spełnić beneficjent, a także
koniecznością opracowania i przedłożenia znacznej ilości dokumentów. Elementem na który
wnioskodawcy zwracali także uwagę był fakt ograniczenia czasowego jakie posiadali od momentu
ogłoszenia konkursu do terminu jego zamknięcia. Te trzy wskazane powyżej przyczyny były
wskazywane przez co najmniej jednego na dwóch badanych jako mające duże i bardzo duże
znaczenie w wyborze jednostki zewnętrznej.
Celem zidentyfikowania stopnia udzielonej pomocy ewaluator przebadał deklaratywny charakter
udzielonego wsparcia. Pytanie: Jak ocenia Pan/ Pani pomoc osób pomagających w opracowaniu
dokumentacji projektowej? Możliwe odpowiedzi:

bardzo dobrze (kluczowy wpływ na jakość dokumentacji projektowej)

dobrze (znaczny wpływ na jakość dokumentacji projektowej)

przeciętnie (dostateczny wpływ na jakość dokumentacji projektowej)

słabo (niedostateczny wpływ na jakość dokumentacji projektowej)
28

bardzo słabo (błędnie podjęta decyzja o wyborze osoby z zewnątrz)

ciężko określić
Wśród otrzymanych wyników nie znalazły się odpowiedzi (słabo, ciężko określić). Wyniki
przedstawiały się w sposób następujący:
Wykres 3: Ocena jakości udzielonej pomocy przez firmy zewnętrzne pomagające w opracowaniu
wniosku o dofinansowanie
5%
8%
39%
Bardzo dobrze
Dobrze
Przeciętnie
Bardzo słabo
48%
Zdecydowana większość przedsiębiorców (87%) oceniło pomoc zewnętrzną jako dobrą lub bardzo
dobrą co należy interpretować, że jednostki doradcze i konsultingowe mają znaczący wpływ na
kształt składanej dokumentacji. Tylko 5% respondentów przyznało, że wybór jednostki zewnętrznej
w tym zakresie był błędem.
Badając obecne przekonanie wnioskodawców co do wykorzystania firm zewnętrznych do
opracowania kolejnych wniosków projektowych ewaluator otrzymał następujące wyniki:
Pytanie:
Czy
następnym
razem
wnioskodawca
będzie
korzystał
z
pomocy
jednostek
zewnętrznych?
Wykres 4: Deklarowana chęć ponownego skorzystania przez wnioskodawców z pomocy udzielonej
przez firmy zewnętrzne pomagające w opracowaniu wniosku o dofinansowanie
10%
7%
Tak
Nie
Brak odpowiedzi
83%
29
Powyższe wyniki wskazują, że w znacznej części wnioskodawca w sposób duży lub bardzo duży
wspierali się firmami zewnętrznymi przy opracowaniu obecnie złożonej dokumentacji projektowej.
Głównym skutkiem takiego działania jest niestety niska wiedza grupy respondentów podlegających
badaniu na temat wymagań stawianych przez kryteria oceny projektów. Wnioskodawcy tym
samym nie wiedzą precyzyjnie jakie warunki muszą zostać spełnione, aby wniosek został
zaakceptowany w ramach oceny formalnej oraz merytorycznej I i II stopnia. Z tego punktu widzenia
utrudnione stało się uszczegółowione badanie z przyjętym podziałem na kryteria oceny formalnej i
merytorycznej. Ponadto ewaluator zauważył, iż niektóre z odpowiedzi udzielanych przez
respondentów odnoszą się do poprzedniego okresu programowania. W tym zakresie ponadto
zauważa się, że beneficjenci błędnie interpretują przyjęty podział na kryteria oceny formalnej i
merytorycznej I i II stopnia.
4.2 Kryteria oceny formalnej
Badania odnoszące się do kryteriów oceny formalnej skoncentrowane były wokół dwóch głównych
pytań badawczych:
o
Czy przyjęte kryteria formalne w ramach RPO WO 2007-2013 są zgodne z zapisami
linii demarkacyjnej przyjętej przez Komitet Koordynujący (KK) NSRO?
o
W badania obejmujących zakres oceny formalnej wykorzystano wszystkie techniki badawcze
otrzymując niejednokrotnie interesujące wyniki potwierdzające lub obalające przyjęte założenie.
Czy przyjęte kryteria formalne w ramach RPO WO 2007-2013 są zgodne z zapisami linii
demarkacyjnej przyjętej przez Komitet Koordynujący (KK) NSRO?
W badaniu odnoszącym się do grupy ekspertów, którzy brali udział w opracowaniu kryteriów oceny
oraz wybranych przedstawicieli Komitetu Monitorującego RPO WO 2007- 2013 (N=22) okazało
się, że 20 osób brało udział w opracowaniu kryteriów oceny (co stanowiło 90 % badanej
zbiorowości) a 2 osoby są przedstawicielami Komitetu Monitorującego RPO WO 2007- 2013. W
grupie osób biorących udział na etapie przygotowywania kryteriów oceny (N=20), 12 osób brało
udział w opracowaniu kryteriów oceny (60%), natomiast 8 osób opiniowało opracowane kryteria
oceny (40%). Wszyscy eksperci badanej zbiorowości (N=22) poproszeni zostali o ustosunkowanie
się do uszczegółowionych pytań.
Na pytanie: W jakim stopniu według Pana/ Pani przyjęte kryteria formalne są zgodne z zapisami
linii demarkacyjnej? Respondenci mogli udzielić następujących odpowiedzi:

bardzo dużym (pełna zgodność)

dużym (małe odstępstwa)

przeciętnym (duże odstępstwa)

niskim (bardzo duże odstępstwa)
30

bardzo niskim i żadnym (rozbieżność)

nie mam zdania
Otrzymane wyniki przedstawiały się w sposób następujący:
Wykres 5: Stopień zgodności kryteriów formalnych z zapisami linii demarkacyjnej
5%
10%
0%
Bardzo duży
Duży
Przeciętny
Niski
45%
Bardzo niski i żaden
Nie mam zdania
40%
W odpowiedzi na pytanie uszczegółowione odnoszące się do przyczyn występowania
ewentualnych niezgodności (pytanie: Na czym polegają ewentualne niezgodności kryteriów oceny
w związku z zapisami linii demarkacyjnej?) respondenci najczęściej wymieniali brak precyzyjnego
zapisu (precyzyjnie sformułowanej granicy) w odniesieniu do kategorii beneficjentów
uprawnionych
do
przeprowadzonym
składania
w
grupie
wniosków.
osób
Podobne
oceniających
na
wyniki
etapie
pojawiają
oceny
się
w
badaniu
formalnej
wnioski
o dofinansowanie, z których wynika, że powstałe wątpliwości w odniesieniu do kryteriów oceny
formalnej dotyczą: wątpliwości wskutek braku rozporządzeń wykonawczych PROW’u
(Program Rozwoju Obszarów Wiejskich) Ministra Rolnictwa i Rozwoju Wsi. Potwierdzenie
wskazanych wątpliwości odnajdujemy także podczas wywiadu pogłębionego, gdzie obaj uczestnicy
wywiadu
wskazali
konieczność
precyzyjnego
określenia
kategorii
beneficjentów
upoważnionych do ubiegania się w ramach danego programu operacyjnego. Uruchomienie
procedury konkursowej przed wejściem w życie wszystkich rozporządzeń wykonawczych nie
pozwala na precyzyjne określenie kwalifikowalności danego wnioskodawcy w chwili składania
dokumentacji konkursowej.
Pytanie badawcze na poziomie operacyjnym zostało uszczegółowione i wykorzystane we
wszystkich badania pierwotnych.
Na pytanie odnoszące się do oceny stopnia trudności kryteriów formalnych, jakie spełnić musi
wniosek (pytanie: Jak ocenia Pan/ Pani kryteria formalne, które musi spełnić wnioskodawca?),
31
respondenci w badaniu CATI odpowiedzieli:
Wykres 6: Ocena wnioskodawców stopnia trudności spełnienia kryteriów formalnych
5%
0%
15%
35%
Bardzo trudne
Trudne
Przeciętne
Niskie
Trudno określić
45%
Wyniki badania wskazują, że dla ponad połowy badanych wnioskodawców (60%) identyfikowane
kryteria formalne są trudne i bardzo trudne. Do najczęstszych problemów dostrzeżonych przez
wnioskodawcę na etapie oceny formalnej (pytanie: Co stanowiło największy problem według
Pana/Pani w spełnieniu kryteriów formalnych?) zaliczyć należy:

problem z dokumentacją - odnoszących się do:
o
wysokiego stopnia szczegółowości wymaganej dokumentacji,
o
liczby wymaganych załączników,
o
konieczności korzystania z niestabilnego oprogramowania komputerowego
(generator wniosków),

problem z zagadnieniami finansowymi – odnoszący się do:
o
konieczności przygotowania analiz długoterminowych,
o
wątpliwości postępowania z podatkiem VAT,
o
konieczności sporządzania analizy finansowej według pełnej księgowości,
problemy o charakterze ogólnym:
o
krótki czas na przygotowanie od momentu uruchomienia rund aplikacyjnych,
o
część rozstrzygnięć wymaga interpretacji instytucji zarządzającej,
Jak można zauważyć wyniki przeprowadzonego badania wskazują na szerokie spektrum trudności
na które napotkali wnioskodawcy. Wyniki tego pytania pokrywają się z odpowiedziami udzielonymi
przez wnioskodawców, którzy podjęli decyzję o wyborze jednostek zewnętrznych przy
opracowaniu dokumentacji projektowej.
Badając jakość zapisów kryteriów formalnych (pytanie: Czy kryteria formalne są dla beneficjenta
zrozumiałe i jednoznacznie zapisane?) respondenci w badaniu CATI odpowiedzieli:
32
Wykres 7: Czy kryteria formalne są dla beneficjenta zrozumiałe i jednoznacznie zapisane?
25%
Tak
Nie
75%
Główne wątpliwości respondentów, dla których kryteria formalne nie były zrozumiałe i/lub
jednoznacznie zapisane, dotyczyły:

trudny język zapisu – cyt. zrozumiałe tylko dla osób znających się,

brak jednoznacznego określenia granicy występowania danego kryterium – cyt. rozbieżne
w niektórych obszarach - brak wskazania konkretnego obszaru,
Podobne wyniki ewaluator otrzymał w pytaniu kierowanym do członków komisji oceny wniosków,
gdzie respondenci na pytanie: Czy oceniając wnioski na ocenie formalnej miał Pan/ Pani
wątpliwość względem zapisów danego kryterium? Oceniający odpowiedzieli:
Wykres 8: Występowanie wątpliwości członków komisji oceny wniosków w zakresie zapisów
danego kryterium
23%
Tak
Częściowo
46%
Nie
31%
Na pogłębione pytanie odnoszące się do ewentualnych wątpliwości osób oceniających
respondenci odpowiedzieli (Pytanie: Jeżeli tak, to jakiego rodzaju były to wątpliwości):
33
Wykres 9: Przykłady wątpliwości członków komisji oceny wniosków w zakresie zapisów danego
kryterium
22%
Czytelność, jasność wymagań
Jednoznaczność charakteru
kryterium (względny/
bezwzględny)
Inne
22%
56%
W kategorii inne respondenci wskazali na wątpliwości odnoszące się do:

prawidłowej klasyfikacji danego beneficjenta (zapisy linii demarkacyjnej) – czy wniosek
nadaje się do PROW’u czy do RPO?

braku jednoznaczności w niektórych zapisach kryterium formalnego (brak konkretnego
wskazania)
Otrzymane wyniki tego obszaru zostały skonfrontowane z przeglądem dokonanym przez
ekspertów w ramach analizy dokumentacji. Okazuje się, iż sygnalizowane przez respondentów
wątpliwości znajdują rzeczywiście swoje potwierdzenie. W głównej mierze odnosi się to zakresu
danego kryterium oraz przyporządkowanego mu szczegółowości zapisu komentarza/ uwagi.
Kolejnym aspektem, który został przebadany w ramach ewaluacji kryteriów oceny formalnej była
weryfikacja prawidłowości jednoznaczności charakteru kryterium (Pytanie: Czy charakter kryterium
na ocenie formalnej podlegający ewentualnemu uzupełnieniu - względny/ bezwzględny został
prawidłowo według Pana/ Pani określony?) Respondenci badania CATI wskazali:
34
Wykres 10: Ocena wnioskodawców poprawności określenia charakteru kryterium formalnego
20%
Tak
Nie
80%
Podobne odpowiedzi wskazali respondenci z komisji oceny wniosków, gdzie dla 77% badanych
określony został właściwie charakter kryterium, natomiast dla 23% budził wątpliwości, w szczególe
odnoszące się do błędnego określenie niektórych kryteriów oceny formalnej cyt. braku spełnienia
istotnego kryterium względnego nie powoduje dyskwalifikacji, a powinien. W przypadku grupy
badanych ekspertów tylko 11% zgłosiło swoje wątpliwości w tym obszarze. Dokonując przeglądu
dokumentacji
kryteriów
oceny
formalnej
ewaluator
nie
podziela
wskazywanych
przez
respondentów wątpliwości. Niemniej jednak przypuszcza się, że powstałe wątpliwości dotyczą
kryterium zatytułowanego Załączniki do wniosku są kompletne, zgodnie z wytycznymi Instytucji
Zarządzającej, który w momencie przeprowadzania badania miał charakter bezwzględny, a
obecnie funkcjonuje jako względny.
Badając obszary kryteriów oceny formalnej, w których wnioskodawca mógłby zmodyfikować
(pytanie: Co Pana/ Pani zdaniem można zmienić w zapisach kryteriów oceny formalnej - np.
dodatkowe kryteria, jakie?) do najczęściej wymienianych odpowiedzi zaliczyć opinie:

należy zmniejszyć ilość kryteriów,

uprościć zapisy poprawiając ich czytelność,

powinna być możliwość naprawy błędów,

kryteria wykraczają poza zakres oceny formalnej,

inaczej dobierane kryteria w województwie opolskim i innych województwach,

zbyt duże pole manewru dla oceniającego
Natomiast respondenci z komisji oceny wniosków w tym samym pytaniu wskazali propozycje:

zmniejszyć liczbę kryteriów (cyt. – np. połączyć w jeden od 3 do 5, ujednolicić),

wprowadzić powiązanie kryteriów formalnych dla danego naboru wniosków,

w większej mierze oprzeć kryteria formalne na opracowaniach merytorycznych
Pogłębieniem powyższego pytania jest badanie propozycji badanych grup względem usprawnienia
procesu oceny formalnej (pytanie: Co Pana/ Pani zdaniem należy wprowadzić celem usprawnienia
oceny formalnej (np. zmiana procedury, sposobu postępowania itp.?) Do najczęściej wymienianych
35
odpowiedzi w badaniu CATI zaliczyć należy:

wprowadzić inną formę zapisu linii demarkacyjnej,

obniżyć liczbę wymaganych dokumentów na etapie składania (zaświadczeń, załączników),

skrócić czas realizacji oceny formalnej (nie przesuwać terminów oceny wniosków),

wydłużyć czas od daty ogłoszenia konkursu do daty jego zamknięcia,

zmodyfikować jakość kryteriów (brak konkretnego wskazania),

zwiększyć możliwość większego kontaktu wnioskodawcy z oceniającymi,

wydłużyć czas na uzupełnienie błędów
Także na to pytanie respondenci z komisji oceny wniosków oraz eksperci wskazali:

cyt. nic, kryteria są jasne, ewentualnie należałoby je ujednolicić

doprecyzowanie zakresu kryteriów oceny formalnej

możliwość wnoszenia uzupełnień na etapie oceny formalnej

kompletność załączników powinna być kryterium względnym

dobór asesorów - powinien być do pomocy analityk finansowy oraz ekspert budowlany
Jak można zauważyć wyniki otrzymane w badanym zakresie pokrywają się dla różnych grup
badawczych. Potwierdzeniem uzyskanych wyników były wyniki przeprowadzonej analizy
dokumentacji przez zespół badawczy. W wyniku tego otrzymano pokaźny materiał wskazywany do
modyfikacji obecnie funkcjonującego zestawienia kryteriów oceny formalnej (aneks 1 do raportu).
Celem identyfikacji zbieżności problemów dostrzeżonych przez poszczególne grupy badawcze na
etapie oceny formalnej była weryfikacja poprzez zestawienie najczęstszych powodów odrzucania
wniosków na etapie oceny formalnej. Do najczęstszych powodów odrzucenia wniosków na etapie
oceny formalnej według członków oceniających na etapie oceny formalnej należało:

niekompletność dokumentacji -brak załączników,

niezgodności z zapisami linii demarkacyjnej,

brak wiarygodności finansowej (w tym zabezpieczenia finansowego),

brak środków beneficjenta na realizację całego projektu,

problemy w rozróżnieniu kosztów kwalifikowanych i niekwalifikowanych,

nierealność przyjętych wskaźników,

problemy w wypełnieniu zapisów polityk horyzontalnych UE,

brak podpisów, pieczątek, niewłaściwe parafowanie – wskazana w tym zakresie uwaga nie
ma niestety stosownego uzasadnienia, gdyż według opinii IZ żaden jak do tej pory wniosek
nie został odrzucony z tego powodu,
36
Podsumowanie
W pytaniu badawczym odnoszącym się do zapisów kryteriów formalnych (np. czytelność, jasność)
respondenci badania wskazali na główne obszary występowania ewentualnych wątpliwości, które
zestawiono z wynikami przeprowadzonych wywiadów pogłębionych oraz analizy danych
zastanych. Z przeprowadzonych analiz wynika konieczność realizacji poniższych postulatów:

przeformułowanie
zapisów
wymagań
kryteriów
oceny
formalnej,
z punktu widzenia jasności, czytelności i jednoznaczności interpretacyjnej –
wskazuje się na konieczność wprowadzenia bardziej precyzyjnych zapisów kryteriów
formalnych, które nie będą budzić wątpliwości,

modyfikacja, w tym połączenie wybranych zapisów odnoszących się do kryteriów
oceny formalnej – wykazana analiza kryteriów formalnych oraz sygnały wskazane przez
respondentów wskazują na konieczność pogrupowania i uporządkowania kryteriów
formalnych, aby były bardziej użyteczne dla beneficjentów,
Jako jedno z rozwiązań pomagających beneficjentom w prawidłowej identyfikacji wymagań
formalnych, proponuje się upublicznienie uszczegółowionych kart oceny formalnej (np. w formie
kart sprawdzających) które wykorzystuje IZ lub IP2 do oceny wniosków. Przewiduje się ponadto,
że takie działanie umożliwi bardziej precyzyjne spełnienie wymagań formalnych przez
wnioskodawców, a tym samym przyspieszy realizację procedury oceny formalnej.
37
4.3 Kryteria oceny merytorycznej (I i II stopnia)
W części odnoszącej się do kryteriów oceny merytorycznej ewaluator zaklasyfikował pięć pytań
badawczych, z czego 3 pierwsze mają charakter ogólny, natomiast pytania 4 i 5 stanowią
odniesienie do oceny merytorycznej II stopnia. Pytania badawcze opisujące kryteria oceny
merytorycznej przedstawiają się następująco:
1. Czy przyjęte kryteria w ramach RPO WO 2007-2013 służące ocenie merytorycznej
a. działania w ramach uszczegółowienia RPO WO 2007-2013,
b. osi priorytetowej RPO WO 2007-2013,
c.
Regionalnego Programu Operacyjnego Województwa Opolskiego na lata
2007-2013,
d. Narodowych Strategicznych Ram Odniesienia 2007-2013,
e. Strategii rozwoju województwa opolskiego,
f.
2. Czy kryteria oceny merytorycznej w pełni odzwierciedlają założenia przewidywane dla
3. Czy kryteria oceny merytorycznej umożliwią właściwy wybór projektów mających
4. W kontekście odpowiedzi na pytania z punktu nr 2 wskazanie, czy przyjętym kryteriom
służącym ocenie merytorycznej II stopnia nadano odpowiedni system punktowy, tj.
wag i odpowiadającej im ilości punktów?
5. Czy przyjęte wielkości wagowe odpowiadając przyjętym założeniom o charakterze
Badanie odnoszące się do oceny merytorycznej drugiego stopnia zostało powtórzone wobec
części osób oceniających na tym etapie (asesorzy). Działanie to spowodowane było koniecznością
zweryfikowania założeń badawczych, dopiero po kompleksowym przeprowadzeniu oceny
merytorycznej zarówno stopnia I jak i stopnia II. Wnioski wyciągnięte w ramach tego badania
posłużyły do szczegółowej analizy całego etapu.
W zakresie pytań badawczych od 1 do 3 respondenci stwierdzili:
Tłem badawczym dla wskazanych powyżej pytań było uzyskanie odpowiedzi na pytanie o powody
jakie kierowały osobami opracowującymi kryteria oceny merytorycznej wniosków (pytanie: Czym
kierował się Pan/ Pani w trakcie opracowania kryteriów oceny merytorycznej wniosków? Cele
jakiego poziomu miały największe znaczenie). Eksperci udzielili następujących odpowiedzi:
38
Wykres 11: Cele jakiego poziomu stanowiły priorytet w opracowaniu przez ekspertów kryteriów
oceny merytorycznej
0%
8%
Działania/ poddziałania
21%
29%
Osi Priorytetowej
Programu
Regionalnych strategii (w tym
strategii branżowych)
Strategii na poziomie kraju
Nie mam zdania/ nie dotyczy
24%
18%
Otrzymane wyniki wskazują, że nikt z ekspertów nie zadeklarował, iż kierował się przy ustalaniu
kryteriów oceny strategiami na poziomie kraju. W tym zakresie powyższy wynik należy
identyfikować, że badani respondenci przyjęli jako odgórne założenie wpisywania się regionalnych
strategii w założenia ustalone dla całego kraju. W miarę w równym stopniu eksperci posługiwali się
celami poziomu działania/ poddziałania, Osi priorytowej, programu oraz regionalnych strategii.
Wyniki grupy ekspertów zestawione zostały z opinią wnioskodawców na temat konieczności
wpisania pomysłu rozwojowego w zapisy dokumentów strategicznych (pytanie: Czy wnioskodawcy
było łatwo wpisać swój pomysł rozwojowy w zapisy dokumentów strategicznych - stanowiących
uzupełnienie wymagań projektowych? Na tak postawione pytanie wnioskodawcy udzielili
następujących odpowiedzi:
Wykres 12: Czy pomysł rozwojowy łatwo było wpisać w zapisy dokumentów strategicznych?
5%
30%
Tak
Nie
Brak odpowiedzi
65%
Do głównych zidentyfikowanych trudności w wpisaniu się w dokumenty strategiczne respondenci
zaliczyli konieczność przeprowadzenia dodatkowych badań i analiz. Ponadto respondenci
stwierdzili, iż mają problem ze zrozumieniem skomplikowanego słownictwa z zakresu zarządzania
39
projektami co w znacznym stopniu ogranicza możliwość pełnego wypełnienia zapisów
dokumentacji strategicznej. Uzupełnieniem tak postawionego pytania była weryfikacja faktu
modyfikacji wnioskowanego projektu na potrzeby konkursowe (pytanie: Czy wnioskodawca
modyfikował swój projekt po to, aby wpisywał się w założenia dokumentów strategicznych stanowiących uzupełnienie wymagań projektowych?) Wnioskodawcy odpowiedzieli:
Wykres 13: Czy projekt był modyfikowany celem wpisania się w założenia dokumentów
strategicznych?
5%
Tak
Nie
45%
Brak odpowiedzi
50%
Jak wynika z powyższego zestawienia prawie połowa wnioskodawców chcąc otrzymać wsparcie
finansowe modyfikowała swoje projekty tak aby wpisywały się w założenia dokumentów
strategicznych. Powyższe odpowiedzi zestawione zostały z wynikami adresowanymi do osób
Oceniających (pytanie: W jakim stopniu Pana/ Pani zdaniem sformułowane kryteria oceny
merytorycznej są zgodne z celami przewidzianymi dla działania/ poddziałania?) Respondenci mogli
udzielić następujących odpowiedzi:

nie mam zdania
Otrzymano następujące wyniki:
40
Wykres 14: Opinia oceniających na temat stopnia zgodności kryteriów oceny merytorycznej z
celami wyznaczonymi dla działań
17%
33%
Bardzo duży
Duży
Przeciętny
50%
Wszystkie osoby objęte badaniem odpowiedziały na pytanie pozytywnie – brak odpowiedzi z
dolnego zakresu (niski, bardzo niski, żaden).
Zidentyfikowane
odstępstwa
w
zgodności
kryteriów
oceny
merytorycznej
z
celami
działań/poddziałań według respondentów dotyczyły:

braku dopracowanego pytania/pytań, które dookreślą szczegółowo rodzaj składanego do
realizacji przedsięwzięcia,

linii demarkacyjnej RPO, a PROW, Jeśli projekt w swej istocie zawiera wszystkie koszty
niekwalifikowane, nie ma możliwości odrzucenia projektu na kryterium bezwzględnym.

braku kryterium umożliwiającego redukcję kosztów kwalifikowanych (np. kupowany sprzęt
jest bardzo drogi i jest zbędny przy realizacji danego projektu).
Wyniki otrzymane w powyższym pytaniu zestawione zostały z oceną skuteczności wyboru
projektów przez Oceniających (pytanie: Czy według Pana/ Pani kryteria oceny merytorycznej
pozwalają na skuteczny wybór projektów względem realizacji celów działania/ poddziałania?)
Uzyskano następujące wyniki:
41
Wykres 15: Czy według Pana/ Pani kryteria oceny merytorycznej pozwalają na skuteczny wybór
projektów względem realizacji celów działania/ poddziałania?
11%
28%
Tak
Nie
Brak odpowiedzi
61%
Jak wynika z uzyskanych odpowiedzi zaledwie 61% respondentów wyraziło opinię, że kryteria
oceny merytorycznej pozwalają na skuteczny wybór projektów zgodnie z celami działania/
poddziałania. Respondenci, którzy wskazali, że kryteria oceny merytorycznej nie pozwalają na
skuteczny wybór projektów względem realizacji celów działania/ poddziałania wykazali następujące
przyczyny:

komisja
subiektywnie
podchodzi
do
oceny
kryteriów,
brakuje
wykazów
dot.
przeprowadzonych badań, powstaje brak zaufania, co do podanych informacji,

za mało kryteriów w stosunku do planowanej realizacji strategii rozwoju regionalnego,

występuje tylko jedno pytanie dotyczące celów danego poddziałania – bardzo ogólne.

projekt, który w swej istocie nie spełnia celów poddziałania, może być w sprytny sposób
napisany, tak by wpisywać się w elementy celu poddziałania. Dobrze sformułowane zdania
są mylące dla asesora. Tym samym mogą one być bardzo kontrowersyjne w przypadku
odwołania i ewentualnego dochodzenia swoich racji.

trudność w porównywaniu skutków między wnioskami. Zbyt małe oparcie się na
publikacjach merytorycznych.
Otrzymane wyniki badań mają charakter niepokojący, dlatego zespół badawczy przeanalizował raz
jeszcze dostępne dokumenty w celu zidentyfikowania źródeł problemu. Po przeprowadzonej
analizie wynika, że wskazywane wątpliwości odnoszą się w głównej mierze do zapisów niektórych
kryteriów oceny merytorycznej osi priorytetowej 1. Ponadto zauważono, że wątpliwości koncentrują
się na elementach związanych z nadawaniem punktacji w trybie rankingowania. Natomiast opinia,
że w obecnym zapisie kryteriów zbyt mało jest kryteriów wiążących z założeniami odnośnie celów
działania i poddziałania jest bezzasadna.
Pozytywnej odpowiedzi w tym zakresie (pytanie: W jakim stopniu Pana/ Pani zdaniem
sformułowane kryteria oceny merytorycznej są zgodne z celami przewidzianymi dla działania/
poddziałania?) udzielili eksperci nie wskazując odpowiedzi z dolnego zakresu (przeciętny, niskim,
bardzo niskim i żadnym):
42
Wykres 16: Opinia Ekspertów w zakresie stopienia zgodności kryteriów oceny merytorycznej z
celami działania/ poddziałania
39%
Bardzo duża (pełna
zgodność)
Duża (małe odstępstwa)
61%
Według ekspertów także obecnie występujące kryteria oceny merytorycznej (pytanie: Czy według
Pana/ Pani kryteria oceny merytorycznej pozwalają na skuteczny wybór projektów względem
realizacji celów działania/ poddziałania?) pozwalają na dokonanie prawidłowego wyboru:
projektów względem realizacji celów działania/ poddziałania?
6%
Tak
Nie
94%
Jedyne wątpliwości wykazane przez respondentów badania dotyczyły trudności w doborze
kryteriów, które następnie stanowią określoną część oceny. Natomiast na pytanie: W jakim stopniu
Pana/ Pani zdaniem sformułowane kryteria oceny merytorycznej są zgodne z celami
przewidzianymi dla Osi priorytetowej? eksperci udzielili następujących odpowiedzi, nie wskazując
odpowiedzi z dolnego zakresu (przeciętnym, niskim, bardzo niskim i żadnym):
43
Wykres 18: : Opinia Ekspertów w zakresie stopienia zgodności kryteriów oceny merytorycznej z
celami Osi priorytetowej
29%
Bardzo duża (pełna
zgodność)
Duża (małe odstępstwa)
71%
Zidentyfikowane wątpliwości odnośnie odstępstw dotyczyły:

braku klarowności niektórych zapisów kryteriów oceny merytorycznej z celami Osi
priotytetowych

postulatu, iż projekt kluczowy powinien rozwiązywać cały problem a nie tylko część
Kolejnym zagadnieniem poruszanym w ramach przedmiotowego badanie było badanie opinii
respondentów na temat uprzywilejowania określonej grupy beneficjentów/ wnioskodawców
(pytanie: Czy przyjęte kryteria oceny merytorycznej według Pana/ Pani opinii wpływają na
uprzywilejowanie określonej grupy wnioskodawców?) Wnioskodawcy udzielili następujących
odpowiedzi:
Wykres 19: Opinia wnioskodawców na temat wpływu kryteriów oceny merytorycznej na
uprzywilejowanie określonej grupy wnioskodawców
53%
Tak
Nie
47%
Otrzymane wyniki mogą budzić zaniepokojenie zważywszy na fakt, że całość procedur zapisana
dokumentach programowych jest jawna i podlegała konsultacji społecznej. Wnioskodawcy
identyfikują następujące grupy uprzywilejowane:
44

dla grupy, która zamierza zatrudniać pracowników,

przedsiębiorcy z małych miejscowości zostaną odrzuceni,

szpitale i zoz-y,

większe firmy są bardziej uprzywilejowane,

preferują z góry określone rodzaje firm,

młodsze przedsiębiorstwa są faworyzowane,

przedstawiciele branży przemysłowej.
Kluczowe znaczenie ma fakt, iż grupy respondentów wywodzą się z różnych grup (wnioskujący do
różnych działań i poddziałania) a wskazywane grupy uprzywilejowane mają charakter opinii
znoszących się. Na to pytanie grupa osób Oceniających udzieliła następujących odpowiedzi:
Wykres 20: Opinia Oceniających na temat wpływu kryteriów oceny merytorycznej na
uprzywilejowanie określonej grupy wnioskodawców
44%
Tak
Nie
56%
Respondenci, którzy widzą szczególne uprzywilejowanie określonej grupy wnioskodawców wyrazili
opinię:

cyt. uprzywilejowani są lekarze, którzy nie są VAT-owcami i mogą starać się o środki z
VAT’em. Natomiast pozostali kupują netto, a VAT płacą ze swojej kieszeni (lekarze kupują
netto i nie muszą płacić VAT-u, wpisują środki kwalifikowane i niekwalifikowane do
projektu)

cyt. kryteria preferują nowe inwestycje - gorsza ocena wniosków polegających na
modernizacji istniejącego już sprzętu.

cyt. zdecydowanie nowopowstałe firmy są uprzywilejowane, co powoduje często tworzenie
„nowych” dla spełnienia tego kryterium

cyt. znaczący wpływ kryterium czasowego – jak długo firma funkcjonuje – im dłużej tym
lepiej.
Należy zauważyć niebezpieczną tendencję w przekonaniu samych oceniających co do
uprzywilejowania określonej grupy wnioskodawców. Ewaluator wskazuje na konieczność
modyfikacji niektórych zapisów kryteriów oceny formalnej i ponowną weryfikację opinii osób
45
oceniających. Dokonując weryfikacji otrzymanych opinii należy zauważyć, iż koncentrują się na
problemie
wskazanym
już
powyżej, tj.
zagadnieniu przyznawania punktów
w
ramach
rankingowania np. brak jednoznacznych interpretacji w zakresie postępowania w tym trybie może
w sposób szczególny preferować nowe podmioty gospodarcze w działaniu 1.1.2 (rankingowanie
względem procentowej zmiany zysku, procentowej zmiany zatrudnienia). Ponadto zauważono, iż w
kryteriach oceny znajdują się kryteria, które nie mogą być zweryfikowane ze stanem obecnym a
odnoszą się do przyszłości. Tego typu elementy mogą wprowadzać w błędne przeświadczenie o
uprzywilejowaniu określonej grupy beneficjentów.
Oceniający ustosunkowali się także do najczęściej popełniane błędy przez wnioskodawców na
etapie oceny merytorycznej I stopnia. Do najczęściej popełnianych problemów na ocenie
merytorycznej I stopnia według opinii respondentów zaliczyć należy:

nietrwałość projektu, nierealność zakładanych wskaźników produktu i rezultatu,

zbiorczo podawane informacje - za mało jednostkowych informacji (np. cena sprzętu
medycznego podana zbiorczo, zamiast jednostkowo) nierealne wskaźniki,

błędy w analizie finansowej, nieuzasadnione koszty,

niewystarczająca ilość dokumentów potwierdzających zabezpieczenie finansowe,

brak dokumentów potwierdzających osiągalne dochody,

w
niskim
stopniu
spójność
z
dokumentami
strategicznymi,
w
tym
z
planem
zagospodarowania przestrzennego woj. opolskiego, strategią turystyki woj. opolskiego,

niespójność z celami poddziałania,

błędy w dokumentacji projektowej,

niezgodność projektu z założeniami równości szans,

różne interpretacje skutków prowadzonych inwestycji,

brak oceny wpływu na środowisko,

brak odniesienia do kwestii pomocy publicznej,
W zakresie pytań badawczych od 4 do 5 respondenci stwierdzili:
W zakresie pytań badawczych od 4 do 5 ewaluator badał prawidłowe określenie wartości
wagowych oraz odpowiadające im wielkości punktowe.
Wnioskodawcy pytanie: Czy uważa Pan/ Pani, że przyjęte dla oceny merytorycznej II stopnia
wartości wagowe są właściwe? udzielili następujących odpowiedzi:
46
Wykres 21: Ocena przez wnioskodawców przyjętych wartości wagowych dla oceny merytorycznej
II stopnia?
15%
Tak, wartości są
właściwe
Nie, przyjęte
wartości są
niewłaściwe
85%
Jedyne wątpliwości wskazane przez beneficjentów odnoszą się do liczby punktów które można
otrzymać w związku z zatrudnieniem. Wskazane wątpliwości wynikają z faktu, iż największa grupa
respondentów pochodziła z działania 1.1.2 oraz 1.4.1, gdzie jednym z kryteriów oceny
merytorycznej jest przyrost zatrudnienia. W opinii ewaluatora dla wskazanego elementu należy
rozważyć inną metodologię postępowania w zakresie przyznawanie wartości wagowych i
odpowiadających im wielkości punktowych. Obecnie funkcjonujący zapis kryterium oceny
merytorycznej może budzić wątpliwości. Respondenci składający wnioski na pytanie: Czy przyjęte
wielkości punktowe zostały określone na poziomie pozwalającym przejść tylko odpowiednim
wnioskom?- udzielili następujących odpowiedzi:
Wykres 22: Ocena przez wnioskodawców przyjętych wielkości punktowych
10%
15%
Tak, wilekości są
właściwe
Nie, przyjęte
wielkości są
niewłaściwe
Brak odpowiedzi
75%
Podobne wyniki otrzymano od osób oceniających (pytanie: Czy uważa Pan/ Pani, że przyjęte dla
oceny merytorycznej II stopnia wartości wagowe są właściwe?), którzy odpowiedzieli:
47
Wykres 23: Ocena prawidłowości przyjętych wartości wagowych dla oceny merytorycznej II stopnia
–(Oceniający)
17%
Tak, wartości są
właściwe
Nie, przyjęte
wartości są
niewłaściwe
Brak odpowiedzi
17%
66%
Zidentyfikowane w tym zakresie wątpliwości dotyczyły się:

kryterium punktowego wzrostu zysku w % - problem w ocenie % wzrost zysku firmy
działającej 1 miesiąc? Jeśli zastosujemy tu kryterium maksymalne to nowo utworzona
firma otrzyma dodatkowe punkty jeszcze za wiek firmy. Czyli młody przedsiębiorca jest
podwójnie punktowany.

zbyt niskiej punktacji dot. beneficjentów posiadających znajdujących się strukturze SOR
(Szpitalne Oddziały Ratunkowe)

zbyt małego zróżnicowanie uwag dla poszczególnych parametrów
Eksperci na to samo pytanie odpowiedzieli:
Wykres 24: Ocena prawidłowości przyjętych wartości wagowych dla oceny merytorycznej II stopnia
–(Eksperci)
6%
Tak, wartości są
właściwe
Nie, przyjęte
wartości są
niewłaściwe
94%
Wskazane wątpliwości odnosiły się do modyfikacji wkładu własnego wyższego od minimalnego,
który powinien mieć według respondentów wyższą wagę.
48
Odnośnie wielkości punktowych (Pytanie: Czy przyjęte wielkości punktowe zostały określone na
poziomie pozwalającym przejść tylko odpowiednim wnioskom?) oceniający odpowiedzieli:
Wykres 25: Ocena prawidłowości przyjętych wielkości punktowych – (Oceniający)
11%
6%
Tak, wilekości są
właściwe
Nie, przyjęte
wielkości są
niewłaściwe
Brak odpowiedzi
83%
Oceniający w tym zakresie zauważyli, iż istnieje podejrzenie co do preferowania projektów, których
realizacja nie przyczyni się do realizacji celu nadrzędnego a mimo to wnioskodawca otrzymuje
dofinansowanie. Powyższa opinia odnosi się do działań związanych w głównej mierze z
wątpliwościami respondentów odnośnie realizacji części celu głównego programu. Niemniej jednak
należy zauważyć, że przyjęte wielkości punktowe i wagowe odzwierciedlają hierarchię celów
przewidzianych dla działania/ poddziałania, priorytetu i programu.
Według ekspertów przyjęte wielkości punktowe określone na poziomie pozwalającym przejść tylko
odpowiednim wnioskom zostały stosownie wyznaczone, gdyż taką odpowiedź udzieliło 100%
respondentów.
Podsumowanie
W ramach badania oceny merytorycznej I i II stopnia zauważono, iż opinie dotyczące
poszczególnych części mają bardzo często względem siebie charakter znoszący się.
Spowodowane to było w głównej mierze faktem reprezentowania określonej grupy respondentów.
Do najważniejszych spostrzeżeń dostrzeżonych w zakresie badanej części zaliczyć należy:
- problem odpowiedniej znajomości przez wnioskodawców założeń, które są przewidywane na
poziomie dokumentacji projektowej i strategicznej - w prowadzonych badaniach zauważono
niepokojącą tendencję modyfikacji składanych wniosków spowodowanych potrzebą wpisania się w
zakładane wymagania projektowe. Problemy odnoszące się do tego zakresu powodowane są
brakiem wyspecjalizowanych pracowników (wiedzy) wnioskodawców w odniesieniu do założeń o
charakterze kierunkowym (RPO WO 2007-2013) oraz strategicznym. Grupa badanych wskazuje
także na potrzebę uszczegółowienie (doprecyzowania) zapisów niektórych kryteriów oceny
merytorycznej, tak aby zapewniała ona prawidłową weryfikację wniosków pod kątem spełnienia
49
bezpośrednich i pośrednich celów dokumentów strategicznych. Postulatem w tym zakresie jest
modyfikacja niektórych zapisów oceny merytorycznej I i II stopnia z punku widzenia
dopasowania kryteriów pod kątem weryfikacji celów projektowych i strategicznych.
- niektóre z przyjętych kryteriów oceny merytorycznej (dotyczy zarówno stopnia I i II) wskazują na
wątpliwości
w
zakresie
prawidłowego
preferowania
określonej
grupy
beneficjentów
(wnioskodawców) przewidzianej w celach działania/ poddziałania – badane osoby zgłaszały swoje
wątpliwości odnośnie poszczególnych kryteriów błędnie kwalifikujących niektóre kategorie
beneficjentów. Najczęstsze wątpliwości, jakie podnosili badani sprowadzały się do zastosowania
kategorii wykorzystywania rankingowania w ocenie. Osoby badane wskazywały na brak
precyzyjnych informacji odnoszących się do stosowania tego kryterium i niebezpieczeństwo łatwej
manipulacji przedziałami punktowymi. Postulatem w tym zakresie jest bardziej precyzyjne
określenie kategorii oceny przy użyciu rankingowania lub wręcz zastąpienie ich inną formą
kryterium oceny.
50
4.4 Opinia (generalna) na temat systemu kryteriów oceny
W ramach tej części opisane było badanie mające na celu udzielenie odpowiedzi na pytanie
badawcze:
Czy przyjęte kryteria oceny formalnej i merytorycznej w ramach RPO WO 2007-2013 są:
a. obiektywne,
b. precyzyjnie umożliwiają zrozumiałą i jednoznaczną interpretację zarówno przez osoby
oceniające projekty, jak i beneficjentów,
c.
mierzalne,
Na pytanie: Które z etapów oceny są według Pana/Pani trudniejsze do spełnienia z punku widzenia
celów działania/ poddziałania? - respondenci ze wszystkich grup badanych odpowiedzieli:
Wykres 26: Opinia respondentów w zakresie identyfikowanego poziomu trudności poszczególnych
etapów oceny (według grup respondentów)
100%
90%
5%
0%
11%
25%
80%
70%
68%
Brak odpowiedzi
60%
83%
50%
40%
Ocena merytoryczna
Ocena formalna
70%
30%
20%
32%
10%
6%
0%
Wnioskodaw cy
Oceniający
Eksperci
Należy zauważyć, iż w opinii znacznej większości wnioskodawców najtrudniejsze jest spełnienie
wymagań podlegających ocenie formalnej. Natomiast na pytanie odnoszące się do uszeregowania
znaczenia oceny merytorycznej stopnia I i II recenzenci respondenci wskazali:
51
Wykres 27: Opinia respondentów w zakresie identyfikowanego poziomu trudności etapów oceny
merytorycznej (według grup respondentów)
100%
10%
90%
5%
5%
6%
11%
32%
80%
70%
Brak odpowiedzi
60%
50%
Ocena merytoryczna stopnia 2
85%
40%
Ocena merytoryczna stopnia 1
83%
63%
30%
20%
10%
0%
Wnioskodaw cy
Oceniający
Eksperci
Na pytanie: Czy przyjęte kryteria oceny są sformułowane w sposób precyzyjny (nie wymagają
dodatkowych interpretacji i wyjaśnień), respondenci stwierdzili?
Wykres 28: Opinia respondentów na temat precyzyjności sformułowanych kryteriów oceny (według
grup respondentów)
100%
5%
90%
15%
0%
0%
22%
42%
80%
70%
Brak odpowiedzi
60%
50%
40%
80%
78%
58%
30%
Kryteria są
nieprecyzyjne
Kryteria są
precyzyjne
20%
10%
0%
Wnioskodawcy
Oceniający
Eksperci
Wskazane przez Wnioskodawców wątpliwości dotyczyły:

występowania wielu punktów opisowych, które są niedoprecyzowane,

opisy przygotowane w sposób zrozumiały tylko dla osób znających się.
Wątpliwości wskazane przez Oceniających:
52

doprecyzowania niektórych wymagań,

punktu dotyczącego pomocy publicznej – nie wszyscy rozróżniają pomoc publiczną od
pomocy de minimis. Postuluje się rozstrzyganie tej kwestii na etapie oceny formalnej,

przy takiej ilości kryteriów pojawiają się wątpliwości, które wcześniej nie były widoczne.
Wiele kryteriów jest oceniana systemem tak/nie 0/1 – spełnia lub nie, ale występują także
kryteria subiektywna. Zależy to od zasadności, oczytania osoby oceniającej -asesora

na podstawie tak określonych kryteriów trudno podważyć koszty przedstawione
w budżecie,

brak precyzyjnych wielkości, które należy brać pod uwagę przy ocenie kryteriów
Wątpliwości wskazane przez Ekspertów:

cześć kryteriów nie wynika bezpośrednio z zidentyfikowanych dla działania/ poddziałania
celu

kryteria trudne do zobiektywizowania
Na pytanie: Czy przyjęte kryteria oceny są obiektywne (mają za zadanie realizację określonych
celów działań/ poddziałań)? Wnioskodawcy stwierdzili:
Wykres 29: Obiektywność kryteriów oceny według opinii wnioskodawców
25%
Tak, kryteria
są obiektywne
Nie, kryteria nie
są obiektywne
75%
Wskazany według respondentów brak obiektywizmu odnosi się do uprzywilejowania niektórych
grup np. mali przedsiębiorcy mają mniejsze szanse, gdyż nie są w stanie zatrudniać relatywnie
dużej liczby pracowników, uprzywilejowaniu podlegają także osoby związane z przemysłem
(przedstawiciele reprezentujący branżę produkcyjną – przyp. ewaluatora)
Na pytanie: Czy obowiązujące kryteria oceny są spójne wewnętrznie (nie są wewnętrznie
sprzeczne)? Respondenci z grupy Oceniających stwierdzili:
53
Wykres 30: Spójność wewnętrzna kryteriów oceny według Oceniających
5%
Tak, kryteria są
spójne
Nie, kryteria
nie są spójne
95%
Na to samo pytanie tylko 10% respondentów z grupy wnioskodawców wskazało wątpliwości, co do
spójności wewnętrznej.
Na pytanie: Czy Pana/Pani zdaniem obecnie obowiązujący system wyboru projektów (podział
oceny na część formalną, merytoryczną I stopnia, II stopnia) pozwoli wyłonić najlepsze projekty?
Wnioskodawcy stwierdzili:
Wykres 31: Ogólna ocena skuteczności systemu wyboru projektów przez wnioskodawców
25%
Tak, system jest skuteczny
Nie, system nie jest skuteczny
45%
Brak odpowiedzi
30%
Wątpliwości respondentów odnosiły się do:

zbyt dużego znaczenia zatrudnienia,

marginalizacji/ wykluczenia małych projektów z terenów wiejskich,

stopnia złożoności całego systemu,

należy wyeliminować ocenę formalną (brak szczegółowego uzasadnienia),

zbyt długiego procesu oceny,
Na to pytanie respondenci z grupy Oceniającej odpowiedzieli:
54
Wykres 32: Ogólna ocena skuteczności systemu wyboru projektów – osoby oceniające
26%
Tak, system jest skuteczny
Nie, system nie jest skuteczny
74%
Ich wątpliwości dotyczą:

należy połączyć ocenę I i II stopnia ze względów organizacyjnych,

formalna ocena przewartościowana, nie są unormowane rzeczy w stosunku do budżetu,
zapisy powinny być bardziej czytelne- zrozumiałe – trudno wyłapać innowacyjność,

uprzywilejowanie niektórych kategorii wnioskodawców, np. projekty, które zakładają
realizację przedsięwzięć powtarzalnych, a beneficjenci rejestrują działalność na terenie
wiejskim otrzymują duże wsparcie.

projekt spełniający kryteria wcale nie musi być projektem najlepszym. Dobrze napisany
projekt technicznie napisany pod kryteria, ma duże szanse dofinansowania. Projekty
ryzykowne w konkurencji ze standardowymi mogą odpaść ze szkodą dla województwa. Na
obecnym poziomie widać wyłaniające się dwie branże. Budowlana i medyczna (lekarze,
dentyści). Nie jest to element optymistyczny.

potrzebna pomoc ekspertów z dziedziny finansów i budownictwa lub przeszkolenie
asesorów
Na pytanie: Czy Pana/Pani zdaniem przyjęty system wyboru projektów zachęca do ubiegania się
o wsparcie w ramach RPO WO 2007- 2013? Respondenci z grupy Wnioskodawców stwierdzili:
55
Wykres 33: Opinia wnioskodawców w zakresie przystępności systemu wyboru projektów
40%
Tak, system zachęca do
ubiegania się o wsparcie
Nie, system nie zachęca
do ubiegania się o
wsparcie
60%
Do największych barier ograniczających chęć ubiegania się o wsparcie w ramach RPO WO 20072013 według wnioskodawców zaliczyć należy:

zbyt skomplikowane zapisy

zbyt duża ilość wymaganej dokumentacji

meritum (przedmiot) projektu ma zbyt niskie znaczenie

za dużo biurokracji
Inne wyniki wykazuje badanie przeprowadzone wśród Oceniających:
Wykres 34: Ocena przystępności systemu wyboru projektów – osoby oceniające
21%
Tak, system zachęca do
ubiegania się o wsparcie
Nie, system nie zachęca
do ubiegania się o
wsparcie
79%
Wątpliwości dotyczą:

konieczności wykazania wiarygodności finansowej podmiotu oraz przedsięwzięcia, ale
inaczej być nie może,

mało jasny system, bardzo dużo dokumentacji zewnętrznych, wyraźniej powinno być
napisane, iż obowiązują płace rynkowe,

źle skonstruowany generator wniosków – liczne problemy i usterki,
56

generator wniosków nie działał prawidłowo, co zniechęcało beneficjentów,
Wyniki Analizy SWOT jako uzupełnienie generalnej opinii badanych na temat systemu
kryteriów oceny
W wyniku przeprowadzonej analizy ewaluator opracował syntetyczne zestawienie każdej z
czterech elementów składowych analizy:
Silne strony

prawidłowo
przeprowadzony
proces
konstruowania
kryteriów
oceny
formalnej
i merytorycznej,

prawidłowy przeprowadzony proces doboru asesorów i ekspertów - specjalistów z różnych
dziedzin,

prowadzenie elektronicznego systemu wypełniania wniosku

prowadzenie ścisłej współpraca IP2 z IZ

przyjęcie dokładnych i precyzyjnych założeń odnoszących się do oceny wniosku

brak konieczności przedkładania przez wnioskodawców wymogu zaświadczeń z ZUS i US

system kryteriów oceny posiada wyraźnie wyodrębnioną część odnoszącą się do oceny
formalnej, merytorycznej I i II stopnia.

zmiana oceniającego pomiędzy etapem oceny formalnej a merytorycznej II stopnia (trzy
pary oczu)

wielostopniowa weryfikacja przez zespoły niezależnych osób praktycznie uniemożliwia
manipulację, wybór jest rzeczywisty, a nie fikcyjny,

duża szczegółowość i drobiazgowość oceny pomaga wybrać projekty najlepiej
dopracowane
Słabe strony

wysoki stopień wymagań jakie musi spełnić wnioskodawca, co niejednokrotnie jest
nieadekwatnie do wnioskowanej pomocy,

niestabilność systemu komputerowego, w którym beneficjent wprowadza wniosek,

duża liczba dokumentów podlegających ocenie na poszczególnych etapach oceny,

nie wszystkie kryteria oceny są jasne i czytelne dla wnioskodawców,

charakter przypisanego kryterium (względne i bezwzględne) mogą stanowić zarówno dla
oceniających jak i wnioskodawców duży problem,

problemy z prawidłowym określeniem i dotrzymaniem terminów oceny wniosków,

brak precyzyjnie określonych przedziałów punktowych dla kryteriów oceny w ramach
rankingowania

duża liczba dokumentów, z którymi beneficjent musi się zapoznać przed prawidłowym
złożeniem wniosku

częste szumy informacyjne związane z posiadaniem informacji przez niektórych tylko
wnioskodawców

mało precyzyjna komunikacja pomiędzy wnioskodawcą a instytucją oceniającą
57

zbyt krótki czas na opracowanie dokumentacji konkursowej liczony od chwili ogłoszenia
naboru do jego zamknięcia,

system kryteriów oceny nie uwzględnia różnego charakteru wnioskodawców – co
powoduje, że porównywanie różnego profilu prowadzonej działalności jest utrudnione,
Szanse

wypracowanie spójnego systemu komunikacji wnioskodawca jednostka oceniająca i na
odwrót,

utworzenie sprawnego sytemu wsparcia finansowego strategicznych obszarów rozwoju
regionu,

wypracowanie transparentnego i czytelnego systemu procedur oceny wniosków,

wzrost zadowolenia wnioskodawców z jawności procedur oceny a także rzetelności i
fachowości prowadzonej obsługi,
Zagrożenia

możliwość preferowania wnioskodawców, którzy spełniają kryteria tylko na potrzeby danej
rundy aplikacyjnej,

możliwość preferowania zawężonej grupy wnioskodawców w stosunku do określonej w
ramach PRO WO 2007- 2013,

wysoki poziom wymagań, jakie spełniają tylko wnioskodawcy zdeterminowani poświęcić
dużo czasu lub/i pieniędzy,

szablonowe
podejście
jednostek
doradczych
i
konsultacyjnych
w
opracowaniu
dokumentacji projektowej dla wnioskodawców,

kryteria oceny odwołujące się do deklaracji beneficjenta, których weryfikacja będzie
możliwa dopiero po określonym czasie,

brak spójnego systemu postępowania w przypadku niespełnienia części lub całości
elementów wskazanych w dokumentacji projektowej.
58
Podsumowanie
Generalna opinia badanej zbiorowości jest raczej stonowana. Respondenci widzą dużo
elementów, które według ich opinii powinny zostać zweryfikowane i zmodyfikowane, aby sam
proces oceny był bardziej przejrzysty. W ramach tej grupy ewaluator dostrzegł, iż:
- niektóre z zapisów kryteriów merytorycznych i formalnych budzą stosowne wątpliwości a odnoszą
się do jasności i precyzji sformułowań - powodowane jest to często brakiem pełnej informacji przez
wnioskodawców na temat samego procesu oceny, w tym zakresie proponuje się realizację
postulatu: upublicznienie list sprawdzających wykorzystywanych na ocenie formalnej i
merytorycznej, jako listy sprawdzających (check list) dla wnioskodawców, ponadto proponuje
się przeformułowanie niektórych zapisów kryteriów w taki sposób, aby były bardziej
zrozumiałe dla wnioskodawców
- niektóre działania wykonywane w ramach oceny przebiegają w sposób wydłużający całość
procedury oceny wniosków – każdy wniosek przechodzi przez ocenę na dwóch poziomach
szczegółowości (ocena formalna i merytoryczna) natomiast ocena merytoryczna podzielona jest na
fazy, co w znaczący sposób wydłuża proces samej oceny wniosku. Proponuje się w miarę
możliwości - z punktu widzenia organizacyjnego - aby asesorzy nie byli zmuszeni do dwukrotnego
zapoznawania się z tym samym wnioskiem – połączenie faz oceny merytorycznej stopnia I i II.
59
5. Wnioski i rekomendacje
W prezentowanej części zawarto szczegółowe informacje na temat wniosków i rekomendacji odnoszących się do kwestii zidentyfikowanych w ramach pytań
badawczych co do których ewaluator proponuje wdrożenie szczegółowego rozwiązania. Instytucją odpowiedzialną za realizację ewentualnej modyfikacji
występujących zapisów jest Instytucja Zarządzająca. Uzupełnieniem przedmiotowej części są elementy wskazane w aneksie do raportu nr 1,2 i 3.
Przedstawiona poniżej tabela składa się z następujących części:
1
•
Nazwa wniosku – zwięzły tytuł zidentyfikowanej uwagi/ wątpliwości, który podlega rekomendacji,
•
Opis obecnego stanu – syntetyczny opis dostrzeżonego problemu,
•
Stan docelowy –opis pożądanego stanu badanego zjawiska,
•
Rekomendacja – propozycja wprowadzenia modyfikacji stanu obecnego w celu osiągnięcia stanu docelowego.
Trudności w posługiwaniu się Linią Demarkacyjną
Przeprowadzone badania wykazały na problemy w stosowaniu obecnie występujących zapisów linii
Opis obecnego stanu
demarkacyjnej. Charakter zidentyfikowanych problemów miał dwojaki charakter:
• Trudności związane z brakiem rozporządzeń wykonawczych odnoszących się do innych
programów operacyjnych (np. PROW 2007- 2013). Respondenci w trakcie badania zwrócili
uwagę na problemy w jednoznaczności interpretacyjne związane z linią demarkacyjną w tym
zakresie. Informacja na temat braku możliwości aplikowania do działań w ramach RPOWO 20072013 nie była możliwa do jednoznacznego zweryfikowania ze względu na brak szczegółowych
regulacji w odniesieniu do innych substytucyjnych programów operacyjnych.
• Trudności w posługiwaniu się zapisami linii demarkacyjnej na poziomie weryfikacji prawidłowości
aplikowania do danego działania w ramach określonego programu operacyjnego. Jak wykazują
wyniki przeprowadzonych wywiadów, co zostało potwierdzone analizą przedmiotowego
dokumentu, linia demarkacyjna ze względu na rolę jaką spełnia w ramach programów
operacyjnych jest trudna w zastosowaniu przez wnioskodawców. Respondenci częstokroć
wskazywali na problemy w posługiwaniu się przedmiotowym dokumentem i trudnościami
związanymi z jednoznaczną interpretacją kwalifikowania do określonego programu
operacyjnego.
Weryfikacja możliwości składania wniosków na dany konkurs nie sprawia problemów wnioskodawcy.
Stan docelowy
Informacje zawarte w pakiecie informacji niezbędnych do opracowania dokumentacji projektowej są
wystarczające do jednoznacznego rozstrzygnięcia do którego naboru dany beneficjent może składać
swoją aplikację.
Opracowanie
i zamieszczenie (np. w formie przewodnika internetowego) kwalifikatora wnioskodawcy.
Rekomendacja
Dokument taki zawierający jednoznaczne informacje o prowadzonej działalności gospodarczej (na
60
podstawie punktów PKD) oraz wielkości realizowanego przedsięwzięcia umożliwiłaby podjęcie
jednoznacznej decyzji o możliwości złożenia dokumentacji projektowej na ogłoszony konkurs.
2
Niektóre zapisy kryteriów oceny formalnej budzą wątpliwości w zakresie czytelności i jednoznaczności
W ramach prowadzonego badania zauważono pewne trudności w odniesieniu do następujących
Opis obecnego stanu
elementów:
• Nazwa kryterium – występująca obecnie forma zapisu w odniesieniu do poszczególnych nazw
jest niejednoznaczna z zakresem zawartym w części odnoszącej się do Komentarza/
Uzasadnienia. Przykładem w tym zakresie może być między innymi kryterium Beneficjent
uprawniony do składania wniosku – jak wynika z przeprowadzonego badania o tym, że
beneficjent jest uprawniony do składania wniosku decydują także zapisy kryterium Zgodność linii
demarkacyjnej. Podobna sytuacja ma miejsce w odniesieniu do pozostałych nazw kryteriów,
które ze względu na zbieżne zakresy oddziaływania powinny zostać pogrupowane i
przedstawione w bardziej czytelnych kategoriach.
• Komentarz – uszczegółowienie wymagań danego kryterium może budzić wątpliwości ze względu
na stosunkowo dowolny charakter zamieszczanych komentarzy i uzasadnień.
Wnioskodawca w sposób jednoznaczny odczytuje zapisy wymagań formalnych. Przedstawione
Stan docelowy
komentarze i uzasadnienia prowadzone w formie pytań umożliwiają precyzyjną identyfikacją wymagań
jakie musi spełnić składając dokumentację projektową.
Proponuje
się przyjęcie nieco innej formy przedmiotowej tabeli z podziałem na elementy:
Rekomendacja
• Nazwa kryterium (generalna nazwa poszczególnych wymagań),
• Wymaganie (wyszczególniona nazwa danego kryterium formalnego),
• Komentarz (uszczegółowienie przedstawione w formie pytania),
• Charakter kryterium (Względność/ bezwzględność),
• Źródło (miejsce pochodzenia informacji),
• Sprawdza (kto dokonuje weryfikacji).
Wskazana propozycja niesie za sobą przemieszczenie dotychczasowych kategorii z zachowaniem
dotychczasowego charakteru. Według opinii ewaluatora proponowany układ kryteriów oceny formalnej
jest bardziej czytelny i umożliwia jednoznaczną interpretację danego kryterium– przykład
zmodyfikowanego zestawienia stanowi aneks nr 1 do raportu. Ponadto wskazuje się na możliwość
wydania Instrukcji wypełniania kart weryfikacji dla członków komisji konkursowej i oceniających projekty.
We wspomnianym dokumencie ujawnione zostałyby szczegółowe procedury postępowania względem
poszczególnych kryteriów oceny.
3
Niektóre zapisy kryteriów oceny merytorycznej budzą wątpliwości w zakresie uprzywilejowania określonej grupy beneficjentów
W przeprowadzonym badaniu zauważono, że respondenci wywodzący się z różnych grup badawczych
Opis obecnego stanu
wskazują na niebezpieczeństwo związane z uprzywilejowaniem niektórych grup beneficjentów.
Przykładem w tym zakresie może być pozorne uprzywilejowanie nowych przedsiębiorstw (1.1.2
inwestycje w mikroprzedsiębiorstwa), które w procesie oceny merytorycznej w zakresie rankingowania
61
Stan docelowy
Rekomendacja
otrzymują pozornie maksymalną liczbę punktów.
W ramach procesu naborów wniosków wszyscy beneficjenci kwalifikowani do udziału w ramach
ogłoszonych konkursów mają równe szanse, co wynika z zapisów celów dla działania/ poddziałania.
Ewaluator proponuje upublicznienie szczegółowego trybu postępowania w ramach kryteriów budzących
powszechne wątpliwości (np. podczas kryterium, gdzie punktacja przyznawana jest w trybie
rankingowania). W tym zakresie wskazuje się także na ewentualną możliwość zastąpienia procesu
przyznawania punktacji w ramach rankingowania na rzecz innego trybu np. przedziały punktowe.
4
Występowanie kryteriów oceny odnoszących się do deklaracji wnioskodawcy
Zauważa się, że przyjęty system kryteriów zawiera część kryteriów oceny mających charakter deklaracji
Opis obecnego stanu
wnioskodawcy. Wskazany charakter oznacza, że nie są możliwe do zweryfikowania na podstawie
dotychczasowego doświadczenia wnioskodawcy, ale przyjętego założenia ekonomicznego względem
planowanego przedsięwzięcia. Ze względu na fakt, że zidentyfikowane elementy nie są w większości
objęte szczegółowym monitoringiem – nie są wpisane w np. system wskaźników rezultatu - istnieje
niebezpieczeństwo, że deklarowane wielkości nie zostaną osiągnięte. Taka sytuacja może pociągnąć za
sobą niebezpieczeństwo braku możliwości wypełnienia założeń przewidzianych w celach dla
poszczególnych działań/ poddziałań, a także priorytetu i programu.
Wnioskodawcy
mają świadomość konsekwencji zapisów podlegających ocenie i akceptują sytuację, w
Stan docelowy
której są zmuszeni oddać część dofinansowania w przypadku braku spełnienia kryterium podlegającego
ocenie punktowej.
Zaleca
się przeformułowanie niektórych kryteriów oceny merytorycznej, które mają charakter
Rekomendacja
deklaracyjny i uwzględnienie dotychczasowego doświadczenia oraz dostępnych zasobów
wnioskodawców ubiegających się o wsparcie (np. poprzez wprowadzenie dodatkowych kryteriów oceny
lub wskaźników korygujących wielkości deklarowane). Ponadto proponuje się wpisanie kryteriów oceny
merytorycznej stopnia II o wspomnianym charakterze do wskaźników rezultatu oraz określenie
jednoznacznych zasad postępowania (konsekwencji) w przypadku braku osiągnięcia założonych
wielkości.
5
Zmodyfikowanie zapisów niektórych kryteriów oceny merytorycznej
Po przeprowadzeniu szczegółowego badania źródeł zastanych i skonfrontowaniu z otrzymanymi
Opis obecnego stanu
wynikami przeprowadzonych badań pierwotnych okazało się, że w ramach kryteriów oceny
merytorycznej stopnia I i II, występują określone wątpliwości. W przypadku oceny merytorycznej stopnia
II dotyczy to osi priorytetowej numer 1. Analiza poszczególnych kryteriów zidentyfikowanych jako
problematyczne wykazano w aneks nr 3 do raportu.
Kryteria oceny merytorycznej są jednoznacznie i nie budzą wątpliwości w zakresie mierzalności,
Stan docelowy
obiektywizmu, precyzyjności i spójności wewnętrznej
Proponuje
się rozważenie przeformułowania wskazanych kryteriów oceny, a także wykorzystanie i
Rekomendacja
upublicznienie listy sprawdzającej (wykorzystywanej dotychczas przez asesorów i osoby sprawdzające
wnioski), które zostały zaadoptowane pod szczegółowe wymagania poszczególnych działań/ poddziałań.
62
6
Problemy interpretacji wymagań w zakresie polityki horyzontalnej
W udostępnianej dokumentacji beneficjentom brakuje ogólnej informacji na temat wymagań polityk
Opis obecnego stanu
horyzontalnych UE. O braku stosownych wyjaśnień sygnalizowali przedstawiciele wielu badanych grup.
Wnioskodawcy
jednoznacznie znają wymagania stawiane w ramach poszczególnych polityk
Stan docelowy
horyzontalnych UE.
Obecnie ewaluator zauważa konieczność wyjaśnienia wnioskodawcom podstawowych zasad
Rekomendacja
odnoszących się do polityk horyzontalnych UE. Proponuje się zamieszczenie skróconej informacji na
temat głównych zasad realizowanych polityk horyzontalnych np. w sposób jaki ma to miejsce w ramach
PO IG 2007- 2013
63
Spis wykresów
Wykres 1: Poziom udzielanej pomocy przy opracowaniu wniosku o dofinansowanie przez firmy
zewnętrzne. .............................................................................................................................. 27
Wykres 2: Przyczyny wyboru firm zewnętrznych pomagających w opracowaniu wniosku o
dofinansowanie......................................................................................................................... 28
Wykres 3: Ocena jakości udzielonej pomocy przez firmy zewnętrzne pomagające w opracowaniu
wniosku o dofinansowanie ....................................................................................................... 29
Wykres 4: Deklarowana chęć ponownego skorzystania przez wnioskodawców z pomocy udzielonej
przez firmy zewnętrzne pomagające w opracowaniu wniosku o dofinansowanie ................... 29
Wykres 5: Stopień zgodności kryteriów formalnych z zapisami linii demarkacyjnej ............................. 31
Wykres 6: Ocena wnioskodawców stopnia trudności spełnienia kryteriów formalnych ........................ 32
Wykres 7: Czy kryteria formalne są dla beneficjenta zrozumiałe i jednoznacznie zapisane? .............. 33
Wykres 8: Występowanie wątpliwości członków komisji oceny wniosków w zakresie zapisów danego
kryterium................................................................................................................................... 33
Wykres 9: Przykłady wątpliwości członków komisji oceny wniosków w zakresie zapisów danego
kryterium................................................................................................................................... 34
Wykres 10: Ocena wnioskodawców poprawności określenia charakteru kryterium formalnego.......... 35
Wykres 11: Cele jakiego poziomu stanowiły priorytet w opracowaniu przez ekspertów kryteriów oceny
merytorycznej ........................................................................................................................... 39
Wykres 12: Czy pomysł rozwojowy łatwo było wpisać w zapisy dokumentów strategicznych? ........... 39
Wykres 13: Czy projekt był modyfikowany celem wpisania się w założenia dokumentów
strategicznych?......................................................................................................................... 40
Wykres 14: Opinia oceniających na temat stopnia zgodności kryteriów oceny merytorycznej z celami
wyznaczonymi dla działań........................................................................................................ 41
projektów względem realizacji celów działania/ poddziałania? ................................................ 42
Wykres 16: Opinia Ekspertów w zakresie stopienia zgodności kryteriów oceny merytorycznej z celami
działania/ poddziałania ............................................................................................................. 43
projektów względem realizacji celów działania/ poddziałania? ................................................ 43
Wykres 18: : Opinia Ekspertów w zakresie stopienia zgodności kryteriów oceny merytorycznej z
celami Osi priorytetowej ........................................................................................................... 44
Wykres 19: Opinia wnioskodawców na temat wpływu kryteriów oceny merytorycznej na
uprzywilejowanie określonej grupy wnioskodawców................................................................ 44
Wykres 20: Opinia Oceniających na temat wpływu kryteriów oceny merytorycznej na uprzywilejowanie
określonej grupy wnioskodawców ............................................................................................ 45
Wykres 21: Ocena przez wnioskodawców przyjętych wartości wagowych dla oceny merytorycznej II
stopnia? .................................................................................................................................... 47
Wykres 22: Ocena przez wnioskodawców przyjętych wielkości punktowych ....................................... 47
Wykres 23: Ocena prawidłowości przyjętych wartości wagowych dla oceny merytorycznej II stopnia –
(Oceniający) ............................................................................................................................. 48
Wykres 24: Ocena prawidłowości przyjętych wartości wagowych dla oceny merytorycznej II stopnia –
(Eksperci) ................................................................................................................................. 48
Wykres 25: Ocena prawidłowości przyjętych wielkości punktowych – (Oceniający) ............................ 49
64
Wykres 26: Opinia respondentów w zakresie identyfikowanego poziomu trudności poszczególnych
etapów oceny (według grup respondentów) ............................................................................ 51
Wykres 27: Opinia respondentów w zakresie identyfikowanego poziomu trudności etapów oceny
merytorycznej (według grup respondentów) ............................................................................ 52
Wykres 28: Opinia respondentów na temat precyzyjności sformułowanych kryteriów oceny (według
grup respondentów).................................................................................................................. 52
Wykres 29: Obiektywność kryteriów oceny według opinii wnioskodawców.......................................... 53
Wykres 30: Spójność wewnętrzna kryteriów oceny według Oceniających ........................................... 54
Wykres 31: Ogólna ocena skuteczności systemu wyboru projektów przez wnioskodawców............... 54
Wykres 32: Ogólna ocena skuteczności systemu wyboru projektów – osoby oceniające.................... 55
Wykres 33: Opinia wnioskodawców w zakresie przystępności systemu wyboru projektów ................. 56
Wykres 34: Ocena przystępności systemu wyboru projektów – osoby oceniające .............................. 56
65
Wykaz skrótów
SKRÓT
CATI
EFRR
EFRROW
ICT
IDI
IP 2
IZ
KE
KM RPO WO 2007- 2013
MMSP
NSRO/NSS
OCRG
PKD
PO
PO IG 2007-2013
PROW 2007-2013
PO KL 2007-2013
RPO WO 2007-2013
SWOT
SWW
UE
UMWO
WE
(KK) NSRO
ZPORR
ZWO
WYJAŚNIENIE SKRÓTU
Badanie telefoniczne wspomagane komputerowo (Computer Aided
Telephone Interviews)
Europejski Fundusz Rozwoju Regionalnego
Europejski Fundusz Rolny Rozwoju Obszarów Wiejskich
Skrót od ang. nazwy Information and Comunication Technology –
oznaczający sektor informacyjnych i telekomunikacyjnych technologii
Indywidualny Wywiad Pogłębiony (Individual in-Depth Interview)
Instytucja Pośrednicząca drugiego stopnia
Instytucja Zarządzająca
Komisja Europejska
Komitet Monitorujący Regionalny Program Operacyjny Województwa
Opolskiego na lata 2007- 2013
Mikro, małe i średnie przedsiębiorstwa
Narodowe Strategiczne Ramy Odniesienia/ Narodowa Strategia
Spójności
Opolskie Centrum Rozwoju Gospodarki
Polska Klasyfikacja Działalności
Program Operacyjny
Program Operacyjny Innowacyjna Gospodarka 2007-2013
Program Rozwoju Obszarów Wiejskich 2007-2013
Program Operacyjny Kapitał Ludzki 2007-2013
Regionalny Program Operacyjny Województwa Opolskiego na lata 20072013
Skrót pochodzi od pierwszych liter angielskich słów: strenghts (mocne
strony), weaknesses (słabe strony), opportunities (szanse), threats
(zagrożenia). Jest to metoda pozwalająca przeanalizować atuty i
słabości wobec szans i zagrożeń stwarzanych przez otoczenie.
Strategiczne Wytyczne Wspólnoty
Unia Europejska
Urząd Marszałkowski Województwa Opolskiego
Wspólnota Europejska
Komitet Koordynujący Narodowe Strategiczne Ramy Odniesienia
Zintegrowany Program Operacyjny Rozwoju Regionalnego 2004-2006
Zarząd Województwa Opolskiego
66
Aneks
Aneks 1. Przykładowe zestawienie zmodyfikowanej formatki kryteriów oceny
formalnej
Aneks 2. Propozycja zamieszczenia informacji o polityce horyzontalnej UE
Aneks 3. Przegląd wskaźników oceny merytorycznej
Aneks 4. Zastosowane narzędzia badawcze
Aneks 5. Lista dokumentów i publikacji wykorzystanych przy realizacji badania
67
Aneks 1. Przykładowe zestawienie zmodyfikowanej formatki kryteriów oceny formalnej
Tabela 1. Formatka kryteriów oceny formalnej
Kryteria formalne (uniwersalne) schemat ogólny
Lp.
1.
Nazwa kryterium
Kwalifikowalność
beneficjenta
Szczegółowe
wymagania
Typ beneficjanta
Siedziba /zasięg
działania*
Linia demarkacyjna
2.
Kwalifikowalność
działań
Typ naboru wniosków
Zgodność z celami
projektu
3.
Kompletność
dokumentacji
Prawidłowa forma
wniosku
Kompletność
załączonej
dokumentacji
4.
Kwalifikowalność
finansowa
Kwota minimum i
maksimum
Zabezpieczenie
finansowe
Kwalifikowalność
wydatków
Uwagi/ komentarze
Czy beneficjent jest upoważniony
do składania wniosku na
przedmiotowy konkurs?
Czy jest nim województwo opolskie?
Czy beneficjent na mocy zapisów
linii demarkacyjnej może aplikować?
Czy wniosek stanowi odpowiedź na
dany konkurs?
Czy cel wniosku wpisuje się w cel
działania/ poddziałania?
Czy przedłożony wniosek został
opracowany zgodnie z
wymaganiami?
Czy wszystkie wymagane załączniki
zostały przedłożone i mają właściwą
formę (zgodnie z wymaganiami)?
Czy kwota dofinansowania mieści
się w widełkach przewidzianych w
naborze?
Czy beneficjent posiada stosowne
zabezpieczenie finansowe na
realizowane przedsięwzięcie
(zgodnie z wymaganiami)?
Czy wydatki, które wnioskodawca
chce ponieść są kwalifikowane?
Charakter
kryterium
Źródło
informacji
Bezwzględny
Wniosek
Bezwzględny
Wniosek
Bezwzględny
Wniosek
Bezwzględny
Wniosek
Bezwzględny
Wniosek
Względny
Wniosek
Względny
Wniosek/
załączniki
Bezwzględny
Wniosek
Względny
Wniosek/
załączniki
Względny
Wniosek
Sprawdza
Pracownik IZ/ IP2
* element do wyboru w zależności od charakteru danego projektu
68
Aneks 2. Propozycja zamieszczenia informacji o polityce
horyzontalnej UE
WYCIĄG Z INFORMACJI ZAWARTEJ W PRZEWODNIKU PO KRYTERIACH WYBORU
FINANSOWANYCH OPERACJI W RAMACH PROGRAMU OPERACYJNEGO INNOWACYJNA
GOSPODARKA, 2007-2013 (s. 5)
Zrównoważony rozwój definiuje się jako rozwój społeczno-gospodarczy, w którym następuje
integrowanie działań mających na celu wzrost gospodarczy oraz działań społecznych, z zachowaniem
równowagi przyrodniczej i trwałości podstawowych procesów przyrodniczych w celu zagwarantowania
możliwości zaspokajania potrzeb poszczególnych społeczności lub obywateli, zarówno
współczesnego, jak i przyszłych pokoleń.
Z punktu widzenia ochrony środowiska oznacza to konieczność uniezależnienia stopnia degradacji
środowiska naturalnego od poziomu wzrostu gospodarczego, jak również ochronę zasobów
naturalnych i prowadzenie gospodarki tymi zasobami w sposób umożliwiający ich regenerację.
Z punktu widzenia działań społecznych oznacza to zobowiązanie się do likwidowania we
wszystkich dziedzinach życia wszelkich nierówności i promowania równych szans ze względu na płeć,
rasę, pochodzenie etniczne, religię, światopogląd, niepełnosprawność, wiek czy orientację seksualną.
Projekt jest pozytywny pod względem równości szans wówczas, gdy realizacja projektu przyczyni się
do likwidacji barier dyskryminujących w dostępie do zatrudnienia. Deklaracja Wnioskodawcy
dotycząca zatrudnienia kobiet w ramach stwarzanych miejsc pracy nie jest podstawą do uznania, że
projekt przyczynia się do poprawy równości szans kobiet i mężczyzn. Praktyka taka (określanie
preferencji płci przy zatrudnianiu) pozostaje w sprzeczności z prawem polskim i WE
Projekty realizowane w ramach przedmiotowego Programu Operacyjnego mogą odegrać istotną rolę
w zwalczaniu nierówności istniejących w społeczeństwie – nie tylko między kobietami i mężczyznami,
ale równie w odniesieniu do osób niepełnosprawnych, mniejszości etnicznych oraz innych osób
zagrożonych wykluczeniem społecznym.
Realizacja projektu zgodnie z zasadą zrównoważonego rozwoju zostanie, zatem zapewniona poprzez
uwzględnienie przy jego realizacji polityki równości szans oraz polityki ochrony środowiska
naturalnego.
Problematyka ochrony środowiska jest przedmiotem regulacji zarówno Traktatu ustanawiającego
Wspólnotę Europejską, jak i wydanych na jego podstawie dyrektyw, regulujących dziewięć obszarów
tematycznych: ochronę środowiska w procesie inwestycyjnym, jakość powietrza, gospodarowanie
odpadami, jakość wody, ochronę przyrody, ograniczenie zanieczyszczeń przemysłowych i
zarządzanie ryzykiem, chemikalia i genetycznie zmodyfikowane organizmy, ochrona przed hałasem
oraz bezpieczeństwo nuklearne i ochrona przed promieniowaniem. Postanowienia dyrektyw
środowiskowych zostały w zasadzie implementowane do prawa polskiego.
69
Aneks 3. Przegląd wskaźników oceny merytorycznej
W przedmiotowym przeglądzie wskaźników oceny merytorycznej wzięto pod uwagę tylko kryteria co do których ewaluator posiada określone wątpliwości.
Generalna zasada wskazuje na konieczność dokonania określonych modyfikacji w kryteriach oceny w odniesieniu do Osi priotytetowych nr 1 i 2.
Kryteria oceny merytorycznej I stopnia (uniwersalne)
Lp.
Numer
Nazwa kryterium
Uwaga
kryterium
1.
1
Wykonalność
Zbyt szeroki zakres
projektu
nazwy kryterium
2.
2
3.
3
4.
6
Realność
zakładanych
wskaźników
produktu i rezultatu
Założenia projektu
zgodne z celami
działania /
poddziałania /
rodzaju projektu
Realność i
prawidłowość
przygotowanych
analiz finansowych
Kryterium
zawierające się w
nazwie kryterium nr 1
Uzasadnienie/ komentarz
Sugestia
Tak przyjęta nazwa tego kryterium budzi
wątpliwość, gdyż przyjęty zakres
kompensuje nazwy kryterium nr 2 Realność
zakładanych wskaźników produktu i
rezultatu oraz nr 6 Realność i prawidłowość
przygotowanych analiz finansowych
Uzasadnienie patrz kryterium nr 1
Podpięcie wskazanych kryteriów nr 2 i
6 jako część całościowej kategorii
oceny np. w kształcie proponowanej już
formatki oceny formalnej
Kryterium, które może
być przedmiotem
oceny na etapie
oceny formalnej
Wydaje się zasadne, że kryterium to, co do
zasady charakteru ogólnego (zbieżność
celu/ uzasadnienia) może być weryfikowane
na etapie oceny formalnej
Przenieść kryterium na poziom oceny
formalnej
Kryterium
zawierające się w
nazwie kryterium nr 1
70
Kryteria oceny merytorycznej II stopnia
OŚ PRIORYTETOWA 1. Działanie 1.1/ Podziałanie 1.1.1 - Wsparcie instytucji otoczenia biznesu
Numer
kryterium
2
3
4
Nazwa kryterium
Uwaga/ spostrzeżenie
Sugestia
Wzrost % liczby
obsługiwanych
podmiotów dzięki
realizacji
inwestycji w okresie
2 lat od
zakończenia
realizacji projektu
Uprzywilejowane
wydają się jednostki
rozpoczynające
działalność
Uszczegółowienie zapisu postępowania w
takich okolicznościach lub zastąpienie inną
formą kryterium
Ilość
nowopowstałych
miejsc pracy
bezpośrednio w
wyniku
realizacji projektu w
obsługiwanych
podmiotach w
okresie 1
roku od
zakończenia
realizacji projektu
Doświadczenie
podmiotów
zaangażowanych w
realizację
projektu
Trudność w
zrozumieniu zakresu
kategorii
Wydaje się, że deklaracja w zakresie liczby
nowo obsługiwanych podmiotów w sposób
szczególny uprzywilejowuje nowo powstałe
jednostki. Weryfikacja prawidłowości przyjętych
wielkości możliwa będzie dopiero po
zakończeniu realizacji przedsięwzięcia.
Ponadto, w tym działaniu występuje podczas
jednego naboru zestawienie różnych podmiotów
(np. fundusz pożyczkowy, inkubator), których
działalność ukierunkowana jest na inne grupy
odbiorów. Weryfikacja przyrostu liczby może
być nieadekwatny (Inkubator przyjmie dwóch
nowych lokatorów, a w tym czasie fundusz
pożyczkowy udzieli 100 pożyczek)
Problem w jednoznacznym zrozumieniu
kategorii kryterium. Trudno jest zrozumieć, czy
chodzi tylko o liczbę utworzonych nowych
miejsc pracy bez względu na wymiar etatu, czy
może ekwiwalent pełnych etatów
Weryfikowana jest
tylko liczba lat
działania jednostki
Weryfikacja jednostki na podstawie długości
działania może nie w pełni odzwierciedlać jego
doświadczenia. Bardziej miarodajna jest
weryfikacja np. liczby podmiotów, którym
jednostka udzieliła wsparcia, kwalifikacjami i
doświadczeniem pracowników
Uszczegółowienie zapisu
Wprowadzenie dodatkowej kategorii
weryfikacji doświadczenia wnioskodawcy
71
OŚ PRIORYTETOWA 1. Działanie 1.1/ Podziałanie 1.1.2 - Inwestycje w mikroprzedsiębiorstwach
Numer
kryterium
2
Nazwa kryterium
Sugestia
Zwiększenie
zatrudnienia w
wyniku realizacji
projektu (maks. do 3
miesięcy od
zakończenia
realizacji projektu)
Trudność w
zrozumieniu zakresu
kategorii
Patrz uzasadnienie dla kryterium nr 3
Poddziałania 1.1.1
Proponuje się doprecyzowanie zapisów
kryterium.
3
Wzrost procentowy
zysku na koniec
pierwszego pełnego
roku kalendarzowego
po zakończeniu
realizacji projektu
Uprzywilejowane
rozpoczynające
działalność
4
Wkład własny
wyższy od
minimalnego
Trudność w
interpretacji zakresu
Poddziałania 1.1.1
Ponadto należy zauważyć, iż brakuje
jednoznacznego określenia co oznacza termin
zakończenia - czy oznacza 3 miesiące po
zakończeniu rzeczowym czy finansowym
projektu. Ta kwestia ma szczególne znaczenie
w przypadku leasingu długookresowego
maszyn i urządzeń. Brak precyzyjnych zapisów
w tym zakresie powoduje znaczące komplikacje
z ustaleniem terminu zakończenia projektu.
Wydaje się, że deklaracja w zakresie wzrostu
procentowego zysku w sposób szczególny
uprzywilejowuje nowo powstałe jednostki.
Weryfikacja prawidłowości przyjętych wielkości
możliwa będzie dopiero po zakończeniu
realizacji przedsięwzięcia, co w przypadku nowo
powstałych jednostek stanowić może duże
ryzyko dla donatora
W opisie kryterium nie przewiduje się ilości
punktów za wkład własny wyższy od
minimalnego od 0 do 5%. Brak takiego zapisu
powoduje powstanie wątpliwości
interpretacyjnych jaką liczbę punktów nadać
przy ocenie takiego projektu.
formą kryterium
Uszczegółowienie zapisu np.
poniżej- 5% - 0 punków
72
OŚ PRIORYTETOWA 1. Działanie 1..2 Zapewnienie dostępu do finansowania przedsiębiorczości
Numer
kryterium
3
4
5
7
Nazwa kryterium
Sugestia
Zasoby finansowe
Za mało informacji
Brak jasności w zakresie przedziałów
progowych kwalifikujących wielkości punktowe
Kondycja finansowa
wnioskodawcy w
odniesieniu do
udziału w funduszu
Obszar
oddziaływania
beneficjenta
Brak jasności w
zakresie szczegółowej
oceny
Liczba
obsługiwanych
podmiotów
Wątpliwości zapisu w
odniesieniu do
kryterium nr 5
Wskazane uzasadnienie nie umożliwia pełnej
identyfikacji elementów, które będą brane pod
uwagę i w jaki sposób porównywane będą ze
sobą wyniki różnej wielkości jednostek
Problem z interpretacją oddziaływania w
oderwaniu od liczby obsługiwanych podmiotów.
Kryterium można błędnie zinterpretować, że
bardziej korzystne jest oddziaływanie do
mniejszej liczby podmiotów na terenie całego
województwa, niż większej ilości podmiotów na
zawężonym obszarze
Uzasadnienie jak w kryterium nr 5
formą kryterium
Uszczegółowienie zapisu lub
upublicznienie listy sprawdzającej z
wyszczególnionymi wartościami
punktowymi
Wskazuje się na potrzebę
przeformułowania zapisów kryteriów i/lub
połączenia kryterium nr 5 z kryterium nr 7
Wątpliwości zapisu w
odniesieniu do
kryterium nr 7
Uzasadnienie jak w kryterium nr 5
73
OŚ PRIORYTETOWA 1. Działanie 1.3/ Poddziałanie 1.3.1 Wsparcie sektora B+R oraz innowacji na rzecz przedsiębiorstw
Numer
kryterium
2
Nazwa kryterium
Sugestia
Liczba podmiotów –
odbiorców wyników
badań / koszt
kwalifikowany
projektu
Dowolność interpretacji
Dla jednostek naukowo- badawczych jednym z
głównych produktów jest możliwość
opublikowania wyników, co równocześnie
powoduje możliwość trochę odmiennego
zinterpretowania liczby odbiorców
Uszczegółowienie zapisu odbiorcy wyników
badań – jakie wymierne formy będą
akceptowane (np. umowy, wdrożenia,
cytowania)
OŚ PRIORYTETOWA 1. Działanie 1.3/ Poddziałanie 1.3.2 Inwestycje w innowacje w przedsiębiorstwach
Numer
kryterium
2
Nazwa kryterium
Sugestia
Wzrost procentowy
zysku na koniec
drugiego pełnego
roku kalendarzowego
po zakończeniu
realizacji projektu
Uprzywilejowane
rozpoczynające
działalność
Poddziałania 1.1.2
Poddziałania 1.1.2
74
OŚ PRIORYTETOWA 1. Działanie 1.4/ Poddziałanie 1.4.1 Wsparcie usług turystycznych i rekreacyjno-sportowych świadczonych przez przedsiębiorstwa
Numer
kryterium
1
Nazwa kryterium
Sugestia
Procentowy wzrost
liczby
nowopowstałych
miejsc pracy
Trudność w
zrozumieniu zakresu
kategorii
Uprzywilejowane
rozpoczynające
działalność
Trudność w określeniu
wielkości punktowych
Poddziałania 1.1.1
Poddziałania 1.1.1
Poddziałania 1.1.2
Poddziałania 1.1.2
Punktacja do tego kryterium wynosi:
4 pkt. - położenie na terenach o najwyższej
atrakcyjności turystycznej;
3 pkt. - położenie na terenach o wysokiej
atrakcyjności turystycznej;
2 pkt. - położenie na terenach atrakcyjnych
turystycznie
1 pkt. - położenie na terenach pozostałych.
Pojawia się jednak problem, gdyż ewaluator
miał problem z odnalezieniem zapisów we
wskazanych dokumentów, na które trzeba się
powoływać podczas oceny tego wskaźnika.
Żaden z dokumentów nie precyzuje dokładnie i
jednoznacznie jakie tereny zaliczyć można do
każdej z kategorii
W przedmiotowym kryterium Bada się
nasycenie podobnymi produktami na
opisywanym obszarze - im większą punktację
otrzymają projekty, które są niepowtarzalne na
analizowanym obszarze. Brak wystarczających
zapisów odnośnie:
- sposobu badania nasycenia na danym
obszarze
- określenia co należy rozumieć pod pojęciem
obszaru – miejscowość, gminę, powiat czy inną
jednostkę terytorialną.
Niejasność ewaluatora odnosi się do
Uszczegółowienie zapisów odnośnie
miejsca precyzującego wskazane obszary
4
Położenie na
obszarze
turystycznym
(zgodnie z Planem
Zagospodarowania
Przestrzennego
Województwa
Opolskiego i
Strategią
Zrównoważonego
Rozwoju Turystyki w
Województwie
Opolskim na lata
2007-2013)
6
Innowacyjność
produktu
turystycznego na
danym obszarze
Niewystarczająca
liczba danych
7
Szacunkowy wzrost
Trudność w
Uszczegółowienie zapisów kryterium
75
liczby
odwiedzających
obiekt/obszar w tym
turystów
zagranicznych (%)
zrozumieniu zakresu
kategorii
następujących elementów:
- w jakim okresie wzrost liczby odwiedzających?
- co z sytuacją, gdy ktoś od podstaw realizuje
przedsięwzięcie i startuje od 0?
- jak porównać hotel z restauracją gdzie wzrost
liczby odwiedzających może być zupełnie różny
(przy dwudziestu łóżkach w hotelu i 100
miejscach w restauracji gdzie liczbę tę można
pomnożyć razy kilka bo odwiedzających jest
znacznie więcej),
- wzrost ilościowy (przyrost) czy %
76
OŚ PRIORYTETOWA 1. Działanie 1.4/ Poddziałanie 1.4.2 Usługi turystyczne i rekreacyjno-sportowe świadczone przez sektor publiczny
Numer
kryterium
2
6
Nazwa kryterium
Sugestia
Liczba
nowopowstałych
miejsc pracy w
okresie 1 roku od
zakończenia
realizacji projektu
Spójność z
politykami
horyzontalnymi w
zakresie ochrony
środowiska (dotyczy
projektów
zakładających
budowę,
przebudowę, remont
obiektów
turystycznych,
sportoworekreacyjnych,
instytucji
promujących rozwój
turystyki w regionie
oraz bazy
noclegowej)
Trudność w
zrozumieniu zakresu
kategorii
Poddziałania 1.1.1
Poddziałania 1.1.1
Kryterium już
występujące na
wcześniejszym etapie
oceny
Charakter badanego wcześniej kryterium jest
bezwzględny, dlatego forma użytego
sformułowania może budzić wątpliwości
Przeformułowanie nazwy i
uszczegółowienia kryterium
77
OŚ PRIORYTETOWA 2, Działanie 2.1
Numer
kryterium
3
5
Nazwa kryterium
Sugestia
Ilość użytkowników
podłączonych do
sieci
Brak jednoznaczności
Ilość użytkowników z
obszarów wiejskich
Tak przedstawione kryterium budzi wątpliwość
w zakresie interpretacji: Czy chodzi o liczbę
podłączonych punktów (np. mieszkań,
przedsiębiorstw), czy może liczbę osób, które w
ten sposób uzyskały dostęp do Internetu
Uzasadnienie j. w.
Uzasadnienie j. w.
OŚ PRIORYTETOWA 2, Działanie 2.2
Numer
kryterium
2
Nazwa kryterium
Sugestia
Ilość użytkowników z
obszarów wiejskich
Uzasadnienie jak w działaniu 2.1 kryterium 3
Uzasadnienie jak w działaniu 2.1 kryterium
nr 3
78
Aneks 4. Zastosowane narzędzia badawcze
SCENARIUSZ WYWIADU POGŁĘBIONEGO (IDI)
Czas badania do 1h
Na wstępie rozmowy zaznaczone zostanie, że wywiad jest częścią badania „Ocena systemu kryteriów
wyboru projektów (finansowanych operacji) zaprojektowanych w ramach Regionalnego Programu
Operacyjnego Województwa Opolskiego na lata 2007-2013”, a celem prowadzonego badania jest
dokonanie oceny kryteriów wyboru projektów zaakceptowanych przez Komitet Monitorujący RPO WO
2007-2013 pod kątem zapewnienia skutecznej i najbardziej efektywnej realizacji RPO WO 2007-2013.
Wywiad ten stanowi istotną część procesu badawczego.
Zakres obowiązków osoby badanej:
Cel: Poznanie roli osoby badanej w zarządzaniu RPO WO 2007- 2013 oraz opinii na temat wpływu
kryteriów oceny projektów na optymalną realizację celów dla działania/ programu/ strategii?
• Jakim obszarem wdrażania RPO WO 2007- 2013 Pan/Pani się zajmuje?
• Czy praca nad RPO WO 2007- 2013 stanowi Pani/Pana główny zakres obowiązków czy też
jedynie stanowi część wypełnianych zadań zawodowych?
• Jaka jest Pana/Pani obecna rola w zarządzaniu RPO WO 2007- 2013?
• Jaki jest Pana/Pani zakres obowiązków/ zadań/ działań w związku z wyborem projektów RPO
WO 2007- 2013?
• Jaka była Pana/ Pani rola w procesie ustalania kryteriów wyboru projektów w ramach RPO
WO 2007- 2013?
Na tym etapie wywiadu osoba badana powinna mieć możliwość swobodnej wypowiedzi
i kształtowania udzielanych informacji. Prowadzący badanie powinien zwracać szczególną uwagę na
to, co badana osoba prezentuje jako swoje zasadnicze działania w ramach procesu zarządzania oraz
opisać swoją rolę w zakresie ustalania kryteriów wyboru projektów RPO WO 2007- 2013. Ta część
wywiadu powinna stanowić ok. 20-25 % całego czasu badania.
W dalszej części wywiadu osoba prowadząca badanie zadaje pytania odnoszące się do
doświadczenia Respondenta, które zgodnie z deklaracją respondenta posiada osoba badana:
Pytanie otwierające:
1. Czy Pana/Pani zdaniem obecnie obowiązujący system wyboru projektów (podział oceny na
część formalną, merytoryczną I stopnia, II stopnia) pozwolił wyłonić najlepsze projekty? Co
stanowi największy atut obowiązującego systemu oceny projektów, a co jest jego największą
słabością („piętą Achillesa”)? Co już na obecnym etapie realizacji RPO WO 2007- 2013
należy udoskonalić bądź zmodyfikować?
Pytania odnoszące się do lokalizacji systemu oceny projektów w realizacji RPO WO 2007- 2013
2. Czy Pana/Pani zdaniem przyjęty system wyboru projektów zachęca do ubiegania się
o wsparcie w ramach RPO WO 2007- 2013? Jeżeli nie, to w których działaniach i dlaczego?
Jeżeli tak, co jest warte szczególnego podkreślenia? Jakie ewentualne niedogodności
Pana/Pani zdaniem generował/ generuje przyjęty system wyboru projektów dla
Beneficjentów? Jak można tym niedogodnościom zaradzić?
3. Czy podejmowane były już jakieś działania zaradcze? Czy dzięki temu wnioski projektowe
składane przez beneficjentów lepiej wpisują się system wyboru projektów RPO WO 20072013? Z jakim skutkiem?
Pytania odnoszące się do znaczenia linii demarkacyjnej w ramach kryterium oceny formalnej.
4. Jakie były według Pana/Pani wiedzy najczęstsze przyczyny odrzucenia wniosków na ocenie
formalnej? Czy wskazana przyczyna odrzucenia wniosku stanowiąca kryterium oceny
formalnej miała właściwie przypisany charakter (względny/ bezwzględny)?
79
5. Czy przyjęte kryteria formalne w ramach RPO WO 2007- 2013 są zgodne z zapisami linii
demarkacyjnej? Czy zapisy linii demarkacyjnej odnoszące się do zasięgu terytorialnego
działań/ wartości projektów/ rodzaju beneficjenta są łatwo identyfikowalne przez
wnioskodawcę?
6. Czy zapisy linii demarkacyjnej umożliwiają jednoznaczną interpretację na poziomie kryteriów
oceny formalnej? Czy znane są Panu/ Pani przypadki odwołania się od decyzji Komisji
Konkursowej oceniającej wnioski o dofinansowanie projektów złożonych w ramach RPO WO
2007-2013 ze względu na problemy w interpretacji zapisów zawartych w linii demarkacyjnej?
Jeżeli tak, to jakie było postępowanie w takim przypadku? Czy odwołania te były skuteczne?
Pytania odnoszące się do weryfikacji opinii badanych na temat wpływu kryteriów oceny na realizację
celów przewidzianych w działaniach/ priorytetach/ programach/ strategiach.
7. Jakie trudności w Pana/Pani opinii pojawiają się w odniesieniu do wyboru projektów zgodnych
z celami Programu? Które cele Programu mogą być najtrudniejsze do osiągnięcia przy
przyjętych kryteriach wyboru projektów? Czy kryteria oceny merytorycznej pozwalają na
realizację celów przewidzianych dla działań/ priorytetów/ programu/ strategii?
8. Czy według Pana/ Pani kryteria oceny merytorycznej pozwalają na skuteczny wybór projektów
względem realizacji celów działania/ osi priorytetowej/ celu głównego RPO WO 2007-2013/
NSRO/ Strategii rozwoju województwa opolskiego/ strategii sektorowych i branżowych? Czy
ktoś z pracowników uczestniczących w procesie wdrażania/ zarządzania RPO WO 20072013 zgłaszał wątpliwości dotyczące znaczenia kryteriów merytorycznych? Jeżeli tak, to jakie
było postępowanie w tej sytuacji?
9. Czy uważa Pan/ Pani, iż przyjęte kryteria oceny merytorycznej mogą preferować określoną
grupę beneficjentów? Jeżeli tak, to jakich? Jakie przyjęto w tym przypadku kryterium
(wielkość, branża, obszar oddziaływania)?
Pytania odnoszące się do znaczenia wartości punktowych i wagowych w ramach kryteriów oceny
merytorycznej stopnia drugiego.
10. Czy uważa Pan/ Pani, że przyjęte dla oceny merytorycznej II stopnia wartości wagowe są
właściwe? Czy ktoś z pracowników uczestniczących w procesie wdrażania/ zarządzania RPO
WO 2007- 2013 zgłaszał wątpliwości dotyczące wielkości poszczególnych wag? Czy przyjęte
wielkości punktowe pozwalają na osiągnięcie minimum punktowego dla wniosków, które
wpisują się w cele działania/ priorytetu/ programu/ strategii?
11. Czy Pana(i) zdaniem struktura hierarchiczna wartości punktowych w systemie oceny
projektów odzwierciedla ich zgodność z celami działań, Osi priorytetowych, celem RPO WO
2007- 2013, NSRO, Strategią rozwoju?
12. Czy Pana(i) zdaniem wagi przyznane poszczególnym kryteriom ocen odzwierciedlają rangę i
hierarchię celu, w który wpisuje się dane kryterium oceny?
Pytania odnoszące się do spójności, jasności i czytelności zapisów kryteriów oceny
13. Jakie jest Pana/Pani zdanie na temat przyjętych kryteriów oceny zarówno formalnej jak
merytorycznej pierwszego i drugiego stopnia? Czy przyjęte kryteria oceny są obiektywne?
Czy przyjęte kryteria oceny są sformułowane w sposób precyzyjny? Czy zapisy odnoszące się
do kryteriów oceny wymagają dodatkowych interpretacji i wyjaśnień? Czy obowiązujące
kryteria oceny są spójne wewnętrznie? Czy przedstawiciel którejkolwiek z grup
uczestniczących w procesie oceny (wnioskodawców/ oceniających) zgłaszał swoje
wątpliwości odnośnie kryteriów oceny? Jeżeli tak, to czego te wątpliwości dotyczyły?
Pytania odnoszące się do uwzględnienia efektywności kosztowej (wkładu) w kryteriach ocen
projektów
14. Czy dostateczny nacisk położono na uwzględnienie efektywności kosztowej w kryteriach ocen
projektów? Czy spośród projektów o podobnym poziomie zgodności z celami Programu
preferuje się te, które wymagają mniejszego wkładu dofinansowania w ramach RPO WO
2007-2013?
80
ANKIETA WYWIADU TELEFONICZNEGO (CATI)
1. Czy Pan/Pani samodzielnie opracowywał wniosek o dofinansowanie?
tak przejdź do pyt. 6
nie przejdź do pyt. 2
Badanie poziomu wsparcia ze strony osób trzecich
2. Zakładając, że podjęcie decyzji o wyborze jednostki zewnętrznej może mieć charakter złożony
proszę o wskazanie elementów mających na to wpływ oraz znaczenie (waga) w podjęciu tej decyzji?
Proszę przypisać wartości od 1 do 3 wskazując:
- 1 jako przyczynę mająca bardzo duże znaczenie
- 2 jako przyczyną mającą duże znaczenie
- 3 jako przyczynę mającą niskie znaczenie
- bz- w przypadku, gdy wskazana przyczyna nie miała wpływu
na wybór jednostki zewnętrznej.
Przyczyna
Duże liczba wymagań, stawianych wnioskodawcy
Znaczenie
Duża liczba dokumentów podlegających analizie
Ograniczony czas na wykonanie dokumentacji projektowej
wnioskodawcy
Braki wyspecjalizowanych umiejętności i kwalifikacji samego
wnioskodawcy w zakresie opracowania wniosku projektowego
(dotyczy także personelu wnioskodawcy)
Inne:
Inne:
Inne:
3. Jaki był charakter udzielonej pomocy przez osoby z zewnątrz?
bardzo duży (koordynowały prace w ramach dokumentacji projektowej)
duży (część dokumentów wnioskodawca sam opracowywał)
przeciętny (częste konsultacje dotyczące dokumentacji projektowej)
niski (sporadyczne konsultacje dotyczące dokumentacji projektowej)
bardzo niski (pojedyncze konsultacje)
ciężko określić
4. Jak ocenia Pan/ Pani pomoc osób pomagających w opracowaniu dokumentacji projektowej?
bardzo dobrze (kluczowy wpływ na jakość dokumentacji projektowej)
dobrze (znaczny wpływ na jakość dokumentacji projektowej)
przeciętnie (dostateczny wpływ na jakość dokumentacji projektowej)
słabo (niedostateczny wpływ na jakość dokumentacji projektowej)
bardzo słabo (błędnie podjęta decyzja o wyborze osoby z zewnątrz)
ciężko określić
5. Czy następnym razem będzie się wnioskodawca wspierał formami z zewnątrz organizacji?
tak
nie, jaka jest tego przyczyna?
………………………………………………………………………………………………………
………………………………………………………………………………………………………
Opinia respondenta na temat kryteriów formalnych
6. Jak ocenia Pan/ Pani kryteria formalne, które musi spełnić wnioskodawca?
81
bardzo trudne
trudne
przeciętne
niskie
ciężko określić
7. Co stanowiło największy problem według Pana/ Pani w spełnieniu kryteriów formalnych?
(zaczynając od kryterium najbardziej wymagającego)?
1)
…………………………………………………………………………………
2)
…………………………………………………………………………………
3)
…………………………………………………………………………………
8. Czy kryteria formalne są dla beneficjenta zrozumiałe i jednoznacznie zapisane?
tak
………………………………………………………………………………………………………
………………………………………………………………………………………………………
9. Czy charakter kryterium na ocenie formalnej podlegający ewentualnemu uzupełnieniu (względny/
bezwzględny) został prawidłowo według Pana/ Pani określony?
tak
………………………………………………………………………………………………………
………………………………………………………………………………………………………
10. Czy opracowując dokumentację projektową wnioskodawca zapoznał się z zapisami dokumentu
„Linia demarkacyjna pomiędzy Programami Operacyjnymi Polityki Spójności, Wspólnej Polityki Rolnej
i Wspólnej Polityki Rybackiej, przyjęta przez KK NSRO 2007-2013”?
tak pyt. 11
nie pyt. 12
11. Jeżeli tak, to czy zapisy linii demarkacyjnej są według Pana/ Pani zapisane w sposób nie budzący
wątpliwości?
tak, są jednoznaczne
nie, mam wątpliwości do (przykład wątpliwości):
………………………………………………………………………………………………………
………………………………………………………………………………………………………
12. Co Pana/ Pani zdaniem można zmienić w zapisach kryteriów oceny formalnej (np. dodatkowe
kryteria, jakie)?
………………………………………………………………………………………………………
………………………………………………………………………………………………………
………………………………………………………………………………………………………
13. Co Pana/ Pani zdaniem należy wprowadzić celem usprawnienia oceny formalnej (np. zmiana
procedury, sposobu postępowania itp.)?
………………………………………………………………………………………………………
………………………………………………………………………………………………………
………………………………………………………………………………………………………
82
Opinia respondenta na temat kryteriów merytorycznych I i II stopnia
14. Czy wnioskodawcy było łatwo wpisać swój pomysł rozwojowy w zapisy dokumentów
strategicznych (stanowiących uzupełnienie wymagań projektowych)?
tak
………………………………………………………………………………………………………
………………………………………………………………………………………………………
15. Czy wnioskodawca modyfikował swój projekt po to, aby wpisywał się w założenia dokumentów
strategicznych (stanowiących uzupełnienie wymagań projektowych)?
tak
………………………………………………………………………………………………………
………………………………………………………………………………………………………
16. Czy przyjęte kryteria oceny merytorycznej według Pana/ Pani opinii wpływają na uprzywilejowanie
określonej grupy wnioskodawców?
tak, jakiej grupy i dlaczego?
nie
………………………………………………………………………………………………………
………………………………………………………………………………………………………
właściwe?
tak
nie, dlaczego?
………………………………………………………………………………………………………
………………………………………………………………………………………………………
18. Czy przyjęte wielkości punktowe zostały określone na poziomie pozwalającym przejść tylko
odpowiednim wnioskom?
tak
nie, dlaczego?
………………………………………………………………………………………………………
………………………………………………………………………………………………………
Opinia generalna respondenta na temat systemu oceny i kryteriów oceny
19. Które z etapów oceny są według Pana/ Pani trudniejsze do spełnienia? (proszę o wstawienie
znaku większości „<” lub mniejszości „>” w zależności od zależności)
Ocena formalna
……
Ocena merytoryczna I
Ocena formalna
……
Ocena merytoryczna II
……
20. Czy przyjęte kryteria oceny są obiektywne (mają za zadanie realizację określonych celów działań/
poddziałań)?
tak
nie, dlaczego?
………………………………………………………………………………………………………
………………………………………………………………………………………………………
21. Czy przyjęte kryteria oceny są sformułowane w sposób precyzyjny (nie wymagają dodatkowych
83
interpretacji i wyjaśnień)?
tak
nie, dlaczego?
………………………………………………………………………………………………………
………………………………………………………………………………………………………
22. Czy obowiązujące kryteria oceny są spójne wewnętrznie (nie są wewnętrznie sprzeczne)?
tak
nie, dlaczego?
………………………………………………………………………………………………………
………………………………………………………………………………………………………
23. Czy Pana/Pani zdaniem obecnie obowiązujący system wyboru projektów (podział oceny na część
formalną, merytoryczną I stopnia, II stopnia) pozwoli wyłonić najlepsze projekty?
tak
nie, dlaczego?
………………………………………………………………………………………………………
………………………………………………………………………………………………………
24. Co Pana/ Pani zdaniem stanowi największy atut obowiązującego systemu oceny projektów, a co
jest jego największą słabością („piętą Achillesa”)?
………………………………………………………………………………………………………
………………………………………………………………………………………………………
………………………………………………………………………………………………………
25. Czy Pana/Pani zdaniem przyjęty system wyboru projektów zachęca do ubiegania się o wsparcie
w ramach RPO WO 2007- 2013?
tak
nie, dlaczego?
………………………………………………………………………………………………………
………………………………………………………………………………………………………
84
KWESTIONARIUSZ WYWIADU DLA EKSPERTÓW BIORĄCYCH UDZIAŁ W
OPRACOWANIU KRYTERIÓW OCENY PROJEKTÓW ORAZ CZŁONKÓW
KOMITETU MONITORUJĄCEGO RPO WO 2007-2013
1. Czy brał Pan/ Pani udział w opracowaniu bądź opiniowaniu kryteriów oceny?
Rola badanego w opracowaniu kryteriów oceny. Przebieg prac ekspertów
2. Proszę wskazać, jaką rolę pełnił Pan/ Pani w opracowaniu kryteriów oceny?
opracowujący kryteria
opiniujący kryteria
3. Jak postrzega Pan/ Pani swoje zaangażowanie w kontekście całości prac nad opracowaniem
kryteriów oceny wniosków składanych w ramach procedury konkursowej?
bardzo duże
duże
przeciętne
niskie, dlaczego? …………………………………………………………………………………
4. Czy sposób kreowania kryteriów w zespole roboczym uważa Pan/ Pani za właściwy?
tak, wszystko odbyło się właściwie
nie, mam wątpliwości – uzasadnienie
………………………………………………………………………………………………………
………………………………………………………………………………………………………
5. Czy zespół roboczy mógł korzystać także z pomocy ekspertów i opinii z zewnątrz?
tak, mógł korzystać – z jakich?
nie
………………………………………………………………………………………………………
6. Czy decyzje odnośnie kryteriów oceny były podejmowane w sposób demokratyczny?
tak, większością głosów
nie, inny - jaki?
………………………………………………………………………………………………………
7. Czy uważa Pan/ Pani, że przyjęty sposób podejmowania decyzji był odpowiedni?
tak, był odpowiedni
nie, mam wątpliwości - uzasadnienie
………………………………………………………………………………………………………
8. Czy dostrzega Pan/ Pani błędy/ uchybienia w procedurze uchwalania kryteriów oceny?
tak, mam wątpliwości
nie jest kompletna,
9. Co uważa Pan/ Pani, że należy zmienić w procedurze tworzenia kryteriów oceny wniosków?
………………………………………………………………..............................................……
………………………………………………………………………………………………………
………………………………………………………………………………………………………
Opinia badanych na temat kryteriów formalnych
10. Czy uważa Pan/ Pani, że przyjęty charakter kryterium (względny/ bezwzględny) został właściwie
określony w ramach oceny formalnej?
tak, jest odpowiedni
nie, mam wątpliwości do (wskazać zauważone wątpliwości):
………………………………………………………………………………………………………
11. Czy zapisy linii demarkacyjnej są według Pana/ Pani zapisane w sposób nie budzący wątpliwości?
nie, mam wątpliwości do (wskazać przykład wątpliwości):
………………………………………………………………………………………………………
12. W jakim stopniu według Pana/ Pani przyjęte kryteria formalne są zgodne z zapisami linii
85
demarkacyjnej?
nie mam zdania
13. Na czym polegają ewentualne niezgodności kryteriów oceny w związku z zapisami linii
demarkacyjnej?
………………………………………………………………………………………………………
………………………………………………………………………………………………………
………………………………………………………………………………………………………
14. Czy przyjęte zapisy kryteriów oceny formalnej są kompletne i pozwalają na prawidłową weryfikację
wnioskodawców?
tak, są kompletne
………………………………………………………………………………………………………
………………………………………………………………………………………………………
15. Co Pana/ Pani zdaniem można wprowadzić do kryteriów oceny formalnej (np. dodatkowe kryteria,
jakie)?
………………………………………………………………………………………………………
………………………………………………………………………………………………………
………………………………………………………………………………………………………
………………………………………………………………………………………………………
………………………………………………………………………………………………………
………………………………………………………………………………………………………
17. Czym kierował się Pan/ Pani w trakcie opracowania kryteriów oceny merytorycznej wniosków?
(można wybrać więcej jak 1 opcję) Cele, jakiego poziomu miały największe znaczenie:
działania/ poddziałania
priorytetu
programu
regionalnych strategii (w tym strategii branżowych)
strategii na poziomie kraju
nie mam zdania/ nie dotyczy
18. W jakim stopniu Pana/ Pani zdaniem sformułowane kryteria oceny merytorycznej są zgodne z
celami przewidzianymi dla działania/ poddziałania?
nie mam zdania
19. Jeżeli zauważa Pan/ Pani jakieś odstępstwa w zgodności kryteriów oceny merytorycznej od celów
działań/ poddziałań to, czego one dotyczyły?
86
………………………………………………………………………………………………………
………………………………………………………………………………………………………
………………………………………………………………………………………………………
względem realizacji celów działania/ poddziałania?
tak, pozwalają
………………………………………………………………………………………………………
………………………………………………………………………………………………………
celami przewidzianymi dla priorytetu?
nie mam zdania
priorytetu to, czego one dotyczyły?
………………………………………………………………………………………………………
………………………………………………………………………………………………………
………………………………………………………………………………………………………
względem realizacji celów priorytetu?
tak, pozwalają na skuteczny wybór
………………………………………………………………………………………………………
………………………………………………………………………………………………………
nie
………………………………………………………………………………………………………
………………………………………………………………………………………………………
25. Proszę wskazać trzy główne czynniki, którymi kierował się Pan/ Pani w trakcie ustalania wielkości
wagowych dla kryteriów oceny merytorycznej poziomu drugiego?
1) ……………………………………………………………………………………………………
2) ……………………………………………………………………………………………………
3) ……………………………………………………………………………………………………
właściwe?
tak
………………………………………………………………………………………………………
………………………………………………………………………………………………………
87
tak
………………………………………………………………………………………………………
………………………………………………………………………………………………………
28. Które z etapów oceny ma większe według Pana/ Pani znaczenie dla spełnienie celów działania/
poddziałania? (proszę o wstawienie znaku większości „<” lub mniejszości „>” w zależności od poziomu
znaczenia)
Ocena formalna
……
Ocena formalna
……
……
29. Czy przyjęte kryteria oceny są obiektywne (mają za zadanie realizację określonych celów)?
tak, są obiektywne
………………………………………………………………………………………………………
………………………………………………………………………………………………………
tak, są precyzyjne
………………………………………………………………………………………………………
………………………………………………………………………………………………………
tak
………………………………………………………………………………………………………
………………………………………………………………………………………………………
tak
………………………………………………………………………………………………………
………………………………………………………………………………………………………
………………………………………………………………………………………………………
………………………………………………………………………………………………………
………………………………………………………………………………………………………
34. Czy Pana/Pani zdaniem przyjęty system wyboru projektów zachęca do ubiegania się o wsparcie w
ramach RPO WO 2007- 2013?
tak
nie, dlaczego?
………………………………………………………………………………………………………
………………………………………………………………………………………………………
88
KWESTIONARIUSZ WYWIADU DLA CZŁONKÓW KOMISJI KONKURSOWEJ
OCENIAJĄCEJ WNIOSKI O DOFINANSOWANIE PROJEKTÓW ZŁOŻONYCH W
RAMACH RPO WO 2007-2013
1. Czy brał Pan/ Pani udział w ocenie formalnej projektów?
Opinia respondenta na temat kryteriów formalnych
2. Proszę podać szacunkową liczbę wniosków, które zostały ocenione przez Pana/ Panią w trakcie
oceny formalnej?
……… wniosków
3. Czy oceniając wnioski na ocenie formalnej miał Pan/ Pani wątpliwość względem zapisów danego
kryterium?
tak
nie
4. Jeżeli tak, to jakiego rodzaju były to wątpliwości?
czytelność, jasność wymagań
jednoznaczność charakteru
kryterium (względny/ bezwzględny)
inne, jakie: ………………………………………………………………………
5. Jaki charakter kryterium Pana/ Pani zdaniem miał większy wpływ na selekcję wniosków w ocenie
formalnej?
kryterium bezwzględne
kryterium względne
6. Czy uważa Pan/ Pani, że przyjęty charakter kryterium (względny/ bezwzględny) został właściwie
określony?
tak,
nie, mam wątpliwości do (zauważone wątpliwości):
………………………………………………………………………………………………………
7. Proszę wymienić trzy najczęstsze Pana/ Pani zdaniem powody odrzucenia wniosków na etapie
oceny formalnej (zaczynając od występującego najczęściej)?
1)
…………………………………………………………………………………
2)
…………………………………………………………………………………
3)
…………………………………………………………………………………
8. Jeżeli tak, to czy zapisy linii demarkacyjnej są według Pana/ Pani zapisane w sposób nie budzący
wątpliwości?
nie, mam wątpliwości do (przykład wątpliwości):
………………………………………………………………………………………………………
9. W jakim stopniu według Pana/ Pani przyjęte kryteria formalne są zgodne z zapisami linii
demarkacyjnej?
nie mam zdania
10. Na czym polegają ewentualne niezgodności w kryteriów oceny z zapisami linii demarkacyjnej?
………………………………………………………………………………………………………
………………………………………………………………………………………………………
89
………………………………………………………………………………………
11. Czy przyjęte zapisy kryteriów oceny formalnej są kompletne i pozwalają na prawidłową weryfikację
wnioskodawców na tym etapie?
tak
………………………………………………………………………………………………………
………………………………………………………………………………………………………
12. Co Pana/ Pani zdaniem można wprowadzić do kryteriów oceny formalnej (np. dodatkowe kryteria,
jakie)?
………………………………………………………………………………………………………
………………………………………………………………………………………………………
………………………………………………………………………………………………………
………………………………………………………………………………………………………
………………………………………………………………………………………………………
………………………………………………………………………………………………………
oceny merytorycznej?
I stopnia
- ……… wniosków
II stopnia
nie dotyczy, pyt. 23
15. Proszę wymienić trzy najczęstsze Pana/ Pani zdaniem błędy popełniane przez wnioskodawców na
etapie oceny merytorycznej I stopnia (zaczynając od występującego najczęściej)?
1)
…………………………………………………………………………………
2)
…………………………………………………………………………………
3)
…………………………………………………………………………………
nie mam zdania
………………………………………………………………………………………………………
………………………………………………………………………………………………………
………………………………………………………………………………………………………
tak
90
………………………………………………………………………………………………………
………………………………………………………………………………………………………
19. Które z celów działania/ poddziałania według Pana/ Pani będzie najtrudniej osiągnąć w ramach
………………………………………………………………………………………………………
………………………………………………………………………………………………………
………………………………………………………………………………………………………
nie
………………………………………………………………………………………………………
………………………………………………………………………………………………………
właściwe?
tak
nie, dlaczego?
………………………………………………………………………………………………………
………………………………………………………………………………………………………
tak
nie, dlaczego?
………………………………………………………………………………………………………
………………………………………………………………………………………………………
23. Które z etapów oceny ma większe według Pana/ Pani znaczenie dla spełnienie celów działania/
poddziałania? (proszę o wstawienie znaku większości „<” lub mniejszości „>” w zależności od poziomu
znaczenia)
Ocena formalna
……
Ocena formalna
……
……
poddziałań)?
tak
nie, dlaczego?
………………………………………………………………………………………………………
………………………………………………………………………………………………………
tak
nie, dlaczego?
………………………………………………………………………………………………………
91
………………………………………………………………………………………………………
tak
nie, dlaczego?
………………………………………………………………………………………………………
………………………………………………………………………………………………………
tak
nie, dlaczego?
………………………………………………………………………………………………………
………………………………………………………………………………………………………
………………………………………………………………………………………………………
………………………………………………………………………………………………………
………………………………………………………………………………………………………
tak
nie, dlaczego?
………………………………………………………………………………………………………
………………………………………………………………………………………………………
92
POWTÓRNY KWESTIONARIUSZ WYWIADU DLA CZŁONKÓW KOMISJI
KONKURSOWEJ OCENIAJĄCEJ WNIOSKI O DOFINANSOWANIE PROJEKTÓW
ZŁOŻONYCH W RAMACH RPO WO 2007-2013
BADANIE UZUPEŁNIAJĄCE
I stopnia
II stopnia
nie dotyczy, pyt. 23
2. Proszę wymienić trzy najczęstsze Pana/ Pani zdaniem błędy popełniane przez wnioskodawców na
etapie oceny merytorycznej I stopnia (zaczynając od występującego najczęściej)?
1)
…………………………………………………………………………………
2)
…………………………………………………………………………………
3)
…………………………………………………………………………………
nie mam zdania
………………………………………………………………………………………………………
………………………………………………………………………………………………………
………………………………………………………………………………………………………
tak
………………………………………………………………………………………………………
………………………………………………………………………………………………………
6. Które z celów działania/ poddziałania według Pana/ Pani będzie najtrudniej osiągnąć w ramach
………………………………………………………………………………………………………
………………………………………………………………………………………………………
………………………………………………………………………………………………………
7. Czy przyjęte kryteria oceny merytorycznej zostały określone właściwie i nie wpływają według Pana/
Pani na uprzywilejowanie określonej grupy wnioskodawców (odpowiedź uzasadnij)?
tak
nie
………………………………………………………………………………………………………
………………………………………………………………………………………………………
93
właściwe?
tak
………………………………………………………………………………………………………
………………………………………………………………………………………………………
wnioskom wskazanym w RPO?
tak
………………………………………………………………………………………………………
………………………………………………………………………………………………………
poddziałań)?
tak
………………………………………………………………………………………………………
………………………………………………………………………………………………………
tak
………………………………………………………………………………………………………
………………………………………………………………………………………………………
tak
………………………………………………………………………………………………………
………………………………………………………………………………………………………
tak
………………………………………………………………………………………………………
………………………………………………………………………………………………………
………………………………………………………………………………………………………
………………………………………………………………………………………………………
………………………………………………………………………………………………………
tak
………………………………………………………………………………………………………
………………………………………………………………………………………………………
94
Aneks 5. Lista dokumentów i publikacji wykorzystanych przy
realizacji badania
1. Odnoszące się do kryteriów oceny projektów, w szczególności:
• Kryteria wyboru projektów (wyboru finansowanych operacji) w ramach RPO WO 20072013, załącznik nr 5 – Szczegółowego opisu Osi priotytetowych Regionalnego Programu
(wersja nr 4 lipiec 2008) Operacyjnego Województwa Opolskiego na lata 2007-2013
(wersja lipiec 2008)
• Protokoły z posiedzeń Komitetu Monitorującego RPO WO 2007-2013:
o Protokół z I posiedzenia z dnia 7 listopada 2007,
o Protokół z II posiedzenia z dnia 5 grudnia 2007,
o Protokół z III posiedzenia z dnia 30 stycznia 2008,
o Protokół z IV posiedzenia z dnia 27 lutego 2008,
o Protokół z V posiedzenia z dnia 27 marca 2008,
o Protokół z VI posiedzenia z dnia 16 czerwca 2008,
• Vademecum dla beneficjentów (tom I, II, III)- wersja nr 3 lipiec 2008),
• Interpretacje i komentarze Instytucji Zarządzającej RPO WO 2007- 2013 dot. zapisów
Szczegółowego opisu Osi priotytetowych Regionalnego Programu Operacyjnego
Województwa Opolskiego na lata 2007-2013
• Listy sprawdzające i wzory dokumentów wykorzystywane do realizacji Regionalnego
Programu Operacyjnego Województwa Opolskiego na lata 2007-2013 (czerwiec 2008)
2. Odnoszące się do Regionalnego Programu Operacyjnego Województwa Opolskiego 20072013, w szczególności:
• RPO WO 2007- 2013,
• Szczegółowy opis Osi priotytetowych Regionalnego Programu Operacyjnego Województwa
Opolskiego na lata 2007-2013 wraz z załącznikami (wersja lipiec 2008),
• Prognoza oddziaływania RPO WO 2007- 2013 na środowisko
• Ocena efektu makroekonomicznego RPO WO 2007-2013 wg modelu HERMIN
• Ocena efektu makroekonomicznego RPO WO 2007-2013 wg modelu MaMoR2
• Badań i analiz ewaluacyjnych dotychczas zrealizowanych:
o Ocena szacunkowa projektu programu operacyjnego na lata 2007-2013
Województwa Opolskiego- raport listopad 2006
o Ocena szacunkowa projektu programu operacyjnego na lata 2007-2013
Województwa Opolskiego- raport luty 2007 (suplement),
3. Odnoszące się do dokumentów strategicznych poziomu regionu, w szczególności:
• Strategia Rozwoju Województwa Opolskiego (aktualizacja 2005)
• Regionalna Strategia Innowacji Województwa Opolskiego na lata 2004 -2013
• Plan zagospodarowania przestrzennego województwa opolskiego
• Studium rozwoju systemów energetycznych w województwie opolskim do 2015 roku
• Program Ochrony Środowiska Województwa Opolskiego na lata 2007-2010 z
perspektywą do roku 2014
• Strategia Ochrony Zdrowia dla Województwa Opolskiego na lata 2006-2013
• Wojewódzka strategia integracji i polityki społecznej 2007- 2009
• Wieloletni plan działań na rzecz zatrudnienia do 2015 roku.
4. Odnoszące się do głównych dokumentów strategicznych poziomu kraju, w szczególności:
• Narodowe Strategiczne Ramy Odniesienia
• Linia demarkacyjna pomiędzy Programami Operacyjnymi Polityki Spójności, Wspólnej
Polityki Rolnej i Wspólnej Polityki Rybackiej, przyjęta przez KK NSRO 2007-2013 (wersja
4, lipiec 2008)
• Narodowa Strategia Rozwoju Regionalnego (2007- 2013),
• Ustawa z 6 grudnia 2006 r. o zasadach prowadzenia polityki rozwoju,
• Strategia Rozwoju Kraju 2007-2015, przyjęta przez Radę Ministrów w dniu 29 listopada
2006 r.,
5. Odnoszące się do dokumentów strategicznych poziomu wspólnoty.
• Rozporządzenie Rady (WE) nr 1083/2006 z dnia 11 lipca 2006 r. ustanawiające przepisy
ogólne dotyczące Europejskiego Funduszu Rozwoju Regionalnego, Europejskiego
95
Funduszu Społecznego oraz Funduszu Spójności i uchylające rozporządzenie (WE) nr
1260/1999
• Rozporządzenie (WE) nr 1080/2006 Parlamentu Europejskiego i Rady z dnia 5 lipca 2006
r. w sprawie Europejskiego Funduszu Rozwoju Regionalnego i uchylające rozporządzenie
(WE) nr 1783/1999
• Polityka spójności wspierająca wzrost gospodarczy i zatrudnienie: Strategiczne Wytyczne
Wspólnoty, 2007-2013 (Dz. U. UE L 291 z dnia 21 października 2006 r.)
6. Pozostałe opracowania powyżej nie wskazane:
• Strategia Rozwoju Obszarów Wiejskich i Rolnictwa na lata 2007- 2013 (z elementami
prognozy do roku 2020)
• Narodowa Strategia Integracji Społecznej
• Polityka naukowa, naukowo-techniczna i innowacyjna państwa do 2020
• Krajowa Strategia Zatrudnienia na lata 2007-2013
• Polityka energetyczna Polski do 2025 roku
• Strategii Polityki Ludnościowej
• Strategii Wzrostu Konkurencyjności Gospodarki
• Kierunki zwiększania innowacyjności gospodarki na lata 2007- 2020
• Strategia Rozwoju Edukacji
• Narodowa Strategia Rozwoju Kultury na lata 2004-2013
• Strategie Ochrony Środowiska
• Strategia Rozwoju Transportu na lata 2007-2013
• Program Konwergencji
• Koncepcja Przestrzennego Zagospodarowania Kraju
• Strategia Rozwoju Turystyki na lata 2007-2013
• Strategia Rozwoju Ochrony Zdrowia w Polsce na lata 2007-2013
7. Strony internetowe:
• Regionalnego Programu Operacyjnego Województwa Opolskiego na lata 2007- 2013
(http://rpo.opolskie.pl)
• Urzędu Marszałkowskiego Województwa Opolskiego (http://umwo.opole.pl)
• Opolskiego Centrum Rozwoju Gospodarki (http://www.ocrg.opolskie.pl)
• Ministerstwa Rozwoju Regionalnego (www.mrr.gov.pl)
96

Ocena systemu kryteriów wyboru projektów (finansowanych operacji

Transkrypt

Podobne dokumenty

Wyniki konkursu - Samorząd Województwa Opolskiego

MOP M³yński Staw - Samorząd Województwa Opolskiego

Ogłoszenie o naborze kandydatów na ekspertów

tutaj

Inwentaryzacje przyrodnicze kluczem do edukacji ekologicznej i

1 ZARZĄD WOJEWÓDZTWA OPOLSKIEGO JAKO INSTYTUCJA