docOcena systemu wyboru projektów w PO WER wnioski z analizy
download 
Reklamacja Transkrypt
Ocena systemu wyboru projektów w PO WER wnioski z analizy
Ocena systemu wyboru projektów w PO WER wnioski z analizy wewnętrznej pierwszych doświadczeń we wdrażaniu Programu Niniejsze opracowanie powstało z myślą o przeprowadzeniu analizy i zebraniu w jednym miejscu różnych opinii, komentarzy i doświadczeń z realizacji pierwszych konkursów przeprowadzonych w ramach PO WER. Dokument powstał w okresie wrzesień – listopad 2015 r. i bazuje na doświadczeniach IZ oraz wybranych PO WER, które przeprowadziły już pierwsze nabory konkursowe w Programie. Poniższe wnioski i ustalenia nie przedstawiają stanowiska Instytucji Zarządzającej PO WER ale stanowią niezależną opinię autorów opracowania, przygotowaną na podstawie: wywiadów częściowo ustrukturyzowanych, przeprowadzonych z: • przedstawicielami instytucji pośredniczących (osobiście i telefonicznie), • przedstawicielami kilku wybranych w sposób celowy beneficjentów, którzy złożyli swoje wnioski w odpowiedzi na konkursy ogłoszone w PO WER • przedstawicielami IZ PO WER analizy dokumentów programowych, regulaminów konkursów oraz FAQ dyskusji i propozycji przesyłanych przez członków Grupy Sterującej Ewaluacją w ramach PO WER obserwacji uczestniczącej. Dokument ten nie ma w żaden sposób charakteru wiążącego ale stanowił będzie materiał do dyskusji o ewentualnych kierunkach modyfikacji systemu wdrażania PO WER. Wykaz używanych skrótów: WNOD – wniosek o dofinansowanie KOM – karta oceny merytorycznej IOK – instytucja organizującą konkurs KOP – komisja oceny projektów SOWA – system obsługi wniosków o dofinansowanie Wytyczne – wytyczne wyboru projektów 2014-2020 Opracowanie: Przemysław Herman Paulina Tarsa 1 1. Przygotowanie konkursu Wnioskodawcy nie zawsze właściwie rozumieją ideę i cel danego konkursu. Jest to konsekwencją zarówno precyzji zapisów regulaminów ale także stosowanej polityki informacyjnej czy aktywności własnej wnioskodawców. Dotychczas zdecydowanie najlepiej udaje się opisywanie we WNOD elementów analogicznych jak w PO KL - co pokazuje jak mocno tamten program jest zakorzeniony w świadomości ale też powoduje, że sytuacja ta będzie się samoczynnie wyrównywać. Dziś jeszcze wnioskodawcy nie byli przygotowani na taką zmianę systemu wyboru i realizacji projektów i potraktowali nowe konkursy w PO WER dokładnie tak jak te z PO KL – składając podobne jak w PO KL wnioski, nieco tylko dostosowane do nowych wymagań konkursowych. Jest to jednak również kwestia, która rozwiąże się samoistnie wraz z rozwojem wdrażania PO WER i „przyzwyczajeniem się” beneficjentów do nowego programu. Niemniej jednak, z punktu widzenia przygotowania procedury konkursowej ujawniają się następujące kwestie warte uwagi: • brakuje jednego i pewnego źródła informacji dla wnioskodawców na temat nie tylko danego konkursu ale generalnie procesu wyboru projektów w PO WER – z reguły najpewniejszym źródłem jest IOK ale są kwestie leżące na styku różnych kompetencji np. help desk do systemu SOWA vs. IOK vs. PIFE. W zależności od charakteru pytania wnioskodawca jest czasem odsyłany od jednego podmiotu do kolejnego. Natomiast nie ulega wątpliwości że zdecydowanie dla większości już zaangażowanych wnioskodawców najmniej użyteczną rolę w systemie pełnią PIFE, które udzielają co najwyżej informacji ogólnych o zakresie wsparcia danego programu ale nie są w stanie udzielić informacji o konkretnym konkursie i jego wymaganiach – przez co użyteczność tego typu informacji jest dla wnioskodawców niewielka. I to raczej nie ulegnie zmianie ponieważ rolą PIFE jest raczej informowanie tych podmiotów i osób, które dotychczas zupełnie nie miały do czynienia z funduszami europejskimi. • Zdecydowanie dobrą praktyką są spotkania z wnioskodawcami, przeprowadzane po ogłoszeniu regulaminu konkursu ale przed rozpoczęciem naboru projektów. Warunkiem udziału w takich spotkaniach powinno być jednak zapoznanie się z regulaminem i instrukcją wypełniania wniosku, a samo spotkanie powinno być prowadzone w oparciu o te 2 dokumenty (sprofilowane pod kątem konkretnego konkursu) oraz o treść kryteriów wyboru projektów. Aby te spotkania spowodowały rzeczywiście lepszą jakość składanych wniosków nie powinny być miejscem tłumaczenia podstaw funkcjonowania systemu wdrażania EFS (od tego są PIFE albo ogólne spotkania informacyjne organizowane przez IOK w ramach pomocy technicznej) ale powinny skupiać się na wyjaśnieniu tego jakie mamy oczekiwania w stosunku do tego konkursu, jakie są przyjęte kryteria, co one oznaczają, jak je wspólnie powinniśmy rozumieć, jakie elementy wniosku będą brane pod uwagę przy ocenie konkretnego kryterium, a także co w konkretnych polach we wniosku o dofinansowanie, w przypadku tego konkretnego konkursu należy umieścić w związku z tymi kryteriami. Istotne jest aby – przynajmniej kierunkowo wskazać wnioskodawcom co będzie oceniane w ramach tych kryteriów, jakie elementy i starać się - o ile to możliwe - wskazać nawet to w jakich sytuacjach ocena będzie pozytywna a w jakich negatywna. . Oczywiście nie determinuje to rzeczywistej oceny, która zawsze będzie dokonywana przez ekspertów. Dotyczy to nie tylko kryteriów szczegółowych ale także 2 ogólnych – ponieważ nie ma nigdzie dokumentu tłumaczącego co i jak jest oceniane w tych kryteriach ogólnych (instrukcja nie jest przełożeniem kryteriów wyboru projektów). Spotkania tego typu powinny mieć zatem również charakter quasi warsztatowy – z elementami doradztwa dla potencjalnych wnioskodawców. Oczywiście w związku z tym należy zapewnić równy dostęp do udziału w nich potencjalnym wnioskodawcom. W spotkaniu obowiązkowo powinni brać udział również wszyscy eksperci oceniający później wnioski. Zdecydowanie dobrą praktyką jest także infolinia lub skrzynka mailowa dedykowana danemu konkursowi, gdzie na pytania odpowiada bezpośrednio osoba, która osobiście pisała regulamin danego konkursu. Zaletą pierwszego rozwiązania jest możliwość zadania każdego pytania przez beneficjenta i możliwość „dopytania” lub wyjaśnienia konkretnej kwestii bezpośrednio w rozmowie, natomiast nie zawsze osoba z infolinii jest w stanie udzielać informacji kompleksowej, często wymaga to konsultacji z innymi ekspertami/pracownikami, gdzie lepiej sprawdzają się wtedy odpowiedzi e-mailowe. Pewną formułą łączącą zalety obu technik komunikacji jest stosowanie czatu internetowego jako formy kontaktu pomiędzy IOK a wnioskodawcami - na wzór czatów realizowanych przez firmy komercyjne (np. telekomunikacyjne), z tym tylko że w znacznie bardziej ograniczonym zakresie np. przez 2 godziny dziennie przez kilka dni lub w wybranych dniach tygodnia. • Czas na przygotowanie wniosków przez beneficjentów jest obecnie wystarczający - zarówno wg IOK jak i samych beneficjentów. Bardzo dobrze oceniana jest procedura uprzedniego ogłoszenia o konkursie a następnie dopiero rozpoczynanie naboru wniosków. Problematyczne jest jedynie w niektórych przypadkach wydawanie interpretacji i odpowiedzi na pytania w terminie tuż przed zamknięciem procedury naboru. Powoduje to że ci wnioskodawcy, którzy już zdążyli złożyć wniosek ale nie uwzględnili nowych rozwiązań bądź interpretacji IOK muszą wycofywać złożony wniosek i składać go ponownie. Dla zapewnienia równego traktowania warto zatem być może wprowadzić rozwiązania podobne do tych z PZP, gdzie po upływie połowy czasu przeznaczonego na składanie ofert nie publikuje się (można ale nie trzeba) odpowiedzi na pytania oferentów. Aby jednak uwzględnić fakt, że większość wnioskodawców dopytuje o szczegóły w ostatnim możliwym momencie, należałoby ten okres nieco skrócić (do kilku dni), a najlepiej indywidualnie w każdym konkursie dookreślać w regulaminie – w zależności od potrzeb. Jakościowa analiza treści odpowiedzi na pytania (tzw. FAQ) zadawane przez potencjalnych beneficjentów Programu (bezpośrednio przesyłanych do IOK, jak również formułowanych w trakcie spotkań informacyjnych) pokazała, że IOK w większości dostarczają wiedzy adekwatnej do zgłaszanych potrzeb. Odpowiedzi IOK dotyczą w znacznej większości problemów przedstawionych / opisanych w pytaniach wnioskodawców, są niemal zawsze kompletne (nie pozostawiają kwestii nie rozstrzygniętych), a jednocześnie nie są „przeładowane” niepotrzebną treścią. Pojedynczym przykładem braku jednoznacznej i adekwatnej odpowiedzi na zadawane pytania było np. przedstawienie katalogu podmiotów które mogą być wnioskodawcą jako odpowiedź na pytanie: Czy powiat jako jednostka samorządu terytorialnego może być wnioskodawcą w ramach niniejszego konkursu biorąc pod uwagę, iż prowadzi ośrodki wymienione jako potencjalnych wnioskodawców? W udzielonej odpowiedzi nie ma w ogóle mowy o powiecie, a więc nie jest to odpowiedź wprost na zadane pytanie. Na szczęście tego typu sytuacje są w dotychczasowych odpowiedziach raczej rzadko spotykane. Pewnym „zabiegiem” stosowanym przez niektóre IOK jest natomiast odsyłanie w odpowiedziach do wytycznych MIiR i innych dokumentów, co może w pewnych sytuacjach stanowić o braku precyzji w udzielaniu odpowiedzi i może być uznane za mankament. Przykładem tego typu 3 sytuacji jest odpowiedź na pytanie: Czy grupę docelową mogą stanowić jedynie osoby niepełnosprawne? Jako odpowiedź podano: "Uczestnikami projektu mogą być osoby niepełnosprawne, ale muszą jednocześnie należeć do kategorii NEET i do ww. grup docelowych." W tym wypadku w pytaniu nie chodzi jednak o to czy w ogóle osoby niepełnosprawne mogą być uczestnikami, ale czy jedynie osoby z tej grupy docelowej mogą nimi być. Inny przykład to odpowiedź na pytanie: Czy są przepisy regulujące zasady doboru partnerów w projekcie? Na to pytanie IOK odpowiada w sposób dość ogólny, nie gwarantujący pełnej pomocy: "Podmioty zobowiązane do stosowania Pzp dobierają partnerów na zasadach przyjętych w ustawie wdrożeniowej (art. 33, ust. 2). Dla innych podmiotów ograniczenie w doborze partnerów dotyczy powiązań i zostało przedstawione w SZOOP." Jednak warto podkreślić, że tego typu przypadki należą do rzadkości i co do zasady FAQ spełniają swoją rolę. 2. Instrukcja wypełniania wniosku o dofinansowanie. Zebrane doświadczenia wskazują, że rola tego dokumentu zdecydowanie powinna być lepiej wykorzystana. Generalnie jest to dokument, w którym wskazano w jaki sposób należy wypełnić poszczególne pola wniosku, jednak w praktyce beneficjenci nie zawsze do niej sięgają i nie czytają dokładnie jej zapisów. Część z nich poprzestaje na podpowiedziach w etykietach z WNOD, traktując je jako wystarczające wskazówki do wypełnienia poszczególnych pól (zwłaszcza kiedy mają już doświadczenie z PO KL). Dla wielu wnioskodawców taka strategia okazała się jednak złudna gdyż zmiany pomiędzy okresami programowania skutkowały także znaczącymi modyfikacjami w zakresie szczegółowości wymaganych informacji w poszczególnych punktach WNOD (co wskazywano w poszczególnych polach instrukcji). Wydaje się jednak że Instrukcja nie do końca dobrze spełnia dziś swoją rolę. Wskazywano, że nie powinna ona być dokumentem uniwersalnym, tak jak ma to miejsce obecnie, ale powinna raczej być modyfikowana pod kątem wymagań każdego konkursu indywidualnie – lub ewentualnie pod katem zapisów niezbędnych dla danej osi priorytetowej lub typu interwencji (np. projekty w konkurach WUP). Zmiany takie leżałyby w gestii poszczególnych IOK każdorazowo przed ogłoszeniem konkursu. Pozwoliłoby to np. wprost wskazać w treści instrukcji, że grupą docelową danego konkursu są NEET czyli osoby w wieku 15 -29 lat itp. a wnioskodawca miałby obowiązek tylko doprecyzować charakterystykę tej grupy docelowej, wskazując np. z jakiego obszaru geograficznego pochodzą uczestnicy projektu itp. W odniesieniu do instrukcji należy również zastanowić się nad: • Ograniczeniem treści etykiet we WNOD do niezbędnego minimum, do zapisów ogólnych, ze wskazaniem w regulaminie konkursu że odpowiednie wskazanie tego co jest oczekiwane w konkretnych polach wniosku znajduje siew Instrukcji (o ile jest ona każdorazowo dostosowana do potrzeb konkursu). • Modyfikacją zapisu w instrukcji (na początku instrukcji) o braku konieczności diagnozowania grup docelowych – wymaga doprecyzowania, że pomimo braku tej konieczności jest niezbędne aby wnioskodawca doprecyzowywał grupę docelową tj. wskazywał kogo konkretnie, z jakimi problemami, z jakiej okolicy obejmie wsparciem. Przepisywanie regulaminu konkursu czy SZOOP w niektórych przypadkach jest niewystarczające do właściwej oceny trafności doboru grupy docelowej. • Wyraźnym wskazywaniem w regulaminach (i być może instrukcji) konieczności podkreślenia wagi kwestii zgodności projektów z zasadą równości szans dla osób niepełnosprawnych. 4 Dotyczy to np. dostosowywania wszystkich produktów projektów do potrzeb osób niepełnosprawnych czy też np. możliwości sfinansowania kosztów racjonalnych usprawnień. Dziś wiedza beneficjentów na ten temat jest mocno ograniczona – m.in. ze względu na nowość rozwiązań zastosowanych w tym zakresie z EFS. • Wskazaniem w instrukcji lub regulaminie konkursu że określone informacje MUSZĄ być umieszczone przez wnioskodawcę w określonym punkcie WNOD. Z punktu widzenia IOK to zdecydowanie usprawni i skróci proces oceny wniosków, ale z pkt widzenia beneficjentów może to stanowić istotne utrudnienie, ponieważ jakiekolwiek (zarówno przypadkowe jak i celowe) umieszczenie zapisów w „niewłaściwym” miejscu WNOD skutkować będzie ich nieuwzględnieniem przez IOK. Problemem też może (ale nie musi) okazać się liczba znaków w określonych polach, która może uniemożliwić wpisanie tam wszystkich wymaganych informacji (np. przy zadaniach). Aby tego ostatniego uniknąć, wymagania postawione przez IOK co do miejsca we WNOD w którym MUSZĄ znaleźć się określone informacje – powinny być realistycznie postawione. Warto także zauważyć, że tego typu rozwiązanie już funkcjonowało w początkach wdrażania PO KL, jednak ze względu na liczne apele ze strony beneficjentów, zgłaszane w ramach akcji „Proste fundusze”, zostało zmienione na funkcjonującą obecnie możliwość wpisywania danej informacji w dowolnym miejscu WNOD. Ponadto, zmiana ta musiałaby wiązać sieze zmianami w procedurze odwoławczej gdzie obecnie jest brana pod uwagę cała treść WNOD i stosowane jest elastyczne podejście. Kwestia tej konkretnej propozycji jest pytaniem o kierunek w którym znacznie usprawnione zostałyby procedury dla jednej ze stron ale utrudnione dla drugiej. 3. Regulamin konkursu Po pierwsze termin jego przygotowania ma dość istotne znaczenie. Niektóre z dotychczasowych konkursów były przygotowywane znacznie później niż kryteria wyboru projektów w nich obowiązujące. W efekcie, kryteria (przygotowywane także pod presją czasu) nie zostały opracowane w odniesieniu do konkretnej, szczegółowo przemyślanej koncepcji interwencji ale raczej do jej ogólnych założeń (określonych w SzOOP). Konkretna koncepcja danego konkursu powstawała zatem dopiero na etapie pisania jego regulaminu – ale wtedy już były zaakceptowane kryteria wyboru wniosków i wobec tego regulamin jest do nich dostosowywany a nie odwrotnie. Powoduje to pewne „skrzywienie” interwencji w kierunku zapewnienia jej zgodności z przyjętymi już kryteriami (co nie jest niczym złym o ile są one wcześniej dobrze przemyślane – razem z koncepcją wdrażania interwencji), co nie zawsze jest tożsame z faktycznymi potrzebami w zakresie merytorycznym danej interwencji (jeśli jej szczegóły są znane dopiero na etapie pisania regulaminu). Możliwe rozwiązania w takiej sytuacji są co najmniej dwa: 1. przyjęcie kryteriów należy poprzedzić przygotowaniem bardziej szczegółowego opisu założeń konkursu (trudno oczekiwać że regulamin już powstanie np. do konkursu który ma być ogłoszony dopiero za pół roku), czyli najpierw opracować jego założenia i dopiero do nich przygotować kryteria wyboru projektów (pozwoli to wybierać projekty zgodne z oczekiwaniami), 2. po przygotowaniu regulaminu należy możliwie szybko (np. w trybie obiegowym) zmienić (o ile jest taka konieczność) kryteria wyboru projektów dla danego konkursu, dostosowując je do rzeczywistych potrzeb (które „ujawniły się” dopiero przy tworzeniu regulaminu). Warto jednak zauważyć, że obydwa rozwiązania mogą wpłynąć na wydłużenie czasu prac nad przygotowaniem konkursu. 5 Po drugie, w tych przypadkach gdzie IOK ma poczucie braku wystarczającej, ściśle eksperckiej wiedzy z dziedziny na którą ogłaszane jest wsparcie, projekt regulaminu, warto byłoby konsultować zarówno z osobami niezaangażowanymi w dany konkurs (ocena spójności i czytelności zapisów, jasności sformułowań, precyzji wymagań itp.) - jak również z potencjalnymi wnioskodawcami i/lub ekspertami z dziedziny której dotyczy konkurs, jeszcze przed jego ogłoszeniem. Pozwoli to uniknąć potencjalnych błędów, o których wiedzą tylko podmioty z danego obszaru/środowiska, a które nie mogły być przewidziane przez osoby przygotowujące regulamin. Podobna praktyka jest stosowana w PO FIO, gdzie przed ogłoszeniem każdego z konkursów prowadzone są zarówno konsultacje społeczne regulaminu i karty oceny wniosku (dla każdego konkursu karta oceny wniosku jest modyfikowana) jak i konsultacje z ekspertami dokonującymi późniejszej oceny formalnej i merytorycznej. Aby zapewnić równy dostęp do wiedzy warto zorganizować spotkanie dla chętnych wnioskodawców lub prosić o nadsyłanie uwag (w trybie roboczym) do projektu regulaminu zamieszczonego na stronie internetowej. Z drugiej strony należy pamiętać, że istnieje takie ryzyko konsultacji z potencjalnymi wnioskodawcami, że będą oni zgłaszać swoje indywidualne (a nie środowiskowe czy branżowe) oczekiwania do tego konkursu i lobbować na rzecz np. dopuszczenia organizacji o określonym potencjale, doświadczeniu itp. Może to spowodować wydłużenie procesu ustalania kształtu regulaminu ale z kolei pozwoli IOK lepiej zrozumieć potrzeby i warunki funkcjonowania potencjalnych wnioskodawców. Warto zauważyć, ze tego typu konsultacje po pierwsze mogą dotyczyć tylko wybranych elementów konkursu, a po drugie nie muszą być ściśle sformalizowane tzn. stopień uwzględnienia zgłaszanych postulatów i sposób przeprowadzenia całej procedury jest w dużym stopniu zależny od samej IOK i pod warunkiem zachowania równego dostępu do informacji nie narzuca dodatkowych obowiązków ale raczej pozwala poszerzyć wiedze z danego zakresu. Być może dobrym rozwiązaniem byłoby przygotowanie przykładowego wzoru regulaminu (ze sprawdzonymi zapisami w części dotyczącej np. kryteriów ogólnych, wymagań określonych w ustawie, kwalifikowalności itp.), który byłby rozwijany/modyfikowany w zależności od potrzeb danego, konkretnego konkursu (podobne rozwiązania są stosowane w przypadku SOPZ w zamówieniach publicznych np. przy ewaluacji). Generalnie nie ma trudności z tworzeniem nowych regulaminów konkursowych – większość IOK podejmując się tego zadania po raz pierwszy opierała się na regulaminach PO KL lub innych IOK, a także dokumenty IZ w tym zakresie okazały się pomocne. Jedyna rzecz, która okazała się wg niektórych IOK nadmiernym wymaganiem to opisywanie w regulaminie konkursu procedury oceny WNOD. Niektóre IOK potraktowały to zbyt dosłownie umieszczając w regulaminie cały proces oceny - łącznie z opisem czynności jakie wykonują członkowie KOP - przez co całość regulaminu znacznie się wydłużyła (nawet o kilkadziesiąt stron) i stała mało czytelna i przyjazna użytkownikowi. Znacznie lepszą praktyką okazały się tu doświadczenia NCBiRu gdzie te elementy były opisywane na maksymalnie kilku (5-6) stronach. Precyzyjna i pogłębiona wiedza na ten temat nie jest bowiem niezbędna wnioskodawcy. Osobną kwestią pozostaje natomiast język przekazu stosowany w regulaminach konkursu. Nagminne stosowanie ogólnikowych zapisów czy zamienne używanie różnych terminów na określenie tego samego procesu, narzędzia czy zjawiska to jedne z przykładów sytuacji prowadzących do późniejszego niezrozumienia oczekiwań IOK. Należy tego zdecydowanie unikać, podobnie jak budowania skomplikowanych formuł i zdań. Regulamin powinien mieć formę możliwie jak najprostszą (język, zwroty, szyk i poziom złożoności zdań) ale formalną – podobnie jak tworzone są regulaminy i instrukcje powszechnie spotykane w życiu codziennym. Należy unikać języka opisowego, neologizmów, tzw. nowomowy funduszowej, zdań wielokrotnie złożonych, skrótów myślowych itp. 6 Dobrą praktyką jest stosowanie schematów wskazujących np. etapy konkursu lub oceny (choć co do zasady należy unikać umieszczania w regulaminie rzeczy zbędnych, określonych w innych dokumentach – np. opis procesu oceny wniosków o dofinansowanie, informacja o programie operacyjnym itp.). Dobrą praktyką jest natomiast używanie w regulaminie hyperlinków do innych dokumentów - ale tylko ze wskazaniem konkretnych stron w tych dokumentach gdzie można znaleźć szczegółowe informacje na dany temat. Regulamin zdecydowanie powinien być przygotowywany pod nadzorem jednej osoby (ścisła koordynacja) ale do poszczególnych jego części wkład mogą wnosić różne osoby/wydziały. Ważne aby całość była ściśle skoordynowana przez jedną osobę pod względem języka, sposobu narracji, konsekwencji stosowania zwrotów a nawet formatowania. Jednocześnie osoba ta nie zawsze musi znać się na wszystkich elementach procesu wdrażania – stąd powinna ona dopilnować aby właściwe odesłanie do dokumentów (np. wskazanie wszystkich właściwych stron w wytycznych ds. kwalifikowalności wydatków) zostało dokonane przez odpowiednio współpracujące przy tworzeniu regulaminu osoby/wydziały. Co ciekawe, niektórzy beneficjenci (w szczególności ci, którzy jednocześnie oceniają wnioski jako eksperci), wskazują, że są przyzwyczajeni do formalnego brzmienia i języka regulaminów i właściwie nie oczekują ich daleko idącego upraszczania. Zdecydowanie natomiast preferują posiadanie wszystkich najważniejszych informacji dla danego konkursu w jednym miejscu, tak aby nie trzeba było sięgać do dziesiątek dodatkowych dokumentów i szukać w nich konkretnych zapisów. Jest to zresztą również postulat wielu IOK, które przygotowując konkursy przeszukują dziesiątki różnych dokumentów upewniając się czy o niczym nie zapomniano przygotowując regulamin. Do dobrych praktyk przy tworzeniu regulaminu konkursu i przygotowaniu do oceny wniosków należy zatem zaliczyć: • opieranie się na ostatnich regulaminach pod warunkiem ich modyfikacji zgodnie z potrzebami konkursu (analogicznie jak w przypadku SOPZ przy PZP) • weryfikacja projektu regulaminu przez osoby niezaangażowane w jego tworzenie-zarówno ekspertów z tematów, które są przedmiotem konkursu (ocena treści tematyki + kryteria) jak i przez osoby niezwiązane z tematyką lub konkursem (ocena precyzji i jasności zapisów i wymagań wobec wnioskodawców) • Konsultacja treści regulaminu wnioskodawców/ekspertów • Zebranie „na gorąco” najważniejszych wątpliwości beneficjentów do treści regulaminu i innych obserwacji wynikających z ogłoszenia konkursu i opisanie ich celem uwzględnienia w kolejnych konkursach • Spotkanie z członkami KOP przed oceną, określenie spójnych zasad oceny poszczególnych punktów ze wskazaniem co uznajemy, a co nie za spełnienie danego kryterium, a także – ale tylko w przypadku bardzo spójnego charakteru interwencji w danym konkursie (kiedy przypomina to zamówienie mniej więcej tych samych usług dla wielu grup/podmiotów) pomocne może okazać się wspólne zastanowienie się w gronie członków KOP i dyskusja na temat tego czego my tak naprawdę oczekujemy w każdym WNOD? Jak powinien naszym zdaniem wyglądać taki „idealny/wzorcowy” projekt w tym konkursie? Co musi zawierać aby spełniał wszystkie kryteria? Następnie ocena jest w praktyce przez każdego eksperta dokonywana indywidualnie poprzez odniesienie zapisów konkretnego WNOD do tego (przynajmniej 7 fragmentów) z grupą potencjalnych idealnego, hipotetycznego wzorca – co ułatwi ekspertom nieco ocenę sytuacji wątpliwych i pozwoli na osiągniecie bardziej spójnej oceny. 4. Ocena projektów. Generalnie rzecz biorąc podejście członków KOP do oceny projektów jest dość zróżnicowane. Część z nich czyta najpierw kilka projektów tworząc sobie obraz projektu idealnego, inni czytają pierwszy wniosek od początku do końca (kilkakrotnie) aby go ocenić, jeszcze inni zaczynają od wyszukiwania informacji niezbędnych do weryfikacji kolejnych kryteriów dostępu. Cechą wspólną wszystkich podejść jest pracochłonność całej oceny – tak formalnej jak i merytorycznej. Jest to poważny problem – zwłaszcza w obliczu znaczącej liczby projektów. Ocena projektów jest dziś dokonywana głównie na podstawie zapisów WNOD - czasem wskazane we wniosku informacje weryfikowane są z innymi źródłami – głównie ze stron internetowych. Dzieje się tak szczególnie w przypadku wnioskodawców, których główny profil działalności nie jest zbieżny z tematem konkursu lub którzy nie są znani w ogóle danej IOK. Wtedy pracownicy IOK sięgają czasem do innych źródeł (głównie stron internetowych) w celu weryfikacji prawdziwości informacji podanych we WNOD. Jednocześnie twierdzą, że niewiele można z taką informacją zrobić tzn. nawet brak spójności pomiędzy treścią WNOD a wiedzą z innych źródeł nie obniża punktacji projektu. Tymczasem Wytyczne w zakresie trybów wyboru projektów w rozdziale 5 pkt 15 wyraźnie wskazują na możliwość pozyskiwania informacji iż innych źródeł i dokonywania oceny projektu w oparciu o te informacje. Warunkiem jest ich udokumentowanie. Wydaje się więc, że już obecnie jest wystarczająca możliwość uwzględniania w ocenie również innych informacji na temat spełniania przez beneficjenta kryteriów wyboru projektów – pozostaje tylko ją w szerszym stopniu wykorzystywać. Większość badanych IOK stosuje najpierw procedurę weryfikacji formalnej, potem oceny formalnej a następnie oceny merytorycznej. Tymczasem wydaje się, że zastosowanie łącznej ocena formalnomerytorycznej pomaga nieco przyspieszyć ocenę i zmniejszyć ilość nakładu pracy związanej z czytaniem i oceną wniosków o dofinansowanie (nawet przy napływie kilkuset wniosków). Warto w tym miejscu zauważyć, że elementem procesu w największym stopniu wpływającym na termin oceny jest jakość i terminowość ocen prowadzonych przez ekspertów zewnętrznych. Od niej i od ilości koniecznych poprawek (uzupełnień) tych ocen zależy obecnie najczęściej ostateczny termin rozstrzygnięcia konkursu. Ocena formalno – merytoryczna przyspiesza nieco tą ocenę gdyż nie trzeba ich wtedy czytać kilkukrotnie z pewnym odstępem czasu, co najczęściej ma miejsce przy odrębnie prowadzonej ocenie formalnej i merytorycznej. W odniesieniu do weryfikacji formalnej WNOD, wskazywano na konieczność zapewnienia przez IOK odpowiednich zapisów w regulaminie konkursu, dotyczących tego, które błędy popełnione przez wnioskodawców (lub brak jakich zapisów we wniosku) można będzie uzupełnić na etapie weryfikacji formalnej, tak aby dobre merytorycznie projekty nie były odrzucane z przyczyn formalnych – nie dlatego że wnioskodawca jakiegoś wymogu nie spełnia ale dlatego że zapomniał wskazać we WNOD jakiejś informacji, która o tym świadczy. Dotyczy to np. kwestii oświadczeń o braku wykluczenia partnerów – co jak wskazujemy powinno być docelowo rozwiązywane przez zapisy standaryzujące w regulaminie (o których mowa później). Z pkt widzenia IOK dobrym rozwiązaniem byłoby również wprowadzenie dodatkowego oświadczenia składanego przez beneficjenta, w którym zapewniałby on że w przypadku konieczności uzupełnienia braków formalnych nie zostały zmienione żadne inne elementy wniosku lub wprowadzenie funkcjonalności w SOWIE pozwalającej na porównywanie 8 wersji wniosków. Obecnie eksperci IOK sami to weryfikują, ponieważ suma kontrolna wniosku zmienia się w przypadku dokonania jakiejkolwiek modyfikacji. Dodatkowo wskazywano, że warto wprowadzić w Karcie Oceny Formalnej (KOF) dodatkowe pytanie pn. Czy na etapie oceny formalnej dostrzeżono błędy nie zauważone na etapie weryfikacji formalnej. Jeśli tak – należy zwrócić wniosek do weryfikacji formalnej. Byłoby to rozwiązanie analogiczne jak funkcjonuje obecnie w KOM na etapie oceny merytorycznej. Wydaje się jednak, że nie jest to konieczne dla prawidłowej realizacji procesu weryfikacji - ponieważ do poprawy uchybień formalnych lub oczywistych omyłek można wezwać wnioskodawcę na podstawie art. 43 ustawy wdrożeniowej w każdym momencie oceny wniosku.. Podobnie postulowane było wprowadzenie weryfikacji faktu i poziomu wnoszonego wkładu własnego już na etapie oceny formalnej. Jeśli beneficjent by tego poziomu nie zapewniał – należałoby odrzucić wniosek na tym etapie – bez konieczności jego całościowego sprawdzania merytorycznie. W przypadku oceny formalnej i kryteriów formalnych należy zdecydowanie przyjąć rozwiązanie polegające na wpisywaniu do wybranej części regulaminu zapisów „standardowych” dla wszystkich projektodawców w tym konkursie. Pozwoli to uniknąć odrzucenia wielu cennych projektów tylko i wyłącznie z powodu tego, że beneficjent zapomniał wpisać określoną formułkę lub co gorsza, że formułka owa była niepełna lub w brzmieniu innym niż oczekiwała tego IOK. Ponieważ nie ma to praktycznie wpływu na jakość projektów, wszelkie te kwestie powinny zostać dookreślone przez IOK i wskazane w regulaminie konkursu jako obowiązek beneficjenta, a beneficjent zobowiązuje do ich stosowania/realizacji, stosownym oświadczeniem dodanym w części VIII WNOD. Dotyczy to m.in. takich elementów jak: oświadczenie o niewykluczeniu beneficjenta i partnerów (obecnie w części VIII WNOD jest mowa tylko o beneficjencie a kryterium dotyczy również partnerów w projekcie – choć zostanie to poprawione wkrótce w SOWIe. ) z aplikowania o środki, zapewnienia że nie ma powiązań (różnych - finansowych, osobowych, organizacyjnych itp.) pomiędzy beneficjentem a partnerami, posiadania określonego poziomu obrotów finansowych za ostatni rok, bycia podmiotem uprawnionym do aplikowania o środki na podstawie zapisów SZOP itp. Zakres tych oświadczeń pozostaje do ustalenia ale nie ulega wątpliwości, że oświadczenia, które dziś wnioskodawca wpisuje we WNOD tracąc przy tym liczbę znaków i dodatkowo mogąc się pomylić (gdyż ich treść jest dość precyzyjnie z góry określona i oczekiwana przez IOK), powinny być – w znacznie szerszym zakresie niż to jest obecne dzisiaj - jednakowo dla wszystkich określone w regulaminie przez IOK lub w części VIII WNOD. Podobnie należałoby się poważnie zastanowić nad wypracowaniem jednego rodzaju zapisów dla danego konkursu pod kątem standardu minimum i równości szans osób niepełnosprawnych. Praca koncepcyjna byłaby wtedy wykonana jednorazowo przez IOK, która określałaby jakiego „standardu” realizacji zasad horyzontalnych oczekuje w tym konkretnym konkursie. Dziś widać że obowiązki te są dla beneficjentów tylko kolejną sztuczną, biurokratyczną przeszkodą. Być może decyzję w sprawie tych obu zasad horyzontalnych i sposobu ich ujęcia we wnioskach należy zatem pozostawić IOK do rozstrzygnięcia w regulaminie. Obecnie można już to robić w zakresie konkurów na zamówienie usług powtarzalnych – na podstawie pkt 11 w rozdziale 10.3 Wytycznych, gdzie mowa jest o parametryzacji konkursu. Wydaje się, że jest to krok we właściwą stronę aby z jednej strony odciążyć beneficjentów i zminimalizować ryzyko odrzucenia projektu z błahych powodów a z drugiej ułatwić i przyspieszyć proces oceny WNOD. Jest to także kwestia budowy większego zaufania pomiędzy obydwoma stronami, przy jednoczesnym zapewnieniu równego traktowania i standaryzacji, którą powinny docenić również służby audytowe KE. 9 Czas przeznaczony na ocenę projektów jest generalnie raczej wystarczający, choć niektórzy wskazują że może być go nieco za mało na ocenę formalną (21 dni) w przypadku dużej liczby WNOD gdyż w międzyczasie jest jeszcze weryfikacja formalna i niezbędny jest kontakt z wnioskodawcami w celu np. poprawienia czy uzupełnienia braków. Wytyczne wyboru projektów nie uwzględniły tego wskazując, że termin oceny formalnej biegnie od zakończenia naboru a nie od zakończenia weryfikacji formalnej. Problem nie byłby tak istotny gdyby beneficjenci składali wnioski wcześniej niż ostatniego dnia konkursu. W większości jednak to ostatni dzień jest tym, w którym wpływa nawet do 80%-90% wniosków. Problem ten zwłaszcza widać w przypadku połączonej oceny, podczas której kwestia ewentualnych popraw wynikających z oceny formalnej powoduje skrócenie czasu na ocenę merytoryczną. Warto więc zastanowić się nad zapewnieniem dodatkowego czasu na ocenę formalną np. kolejnych 7 dni w przypadku dużej liczby wniosków w danym konkursie. Problem tego typu na razie nie występuje przy ocenie merytorycznej – m.in. ze względu na fakt, że liczba wniosków trafiających do tego etapu oceny na razie nie jest duża, ponieważ znaczna część wniosków nie przechodzi oceny formalnej (ale umiejętności wnioskodawców będą się z czasem poprawiać w tym zakresie, wiec jest na razie za wcześnie aby ocenić czy czas przeznaczony na ocenę merytoryczną będzie zawsze wystarczający). Niezmiernie istotną kwestią pozostaje jakość pracy ekspertów, która powinna ulec poprawie. Nieustannie (od początku PO KL) powraca pytanie o to kim są i kim powinni być eksperci w procesie wyboru projektów – w chwili obecnej wiedza merytoryczna na temat danego obszaru wsparcia rzadko idzie w parze z wiedzą na temat procedur EFS. Nie każda osoba „znająca się” merytorycznie będzie chciała i mogła nauczyć się reguł EFS. Ponadto reguły te wcale nie są stałe, dość często są zmieniane, uaktualniane, wymagają śledzenia zmian dokumentów i interpretacji IZ bądź IOK. To wymaga czasu i najlepszą wiedzę na ten temat posiadają pracownicy sytemu wdrażania. Nawet więc jeśli dziś edukujemy ekspertów za pomocą e-learningu to są to wciąż osoby, które z jednej strony nie są aż tak wybitnymi znawcami polityki sektorowej w danym obszarze (rzadko kiedy są to czołowi eksperci z danej dziedziny), a z drugiej strony nie są w stanie zdobyć wiedzy na temat wdrażania EFS tak szczegółowej, aby bezbłędnie oceniać projekty. W konsekwencji dzisiejszy ekspert jest tylko trochę ekspertem od „aspektów merytorycznych” i trochę od procedur ale w żadnej z tych dziedzin nie można oczekiwać od niego pełnej wiedzy. Dalszą reperkusją tego stanu rzeczy jest fakt, że pracownicy IOK identyfikują błędy w ocenie ze względu na procedury EFS, a środowiska naukowe krytykują merytoryczną wartość projektów wybieranych do realizacji. Wydaje się, że długofalowo ten stan rzeczy należałoby zmienić, chociażby dopuszczając w szerszym zakresie do oceny projektów ekspertów z instytucji zaangażowanych we wdrażanie programów operacyjnych. Warto zauważyć, że omawiane problemy z oceną wniosków o dofinansowanie po stronie IOK po części wynikają także z samego podejścia IOK do tej oceny, które jest z reguły podejściem holistycznym, ukierunkowanym nie tylko na wybór wniosków do dofinansowania ale także mającej na uwadze cały proces wdrażania programu. Pracownicy IOK muszą nie tylko zapewnić wybór zgodny z kryteriami ale uwzględniać również dziesiątki innych wymagań związanych z procesem monitorowania, ewaluacji, promowania czy rozliczania projektów. Podczas dokonywania oceny przez ekspertów wewnętrznych (pracownicy IOK) cały czas towarzyszy im świadomość: • Konieczności rzetelnej oceny i jej ostrożnego uzasadniania aby nie dawać podstaw i argumentów wnioskodawcy do złożenia protestu, • Konieczności wydatkowania całej dostępnej alokacji na zaplanowane działania, co z kolei co stymuluje postawy bardziej wyrozumiałe wobec wnioskodawców, 10 • Odpowiedzialności za jakość oceny projektów i konieczności „wyczyszczenia” ich ze wszystkich elementów budzących wątpliwości interpretacyjne (głównie pod kątem kwalifikowalności finansowej i przedmiotowej), które będą następnie nadzorowane przez ten sam zespół ludzi (z zastrzeżeniem że osoby oceniające wniosek o dofinansowanie nie będą później rozliczać i kontrolować projektów które oceniali) i za które odpowiedzialność ponosi następnie cała instytucja. Ograniczenia tego typu bynajmniej nie dotyczą ekspertów zewnętrznych, którzy nie czują się związani i odpowiedzialni w swoich ocenach za cały proces wdrażania ale jedynie za sam proces oceny projektów. Sprawia to, że są oni bardziej niezależni w swoich ocenach, a jednocześnie praktycznie nie ponoszą żadnej odpowiedzialności za ich jakość (ewentualnie ograniczone wynagrodzenie – co przy dużej skali ocenianych projektów i małej dostępności ekspertów nie stanowi wystarczająco silnego bodźca negatywnego). To IOK de facto jest odpowiedzialna za jakość pracy ekspertów zewnętrznych, nad których ma ograniczone możliwości wpływu. Nawet jeśli są do tego narzędzia (umowa, karta oceny pracy eksperta, akredytacja – stosowane w niektórych IOK) to odmawianie lub obniżanie płatności za błędne lub niskiej jakości oceny wniosków ma miejsce stosunkowo rzadko. W praktyce też nie wyklucza się ich z listy ekspertów z tytułu niskiej jakości usług, a nawet jeśli to mogą dalej świadczyć swoje usługi dla innych IOK. Natomiast „wymagającej” IOK pozostaje mniejsza pula ekspertów do wyboru. Dziś to eksperci dyktują warunki oceny projektów – ponieważ jest ich po prostu zbyt mało. Najlepsi eksperci oceniają wnioski dla tych IOK gdzie wymagania wobec nich są najmniejsze, a wiedząc jakie jest zapotrzebowanie na ich usługi - potrafią żądać wyższych stawek. Dlatego problem jakości pracy ekspertów należy rozwiązywać całościowo, dla wszystkich instytucji POWER (a może również wspólnie z RPO – ponieważ często te same osoby będą oceniały wnioski w różnych programach), angażując do tego różne IOK na zasadzie współpracy a nie konkurencji. Być może informacja o „słabych” ekspertach powinna być dostępna dla wszystkich IOK lub powinna powstać wspólna baza ekspertów funkcjonująca na zasadzie bazy personelu tj. z limitem oceny wniosków dla danej IOK. Wymagałoby to jednak wprowadzenia mechanizmu identyfikacji konkretnego eksperta (ponieważ obecnie te same nazwiska są obecne wielokrotnie na różnych listach ekspertów) i możliwości oceny jego pracy przez każdą IOK korzystającą z jego usług (tym bardziej że oceny te mogą się różnić zarówno w czasie jak i między instytucjami). Co prawda Wytyczne wprowadzają możliwość akredytacji ekspertów ale brak na razie jakichkolwiek doświadczeń w tym zakresie, przy jednoczesnym poczuciu nierozwiązania tych problemów w PO KL powoduje, że trudno dziś ocenić czy będzie to wystarczające dla uregulowania „rynku” ocen ekspertów. Wydaje się, że system akredytacji miałby większy sens w sytuacji kiedy IOK mogłyby korzystać z ekspertów powołanych przez inne podmioty (wspólna lista ekspertów, o której mowa wyżej) a dopóki takiej możliwości nie ma – akredytacja pozostaje możliwością niewykorzystaną, w praktyce ograniczając się do wiedzy o sposobie oceny ekspertów „zamkniętej” w jednej IOK. Nie ulega jednak wątpliwości że oczekiwana jest większa rzetelność co do oceny ze strony ekspertów. Dobrym przykładem rozwiązań używanych przy obecnych uregulowaniach w tym zakresie jest stosowanie dodatkowych pytań uzupełniających niejasną czy niespójną ocenę eksperta i uzależnianie wypłaty honorarium od jakości odpowiedzi na te pytania (poziom jej szczegółowości, terminowość, precyzja osądu, adekwatność). Poprawę jakości oceny można osiągnąć zarówno poprzez podnoszenie kompetencji ekspertów jak też zawężanie przedmiotu oceny tj. ściślejsze definiowanie rodzaju i charakteru interwencji przez IOK - tak aby jak najmniej elementów podlegało swobodnej ocenie ekspertów. Ten drugi sposób prowadzi jednak wprost do systemu zamówień publicznych i ścisłego określania przedmiotu zamówienia – co jest być może uzasadnione przy projektach wdrożeniowych ale już nie koncepcyjnych lub np. innowacyjnych. Dziś problem polega 11 również nierzadko na tym że sami eksperci nie czytają regulaminu ani instrukcji wypełniania wniosku i oceniają wnioski na podstawie własnych oczekiwań i doświadczenia – co nie jest wystarczające. Jeśli chodzi o weryfikację rzetelności (zbieżności) oceny ekspertów warto zrobić eksperyment polegający na przekazaniu tego samego wniosku o dofinansowanie wszystkim ekspertom w danym konkursie i sprawdzenie na ile ich oceny są rozbieżne. Być może warto takie działanie/warsztat przeprowadzić na początku oceny każdego KOP, tak by omówić z ekspertami jego oczekiwane efekty i pokazać (anonimowo) jak bardzo różniły się oceny poszczególnych ekspertów i do czego powinniśmy w ocenie dążyć. Dla zapewnienia bezstronności można zrobić to na hipotetycznym WNOD – stanowiącym np. połączenie zapisów z kilku realnych WNOD. Jest to działąnie dodatkowe i angażujące ale w praktyce zwiększające szanse na to, że oceny ekspertów będą mniej rozbieżne. Innym rozwiązaniem mogłaby być ocena zbiorowa tj. nie indywidualnie przez 1 oceniającego ale przez 2-3 oceniających wspólnie, zakładając że co najmniej jeden z nich jest ekspertem merytorycznym w danej dziedzinie a drugi co najmniej specjalistą od procedur i oceny wniosków EFS. Jeżeli z kolei wspólna (uzgodniona) ocena nie byłaby możliwa (np. ze względu na oczekiwania audytu), można również rozważyć ocenę dokonywaną w parach: pracownik IOK + ekspert zewnętrzny, gdzie każdy z nich dokonuje odrębnej oceny ale następnie jest ona dyskutowana/konsultowana wspólnie np. z przewodniczącym IOK lub jego zastępcą jako arbitrem. Dla zobrazowania efektów takiej oceny warto wykonać pilotaż np. na 5 WNOD, z których każdy byłby przekazany do oceny zarówno 5 indywidualnym ekspertom jak i 5 zespołom składającym się z 2-3 ekspertów. Następnie należałoby porównać jakość oceny dokonanej w stosunku do tych samych wniosków i zobaczyć czy rzeczywiście ocena zbiorowa przynosi jakąś wartość dodaną. Obecnie można bowiem także odnieść wrażenie, że w systemie wyboru projektów nadmiernie wyolbrzymiono kwestię indywidualizmu i niezależności osądów w procesie oceny WNOD. Skoro dążymy do większej rzetelności (a więc i spójności) w ocenie, skoro spotykamy się i wspólnie ustalamy jak mamy rozumieć daną interwencję, jak oceniać pomysły we WNOD, skoro ocena tego samego przez różnych ekspertów powinna być zbliżona – to wydaje się niespójnym aby zabraniać ekspertom wymiany informacji i kontaktowania się ze sobą w sprawach konkretnych wniosków. Pracownicy IOK wymieniają się na co dzień uwagami na temat poszczególnych projektów, dość często też dyskutują o konkretnych rozwiązaniach, na które napotkali w swoich projektach - ale nie ustalają wspólnej oceny. Wydaje się jednak, że dla sprawności procesu oceny i również dla poprawy jej jakości (mierzonej wyborem „lepszych” projektów) byłaby lepsza ocena wspólna – podobnie jak ma to miejsce np. w projektach programu Erasmus+, Lider, czy w ramach komisji przetargowych przy zamówieniach publicznych. Poniżej krótki opis przykładów takiej oceny. Erasmus+ Dobrą praktyką dotyczącą oceny projektów w ramach konkursów ogłaszanych przez Fundację Rozwoju Systemu Edukacji (FRSE) w ramach Inicjatywy Europejskiej Erasmus + jest zapewnienie oceny każdego z wniosków przez dwóch ekspertów, w tym jednego niezależnego eksperta zewnętrznego oraz jednego eksperta będącego równocześnie pracownikiem instytucji. Przedmiotowi eksperci dokonują niezależnej oceny, która następnie zostaje przez nich skonsolidowana w trybie wspólnych uzgodnień. Podejście takie pozwala na dokonanie bardziej kompleksowej i jednocześnie spójnej oceny, która uwzględnia różne punkty widzenia poszczególnych ekspertów. Dokonanie przedmiotowej oceny ma również charakter edukacyjny, ponieważ projektodawcom przekazywana jest informacja zwrotna w oparciu o dokonaną - skonsolidowaną ocenę, w której znajduje się informacja o ewentualnych uchybieniach w treści wniosku i działaniach, jakie należałoby podjąć, by w przyszłości projekt taki mógł otrzymać dofinansowanie. Ciekawym rozwiązaniem stosowanym w 12 ramach Inicjatywy Erasmus + jest również powołanie ciała, jakim jest Komitet Ewaluacyjny, którego stałym zadaniem jest nadzór nad dokonaną ocenę ekspercką. Podczas organizowanych spotkań Komitetu Ewaluacyjnego wnioski z oceny projektów poddawane są analizie i ocenie przez jego członków. Komitet składa się z niezależnych ekspertów zewnętrznych oraz specjalistów z FRSE niezaangażowanych we wcześniejsze etapy oceny. Efektem pracy Komitetu jest przyjęcie do dofinansowania oraz powołanie listy rezerwowej projektów w oparciu o dokonaną ocenę ekspercką oraz wiedzę kierunkową poszczególnych członków Komitetu. Lider W przypadku programu Lider, który realizowany jest w NCBiR, procedura wyboru projektów do dofinansowania składa się z 3 etapów: • oceny formalnej, w którą są zaangażowani pracownicy NCBR - wygląda to podobnie jak w PO WER • I etapu oceny merytorycznej, który polega na dokonywaniu recenzji wniosków o dofinansowanie przez 3 ekspertów zewnętrznych (2 polskich i 1 zagranicznego eksperta); liczona jest średnia z ocen tych 3 ekspertów; wnioski oceniane są wg kryteriów, które są w załączniku 7 do regulaminy konkursu; ocena jest literowa na skali A - D (A - projekt wyróżniający się; D - projekt przeciętny), przy czym do przejścia do II etapu oceny merytorycznej (udziału w rozmowie kwalifikacyjnej) wniosek musi uzyskać ocenę składającą się z kombinacji liter A i B bądź z dwóch ocen wyróżniających (A) i jednej skrajnej (C lub D). • II etapu oceny merytorycznej, który polega na przeprowadzeniu rozmowy kwalifikacyjnej z wnioskodawcami, którzy uzyskali wymaganą kombinacje liter na poprzednim etapie. Ocena dokonywana jest przez Zespół Kwalifikacyjny na podstawie rozmowy kwalifikacyjnej z Wnioskodawcą. Rozmowa ta nie podlega sztywnym regułom, a kryteria oceny stanowią jedynie ramy, w których zadawane są pytania. O przebiegu rozmowy z każdym z wnioskodawców decyduje Zespół Kwalifikacyjny. Rozmowy przeprowadzane z wnioskodawcami są rejestrowane (głos) na potrzeby ewentualnych odwołań lub kontroli. Każdy z wnioskodawców (najczęściej jest to kierownik projektu) ma dokładnie 20 minut na to by przedstawić swój projekt, a następnie członkowie Zespołu Kwalifikacyjnego zadają pytania. Zespół może zadecydować także o zwiększeniu budżetu projektu. Punktacja z I oraz II etapu oceny merytorycznej nie sumuje się - to znaczy najlepsze projekty na pierwszym etapie są oceniane ponownie od zera na kolejnym etapie. Po tym etapie przygotowywana jest lista rankingowa, na której znajdują się projekty, które na II etapie uzyskały minimum 70/100 pkt. Norweski Mechanizm Finansowy W tym programie wybór projektów do dofinansowania odbywa się na podstawie konkursów, ogłaszanych przez operatorów w ramach poszczególnych programów. Ponadto realizowane są tzw. projekty predefiniowane (tj. "z góry" wskazane do realizacji). W przypadku otwartych naborów wniosków, Operator Programu (w zależności od tematyki: NCBiR, MS, MŚ, MZ itp.) dokonuje oceny wniosków pod kątem ich zgodności z kryteriami administracyjnymi i kwalifikowalności. W ogłoszeniu o naborze jest zawsze określona minimalna całkowita liczba punktów (próg), kwalifikująca projekt do umieszczenia na liście rankingowej lub minimalna liczba punktów (próg) w ramach określonego kryterium oceny merytoryczno-technicznej, wymagana do uzyskania przez projekt w celu umieszczenia go na liście rankingowej. Ocena merytoryczno – techniczna jest oceną punktową, 13 dokonywaną jest przez dwóch niezależnych i bezstronnych ekspertów ustanowionych przez Operatora Programu. Eksperci oddzielnie przyznają punkty dla danego projektu zgodnie z kryteriami oceny. Na potrzeby sporządzenia listy rankingowej projektów stosuje się uśrednioną liczbę punktów przyznanych przez 2 ekspertów danemu projektowi. W przypadku rozbieżności wynoszących więcej niż 30% wyższego wyniku w ocenie dokonanej przez obu ekspertów, Operator Programu zleca niezależną ocenę projektu trzeciemu ekspertowi. W takich przypadkach na potrzeby listy rankingowej projektów stosuje się uśrednioną liczbę punktów uzyskanych z dwóch najbardziej zbliżonych ocen. Po zakończeniu oceny wszystkich projektów, Operator Programu sporządza listę rankingową projektów, na której znajdą się projekty, które uzyskały liczbę punktów powyżej ustalonego progu, w kolejności od najwyższej do najniższej liczby przyznanych punktów. Taka lista rankingowa jest przekazywana pod obrady Komitetu ds. Wyboru Projektów. W Komitecie tym zasiadają co najmniej 3 eksperci w danej dziedzinie (np. eksperci od ochrony środowiska). Do ich zadań należy zatwierdzenie - zaproponowanych przez Operatora - kryteriów oceny formalnej i merytoryczno-technicznej, na podstawie których będzie oceniany wniosek aplikacyjny oraz właśnie rekomendowanie projektów do dofinansowania (z listy rankingowej). Komitet ds. Wyboru Projektów dokonuje przeglądu listy rankingowej projektów i w uzasadnionych przypadkach może ją zmodyfikować. Uzasadnienie takich zmian jest szczegółowo prezentowane w protokole z posiedzenia Komitetu ds. Wyboru Projektów. Jeśli tego typu zmiany prowadzą do odrzucenia projektu, dany wnioskodawca jest powiadamiany o tym na piśmie i otrzymuje uzasadnienie takiej zmiany. Następnie Komitet ds. Wyboru Projektów przedkłada Operatorowi Programu listę projektów rekomendowanych do dofinansowania. W procesie oceny WNOD mogą występować również rozwiązania spowalniające proces oceny. Jednak w dużym stopniu zależy to od przyjętego modelu – nie jest to spowodowane „automatycznym” działaniem procedur. W przypadku jednego z konkursów ”wąskim gardłem” okazała się rola przewodniczącego KOP, który jednoosobowo musiał weryfikować rzetelność oceny wszystkich wniosków złożonych w konkursie i kontaktować się na bieżąco z wszystkimi ekspertami dokonującymi ich oceny w celu usunięcia rozbieżności i poprawy. Przy dużej skali wniosków jest to rzeczywiste spowolnienie pracy KOP. Ale rozwiązania przyjęte w innych IOK pozwalają na rozwiązanie tego problemu. Jedną z możliwości jest zlecenie całej lub części oceny merytorycznej ekspertom zewnętrznym, a następnie weryfikacja kart oceny przez pracowników IOK (co najmniej 5-6 osób). Pozwala to nieco rozłożyć ciężar weryfikacji na kilka osób i nie spowalnia procesu oceny. Podobne rozwiązania stosowane są zarówno w niektórych IP POWER. Inna możliwość to wskazywana powyżej ocena dokonywana wspólnie przez 2-3 ekspertów (a nie indywidualna jak ma to miejsce obecnie). Pewną konsekwencją braku eksperckiej wiedzy na potrzeby oceny WNOD jest sytuacja gdy projekty, które realizowane były dotychczas jako tzw. „systemowe” w PO KL, muszą być obecnie wybierane w procedurze konkursowej. Rozwiązanie to, przyjęte wprost na skutek wyraźnego stanowiska KE, powoduje że system wyboru projektów konkursowych nie jest dostosowany do wyboru projektów koncepcyjnych, niestandardowych, polegających na wytworzeniu „produktu” indywidualnego czy też unikatowego. Pracownicy IOK zgłaszają w takim przypadku obiektywną trudność z oceną zarówno zasadności jak i poprawności zaproponowanych jako projekt rozwiązań – np. w przypadku przeprowadzaniu ewaluacji systemu transferów społecznych i systemu podatkowego w Polsce pod kątem tworzenia bodźców do podejmowania aktywności zawodowej i ograniczania ubóstwa. IOK wskazuje, że w takiej sytuacji bardzo brakuje możliwości skierowania wniosków zawierających podobne, bardzo specjalistyczne rozwiązania do oceny eksperckiej – ściśle merytorycznej. Do oceny przez kogoś, kto potrafiłby ocenić metodologiczną wartość zaproponowanych rozwiązań – bez względu na pozostałą treść wniosku o dofinansowanie. Standardowe procedury wyboru projektów 14 (ocena formalna + merytoryczna) tego nie przewidują i brakuje w nich elementu oceny stricte wartości merytorycznej zaproponowanych rozwiązań. Istnieje jednak możliwość skierowania wniosku do oceny przez eksperta z głosem opiniodawczo-doradczym. który nie musi nawet ukończyć szkoleń na platformie e-learningowej, co oznacza że można go powoływać ad hoc. Po PZP np. istnieje również możliwość powołania do komisji przetargowej zewnętrznego eksperta (tzw. biegłego), przez co zostaje ona wyposażona w specjalistyczne kompetencje w zakresie tej oceny. Należy jednak pamiętać że to zawsze wydłuży nieco proces oceny. Wdaje się także, że zupełnie niewykorzystany pozostaje potencjał dodatkowych etapów wyboru projektów EFS np. etap preselekcji, czy też dodatkowa możliwość w postaci oceny fiszek projektowych. Warto także rozważyć realizację konkursów sprzężonych np. dwu etapowych - tak jak ma to miejsce obecnie w makro-innowacjach. Nowe etapy, nieobecne w PO KL, stanowią swego rodzaju wyzwanie dla IOK i traktowane są z pewną rezerwą, co jest zupełnie zrozumiałe w początkowym okresie uruchamiania programu. Istnieje oczekiwanie na to że to raczej ktoś inny „przetrze szlaki” jeśli chodzi o procedury i ponieważ nie są one obligatoryjne – nie zostały dotychczas nigdzie wykorzystane. Tymczasem właśnie do wyboru projektów typu koncepcyjnego, trudniejszych i niestandardowych (dawniej - systemowych) należałoby przede wszystkim używać etapu preselekcji a także procedury oceny fiszek projektowych. Są one bowiem tym, czym procedura negocjacji z ogłoszeniem w zamówieniach publicznych. Pozwalają na pewne wypracowanie koncepcji, ocenę jej przez niezależnych ekspertów (jeśli IOK ich włączy do oceny fiszek), a także na wymuszenie pewnego standardu i potencjału do realizacji zadań objętych wnioskiem (etap preselekcji). Projekty tego typu powinny być bowiem raczej wybierane w procedurach podobnych do PZP, gdzie nie ma ograniczeń związanych chociażby z kształtem wniosku o dofinansowanie (np. liczba znaków), a treść oferty obejmująca wszystkie niezbędne zapisy może liczyć dziesiątki stron, pozwalając na wyczerpujący opis danej problematyki i narzędzi stanowiących odpowiedź na zdiagnozowany problem. Jedynym mankamentem etapu oceny fiszek projektowych jest niestety brak obligatoryjnego złożenia fiszki przez wnioskodawców, przez co istnieje ryzyko, że nie wszyscy będą chcieli wziąć udział w tak zorganizowanym procesie wyboru wniosków. Przy małym zainteresowaniu konkursem może to postawić pod znakiem zapytania sens stosowania tej procedury. Inną kwestią z którą borykają się szczególnie IP szczebla centralnego jest sytuacja, w której spośród wielu projektów IOK zdecydowała się wyłonić tylko jeden. Istnieje wtedy realna szansa że wnioskodawcy, których projekt nie uzyskał dofinansowania złożą protest, który który w tej konkretnej sytuacji okaże się bezcelowy. Jest to sytuacja specyficzna dla konkursów ogłaszanych na wybór tylko i wyłącznie pojedynczego projektu - co może mieć miejsce w przypadku projektów, które w PO KL miałyby charakter „systemowy” a obecnie (na skutek obowiązujących ustaleń z KE) muszą być wybierane w procedurze konkursowej. Dodatkowo warto zauważyć, że obiektywną trudnością dla ekspertów wewnętrznych jest ograniczona możliwość koncentracji wyłącznie na ocenie WNOD i oddziaływanie w miejscu pracy różnych czynników „rozpraszających” (w skrajnych przypadkach pracownicy w ogóle nie oceniają projektów w pracy lecz w domu). Najtrudniejsze jest to, że eksperci wewnętrzni z reguły realizują cały szereg innych zadań podstawowych, przy których ocena wniosków jest działaniem dodatkowym, a nie odwrotnie. Należy więc rozważyć jakąś modyfikację sposobu pracy ekspertów wewnętrznych. Sugerowane rozwiązanie mogłoby obejmować np. telepracę (ewentualnie odbiór nadgodzin) albo pracę właśnie w nadgodzinach albo wyodrębnienie w sposób rotacyjny pokoju, w którym są sprawdzane wnioski ale nie ma spotkań, rozmów, telefonów ani innej bieżącej pracy. Można to zrobić niewielką zmianą organizacyjną – bez konieczności ponoszenia dodatkowych nakładów czy 15 zmian w czasie pracy (w przypadku IZ PO WER z formalnego pkt widzenia opcja „zastępstwo” w Lotusie). Dodatkowo warto rozważyć możliwość dodatkowego wynagradzania pracowników z innych wydziałów za udział w ocenie WNOD, przy czym należy mieć świadomość, że jest to związane z ryzykiem niewystarczających czasem kompetencji u osób spoza komórki organizującej konkurs (konieczny udział w szkoleniach dla KOP) oraz poszukiwaniem dodatkowych źródeł finansowania takiego zaangażowania. Doświadczenia IOK regionalnych (z PO KL) są w tym zakresie dość duże – choć nie zawsze pozytywne. W tym kontekście warto również wspomnieć o brakach kadrowych jako czynniku ograniczającym wydajność procesu oceny – przy czym jest czynnik nierównomiernie rozłożony w czasie i systemie pracy IOK, gdyż z reguły zaangażowanie przy ocenie WNOD jest wymagane w bardzo dużym wymiarze przez okres kilkunastu tygodni po czym zapotrzebowanie na ocenę maleje aż do zakończenia następnego procesu naboru. Sytuacji nie ułatwia fakt, że zgodnie z wytycznymi KE w zakresie kontroli, konieczne jest rozdzielenie funkcji oceny WNOD i późniejszej weryfikacji WNOP, przez co ci sami eksperci nie mogą pełnić tych ról w stosunku do tego samego wniosku. 5. Wzór wniosku o dofinansowanie. Żaden z elementów wniosku o dofinansowanie nie został uznany za zbędny, wszystkie są potrzebne chociaż w różnym stopniu – w zależności od charakteru danego konkursu. Warto pamiętać o tym że rodzaje interwencji finansowanej z EFS mogą być bardzo różne i czasem oczekiwana jest tylko zgodność z dość dobrze już zdefiniowanym rodzajem interwencji, a czasami od beneficjenta oczekiwane jest nowatorskie podejście i propozycje pomysłów na realizację danego typu interwencji. Ponieważ jednak WNOD jest wypadkową różnych potrzeb i oczekiwań to należałoby raczej wprowadzić zasadę że poszczególne części wniosku mogą być niewypełniane przy okazji danego konkursu lub wypełniane w sposób określony w regulaminie/instrukcji, gdzie IOK określiłaby pewne ramowe, wystarczające do uzyskania minimalnej liczby punktów zapisy, z którymi wnioskodawca musi być zgodny i realizować wg nich projekt. Ewentualne dodatkowe elementy mogłyby być premiowane na podstawie kryteriów premiujących (do decyzji IOK w konkretnym konkursie). Pozwoli to ograniczyć zakres danej oceny (skróci to jej czas) i skupić siły i środki na częściach WNOD najważniejszych z pkt widzenia danego konkursu. Można byłoby to robić poprzez wskazywanie w regulaminie konkursu – które pola nie są obowiązkowe w danym konkursie lub predefiniowanie co należy wpisać w danym polu (o ile oczywiście charakter danego konkursu uzasadnia taką unifikację). Z drugiej strony należy w instrukcji do wniosku dopisać że regulamin ma pierwszeństwo przed instrukcją pod kątem wypełniania wniosku (o ile instrukcja nie będzie przygotowywana pod każdy konkurs indywidualnie – tak jak to uprzednio proponowano). Pewnych trudności - zarówno beneficjentom jak i oceniającym projekty - nastręcza konstrukcja i wygląd budżetu projektu. Jest on z reguły dość rozbudowany (od kilkunastu do nawet ponad 100 pozycji) i przynajmniej dla potrzeb oceny powinna być możliwość innego, skróconego wydruku budżetu. Nakłada się na to dość duży poziom szczegółowości zapisów budżetu. Obecnie każdy pojedynczy wydatek jest rozpisywany na wiele elementów, które trzeba każdorazowo sprawdzić przy ocenie – co jest dość czasochłonne. Weryfikacja budżetu zajmuje dziś blisko połowę czasu przeznaczonego na sprawdzanie WNOD. Uderzająca jest już sama jego dysproporcja wobec części opisowej wniosku. Dzięki tak rozbudowanemu budżetowi koszty są mocno podzielone i trzeba przeglądać go na wielu stronach co jest nie tylko niewygodne ale również może być mylące dla oceniającego. O ile w przypadku stawek jednostkowych ten problem jest zminimalizowany o tyle przy rozbudowanych budżetach – duża liczba kolumn wynikających z zaznaczenia tzw. checkboxów 16 przy poszczególnych wydatkach zdecydowanie utrudnia analizę. Być może rozwiązaniem byłaby tu jakaś próba grupowania kosztów w większe zadania, lub wprowadzenie technicznej możliwości wydruku budżetu tylko w częściach – bez szczegółowych pozycji z każdego roku. Ewentualnie warto byłoby wprowadzić możliwość wydruku tylko tych kolumn, dla których zaznaczono checkbox („tak”) bez drukowania tych niezaznaczonych. Dodatkowo postulowane jest zapewnienie sumowania w szczegółowym budżecie projektu nie tylko wydatków „łącznie” dla wszystkich lat ale również kategorii „liczba” oraz „cena jednostkowa”, co nieco ułatwiłoby pracę oceniającemu. Powyższe zmiany mają charakter raczej techniczny i nie są konieczne do wprowadzenia, byłyby raczej pewną modyfikacją ułatwiającą nieco pracę z budżetami projektów. Z drugiej strony IOK sygnalizują, że niektórych wydatków nie są w stanie rzetelnie zweryfikować ponieważ nie mają wiedzy na ten temat. O ile kwestia ta nie ma znaczenia w przypadku wydatków standardowych (np. komputer, artykuły piśmiennicze, książki, wynajem sali itp.) o tyle już określenie czy np. analiza lub ekspertyza w projekcie powinna kosztować 20 tys. zł czy też 40 tys. zł jest praktycznie niemożliwa bez znajomości jej zakresu merytorycznego – na co nie ma miejsca w opisie budżetu i z reguły w samym wniosku również. Eksperci mają więc trudność z oceną wysokości tego typu wydatków. Być może byłoby możliwe pozostawienie na etapie oceny WNOD jedynie deklaracji np. że zgodnie z regulaminem konkursu np. koszty określanego zadania (jeśli jest ono w miarę podobne w każdym projekcie) nie przekroczą „X” złotych a następnie weryfikowanie rzeczywistej wysokości wydatku dopiero we WNOP. Wskaźniki projektu nadal nie są prawidłowo rozumiane przez beneficjentów ale jest to rzecz, która ulegnie poprawie w toku rozwijania się nowego systemu. Umieszczenie wskaźników na początku wniosku o dofinansowanie, spowodowane chęcią wskazania wnioskodawcom co jest najważniejszym elementem projektów (efekty, rezultaty, rzeczowy i faktyczny postęp) nie spełnia jednak do końca swojej roli. Obecnie wskaźniki są de facto umieszczone w dwóch miejscach WNOD (część 3 i część 4) i chyba bardziej zasadne byłoby ich umieszczenie tylko w części 3.1.1 – gdzie monitorowany jest cały projekt. Warto zatem zastanowić się na zniesieniem obowiązku przypisywania wskaźników do każdego zadania (część 4) – tym bardziej że obecnie wnioskodawcy nieco na siłę i sztucznie „produkują” różnego rodzaju własne wskaźniki, które nie do końca mierzą to co powinny i nie zawsze spełniają swoją rolę. Ale nie jest to kwestia kluczowa lecz raczej techniczna z pkt widzenia całego systemu wdrażania. 6. SOWA. System SOWA jest generalnie oceniany pozytywnie. Wydaje się że jego możliwości są duże i będą jeszcze zwiększone dzięki prowadzonej współpracy z wykonawcą systemu. Natomiast są także takie elementy, które warto byłoby szczególnie usprawnić lub rozwinąć. Należą do nich: • Wprowadzenie w module komunikacji możliwości powiadamiania beneficjenta o tym że ma nową wiadomość w systemie – do niedawna zarówno IOK jak i beneficjent musieli sprawdzać każdy wniosek aby zweryfikować czy druga strona czegoś w związku z nim nie zrobiła. Z tego powodu niektóre IOK w ogóle nie używały komunikacji elektronicznej z beneficjentem na tym etapie, posługując się pocztą tradycyjną. Rozwiązanie to zostanie wprowadzone poprzez rozbudowę modułu korespondencji - zostanie wprowadzony mechanizm, który będzie zawsze informował o nieprzeczytanych wiadomościach. 17 • Generowanie KOM spersonalizowanej pod dany konkurs z częściowo wypełnionymi informacjami z WNOD. W tym celu – na razie tylko na potrzeby IZ PO WER - zostanie zaadoptowany system LSI 2020, wypracowany przez politechnikę koszalińską. System ten pozwoli na importowanie pliku xml z SOWy i następnie na jego bazie zostanie przygotowana KOM dla danego wniosku. Zostanie również najprawdopodobniej zapewniona możliwość porównywania ocen z różnych kart ekspertów. Docelowo planuje się również zrealizować komunikację z LSI2020 za pośrednictwem webserwisów. • Wprowadzenie grupowania wniosków wg określonego naboru/konkursu. Obecnie wszystkie wnioski zgrupowane są w jednym katalogu i konieczne jest każdorazowo ich filtrowanie. Z punktu widzenia IOK w tym zakresie lepszym rozwiązaniem (mniejsza liczba wymaganych czynności ze strony użytkownika) byłoby wprowadzenie listy rozwijalnej poczynając od wyboru instytucji – naboru- złożonych wniosków. • Wprowadzenie opcji zachowywania filtrów. Obecnie każdorazowe przeładowanie strony (np. edycja danego wniosku) powoduje utratę filtra i konieczność powtarzania tej czynności wielokrotnie co jest czasochłonne i mało przyjazne dla użytkownika. Zmiany w tym zakresie są już realizowane – wprowadzone zostanie najprawdopodobniej utrzymanie ustawionego filtra na czas logowania użytkownika do systemu. • Wprowadzenie możliwości generowania różnego rodzaju statystyk, takich jak np. liczba wniosków złożonych w danym konkursie, liczba wniosków wg typu wnioskodawcy, wartość złożonych wniosków itp. Tego typu informacje i funkcjonalności są na bieżąco potrzebne IOK ale system SOWA nie daje możliwości ich generowania, ponieważ z założenia mają być one możliwe do realizacji w SL2014. Ponieważ jednak do czasu wprowadzenia danych do SL 2014 istnieje również potrzeba generowania różnych zestawień, j dziś IOK zmuszone są (najczęściej w EXCELU) prowadzić dodatkową bazę lokalną dla wszystkich napływających wniosków. Powoduje to, że de facto funkcjonują aż trzy różne bazy dotyczące wniosków o dofinansowanie. Dlatego dzięki planowanym już w 2016 r. zmianom będzie najprawdopodobniej możliwość eksportowania do pliku EXCEL nie tylko zestawienia projektów (tak jak jest obecnie) ale również poszczególnych informacji o projektach z zakładki „Dokumenty”. • Warto rozważyć dodanie dodatkowego statusu do wniosków wysłanych po raz kolejny do instytucji. W sytuacji gdy wniosek jest już realizowany (podpisana jest umowa) ale został np. zmodyfikowany (zmiany w projekcie), nadal posiada tylko i wyłącznie status „wysłany do instytucji” albo „zwrócony”, przy czym nie widać nigdzie że de facto wniosek już był zaakceptowany i jest projekt realizowany. Może to być mylące dla użytkowników systemu. W tej sytuacji wskazane byłoby dodać jakiś dodatkowy status lub pole opisowe, w którym można byłoby wskazać zarówno status „bieżący” jak i tzw. „całościowy”, odnoszący się kompleksowo do stanu realizacji danego projektu. Propozycja ta zostanie przeanalizowania, jednak należy pamiętać, że statusy powinny być na tyle uniwersalne aby można było zastosować je do różnych sytuacji i w związku z tym nie powinno ich być zbyt dużo. Obecnie w systemie dla pracowników IP dostępne jest również pole „Komentarz”, gdzie można umieszczać dodatkowe informacje. • Zwiększenie liczby znaków w części 4 - Zadania. Obecnie za mało jest miejsca na opis poszczególnych zadań (zbyt mała liczba znaków i brak informacji dla wnioskodawcy że 18 jest tylko 3 tys. znaków na opis zadania) i być może także w opisie grupy docelowej. Problem ten jest szczególnie widoczny przy wnioskach bardziej złożonych, partnerskich. należy zauważyć, że ograniczenie liczby znaków w wybranych polach jest wynikiem m.in. ograniczeń w tym zakresie postawionych przez system SL 2014, który właśnie do 3 tys. znaków ogranicza pola pn. Zadania. Do końca 2015 r. dla pola pojawi się w systemie dodatkowy licznik znaków ale ewentualne zwiększenie ich liczby jest uzależnione od przekonania do tego samego koordynatorów systemu SL 2014. • Beneficjenci oraz IOK wskazują również na konieczność zapewnienia możliwości kopiowania budżetu „z” i „do” pliku EXCEL, co znacznie ułatwi jego przeglądanie i analizę. Większość beneficjentów pracuje na co dzień w arkuszach kalkulacyjnych i byłoby dużym ułatwieniem wprowadzenie w SOWA możliwości automatycznego kopiowania budżetu z plików xls. Rozwiązanie to jest już obecnie opracowywane przez wykonawcę systemu SOWA. • Dodatkowo kwestią najbardziej istotną w chwili obecnej jest zapewnienie importu danych z SOWA do systemu SL2014. Brak możliwości automatycznego przenoszenia tych danych skutkuje koniecznością ich ręcznego wprowadzania, co przy skali ponad 5 tysięcy wniosków (obecnie) byłoby bardzo dużym obciążeniem dla IOK. Na szczęście odpowiednie działania w tym zakresie są już prowadzone, choć z innych źródeł wynika że sam system SL2014 może okazać się niewystarczająco wydajny. Szczególnym wyzwaniem w tym kontekście (chociaż dotyczącym stricte systemu SL2014) jest gromadzenie w nim informacji o uczestnikach projektów, które ze względu na dużą skalę i liczebność uczestników stanowią o znacznym obciążeniu systemu SL2014. Wydaje się że autorzy systemu nie przewidzieli do końca konsekwencji tego stanu rzeczy i jeżeli problemy z ograniczoną wydajnością systemu nie zostaną szybko rozwiązane – istnieje duże ryzyko dla płynności realizacji różnych procesów zarządzania programami operacyjnymi (ewaluacji, monitoringu, kontroli) ze względu na trudności z generowaniem danych z systemu SL 2014 na potrzeby tych procesów. • Warto także rozważyć wprowadzenie w SOWA możliwości cofnięcia pewnych procesów. W sytuacji np. pomyłek IOK czy beneficjentów (które są nieuniknione) nie ma dziś możliwości cofnięcia danego procesu (np. wysłanego czy anulowanego WNOD) ani przez użytkownika ani przez wykonawcę systemu. O ile będzie to możliwe technicznie – warto taką możliwość zapewnić na przyszłość, przy czym powinny to być jednak sytuacje wyjątkowe aby nie „przyzwyczajać” użytkowników systemu do faktu, że jakikolwiek błąd zostanie przez nich popełniony to łatwo będzie go naprawić. Mogłoby to bowiem długofalowo zbyt mocno absorbować wykonawcę systemu. Generalnie warto zauważyć, że dużą zaletą systemu SOWA jest jego duża wydajność (szybkość działania wynikająca z zasady częstego odświeżania stron i przesyłania małych pakietów informacji na serwer) i wciąż istniejące możliwości rozwoju. Obok planowanych już do wprowadzenia rozwiązań wskazanych powyżej, warto także zastanowić się nad szerszym wykorzystaniem tego narzędzia do monitorowania procesów naboru wniosków (np. z jakich terenów geograficznych aplikują beneficjenci, czy jak wyglądają nabory w poszczególnych okresach realizacji PO WER). W SOWA planowane jest m.in. agregowanie informacji na temat liczby fiszek/wniosków, których przygotowanie rozpoczęli wnioskodawcy oraz liczby fiszek/wniosków, które zostały złożone w 19 odpowiedzi na nabór. Należy to jednak rozwijać bez uszczerbku dla podstawowej funkcji tego systemu jaką jest administracyjna obsługa wniosków aplikacyjnych. 7. Kryteria wyboru projektów. Zastosowane kryteria wyboru projektów okazały się możliwe do spełnienia – nie było wśród nich takich, które by znacząco ograniczyły możliwość przygotowania wniosków lub dyskryminowały jakichś beneficjentów. Nie wymagają one też raczej żadnych radykalnych zmian, natomiast częstokroć nie były wystarczająco precyzyjnie opisane i nastręczały wielu wątpliwości interpretacyjnych – zarówno wnioskodawcom jak i oceniającym. Często też samo brzmienie kryterium zawierało w sobie kilka kwestii do oceny – co powoduje że ocena zgodności wniosku z tym kryterium staje się dość skomplikowana. Z jednej strony jest to kwestia niejednoznaczności językowej, z drugiej zaś braku jednoznacznej wizji ku czemu miały prowadzić określone kryteria. Niejednoznaczność definicyjna jest z reguły podnoszona przez samych wnioskodawców i na tej podstawie przygotowywane są m.in. FAQ. Dobre kryteria powinny składać się z: treści + definicja + opis znaczenia kryterium w danym konkursie – gdzie byłoby wyjaśnione, jakie elementy wniosku są oceniany pod kątem tego kryterium. Ponadto wydaje się, że dobrym pomysłem byłoby tworzenie (lub przynajmniej rzetelne konsultowanie) propozycji kryteriów wyboru projektów (zarówno ogólnych jak i szczegółowych) z przewodniczącymi KOP lub innymi osobami, które mają największą wiedzę na temat tego jak wyglądają WNOD będące odpowiedzią na podobne kryteria. Wśród części ekspertów oceniających projekty powstało wrażenie „rozczarowania” tym jak określone kryteria zadziałały w praktyce. Np. okazało się że kryteria formalne (0/1) nie „wnoszą” nic do jakości projektu i nie pozwalają na ocenę jakości np. doświadczenia beneficjenta czy jego wiedzy na temat grupy docelowej. Są wyłącznie deklaracją spełniania bądź nie określonego warunku. Stąd należy dość ostrożnie je formułować i nie przeceniać ich znaczenia. W dużym stopniu spełnianie kryteriów formalnych może zostać stwierdzone przez oświadczenie wnioskodawcy jeśli zastosujemy zapisy standaryzujące w regulaminie (patrz pkt 5 wniosków strategicznych). W jednym z konkursów ogłoszonych przez IZ PO WER problematyczne kryteria dotyczyły m.in. obrotu finansowego wnioskodawcy, kryterium grupy docelowej i potencjału społecznego. To ostatnie spowodowało m.in. że powstawały „papierowe partnerstwa” gdzie partner we projekcie nie miał przypisanych prawie żadnych zadań, odpowiedzialności ani budżetu. Powstaje pytanie jak uniknąć tego typu partnerstw, zawiązywanych nie po to aby wnieść i wykorzystać w projekcie zasoby ale jedynie aby spełnić określone kryteria dostępu – w tym np. ominąć wymagania stawiane wnioskodawcy (poprzez zapewnienie ich przez partnera – np. doświadczenie, potencjał itp.). Wydaje się że takie kryteria muszą zostać dodatkowo obudowane dodatkowymi wymaganiami (np. obowiązkowe zadania w projekcie realizowane przez partnera). Z drugiej strony za brak „prawdziwego” partnerstwa należałoby stosować określone konsekwencje – np. jako podstawę prawną uznając zapisy ustawy, która w art. 33 ust. 1 wyraźnie wskazuje że: partnerzy wnoszą do projektu zasoby a także wspólnie realizują projekt. Niespełnienie tego warunku powinno skutkować zakwestionowaniem prawdziwości partnerstwa i w konsekwencji odrzuceniem wniosku o dofinansowanie – jeżeli partnerstwo było wymagane. Dodatkowo, można poprosić beneficjenta o przedstawienie treści umowy partnerskiej w celu weryfikacji zakresu zadań jakie partner ma do wykonania w projekcie. Pewnym niedoprecyzowaniem charakteryzuje się również kryterium potencjału beneficjenta, które jest oceniane w oparciu o potencjał finansowy, potencjał kadrowy/merytoryczny i potencjał 20 techniczny. Z pkt widzenia beneficjenta nie jest jasne jakiego rodzaju wagi przypisane są poszczególnym częściom tego potencjału – nie jest to oczywiste rozłożenie w podziale na 3 i różni eksperci różnie do tego podchodzą przy ocenie (np. przyznają „0” pkt jeśli projektodawca nie zapewni wszystkich tych elementów łącznie lub obniżają punktację za brak któregoś z nich - przy czym w niektórych typach projektów nie ma nawet specjalnego sensu i uzasadnienia dla obecności wszystkich 3 elementów tego potencjału). Wymaga zatem to doprecyzowania w instrukcji lub regulaminie konkretnego konkursu. Innym problematycznym kryterium okazało się zastosowanie „minimalnej wartości projektu”. Wiele z wniosków o dofinansowanie opiewało właśnie na tą minimalną kwotę projektu (chęć uniknięcia kosztów zawyżonych i dobrego postrzegania na tle konkurencji) ale niestety po ocenie merytorycznej i procesie negocjacji niektóre wydatki mogły zostać obniżone lub w ogóle usunięte z budżetu, co powodowało brak spełniania przez wniosek ww. kryterium. Aby nie wykluczać projektów z tego powodu, eksperci lub IOK sugerowali (o ile pozwoliła na to procedura negocjacji) aby wnioskodawca zdecydował się np. na zwiększenie liczby uczestników projektu (większe koszty) co de facto jednak przekładało się na zmiany w całym wniosku o dofinansowanie i mogło być postrzegane jako nadmierna ingerencja w koncepcję projektu. Na przyszłość zatem warto np. rozróżnić minimalną kwotę wnioskowaną od minimalnej wartości projektu. Warto również zauważyć, że jak dotąd niewykorzystaną pozostaje możliwość zastosowania kryteriów, w których komitet monitorujący (KM) dopuszcza modyfikowanie zakresu stosowania danego kryterium. Wytyczne w rozdziale 5 pkt 6 dają taką możliwość, wskazując że KM musi jedynie zatwierdzić ramy w jakich zakres stosowania danego kryterium jest możliwy. A zatem można wyobrazić sobie np. kryterium, które nie jest zdefiniowane na etapie jego zatwierdzania przez KM, ale niejako „oddaje” IOK możliwość jego sprecyzowania np. w regulaminie konkursu. Zakłada to oczywiście racjonalność stosowania przez IOK tego wyjątku ale w specyficznych konkursach np. innowacyjnych. Być może byłby to dobry pomysł na przekazanie ostatecznej decyzji odnośnie kształtu oczekiwanej interwencji w ręce osób piszących regulamin, wg którego ma być ona przeprowadzona. Propozycja takiego kryterium (odnoszącego się do efektów realizacji projektu) została zastosowana w konkursie na mikro innowacje w PO WER. Przez niektórych ekspertów dodatkowo podnoszona byłą kwestia progu 60 pkt w ocenie merytorycznej warunkującego przyznanie oceny pozytywnej. W niektórych konkursach okazało się to za mało, w innych - wystarczająco. Można zatem stosować wyższy próg punktowy (jest to możliwe pod warunkiem zmiany kryterium uchwałą KM) w przypadku wybranych konkursów, ale decyzję w tej sprawie powinna zawsze podejmować IOK. Nie ma więc konieczności modyfikacji zapisów Wytycznych w tym zakresie. 8. Procedura negocjacji. Istotnym problemem przy ocenie procesu negocjacji jest fakt, że nie zostały one jeszcze w żadnej IOK w pełni przeprowadzone i zakończone. Z uwagi na brak doświadczeń, trudno więc mówić o pełnej ocenie tego procesu. Nie ulega jednak wątpliwości, że jednym z głównych wyzwań jest dziś włączenie negocjacji do procesu oceny wniosków, co jest nowością w stosunku do rozwiązań stosowanych w okresie 2007-2013. Ponieważ mandat negocjacyjny jest wiążący dla obu stron kluczowe jest to co zostanie podniesione przez ekspertów jako przedmiot negocjacji. Przy czym niestety (zwłaszcza gdy ocena jest zewnętrzna) niektórzy eksperci nie dostrzegają we wnioskach oczywistych błędów i np. wydatków niekwalifikowanych – przez co permanentnie KOM są poddawane weryfikacji przez pracowników IOK i odsyłane do poprawy przez ekspertów. Odbywa się 21 to czasami kilkukrotnie i głównie od poziomu asertywności eksperta zależy ostateczny kształt i czas oceny. Niejednokrotnie trzeba „prosić” ekspertów o ponowne spojrzenie na zapisy wniosku w celu weryfikacji czy niczego nie pominęli, a jeśli ekspert jest stanowczy w swojej opinii – powstaje dylemat czy można podpisać umowę na projekt, który w opinii IOK (ale nie eksperta) zawiera np. wydatki niekwalifikowalne. Ostatnie propozycje rozwiązania tego dylematu wskazują m.in. na możliwość anulowania takiej oceny projektu i skierowania projektu do ponownej weryfikacji przez innych niezależnych ekspertów (co jest procesem dość czasochłonnym, wydłużającym ocenę wniosków) lub odmowy podpisania umowy przez IOK ze względu na fakt, że projekt nie spełnia wszystkich kryteriów, na podstawie których został wybrany do dofinansowania. Zgodnie ze stanowiskiem autorów ustawy, ewentualna poprawa wniosku pod tym kątem może nastąpić z inicjatywy IOK na zasadzie wyjątku i tylko wtedy gdy taką procedurę przewidziano w regulaminie konkursu oraz gdy było zastosowane takie kryterium wyboru projektów. Problemem przy kierowaniu wniosków do negocjacji jest szczególnie ocena warunkowa, ponieważ jej stosowanie może w pewien sposób wpływać na nierówne traktowanie beneficjentów. Istnieje realny problem wpływu oceniającego na kształt projektu – co de facto może mieć istotne znaczenie w przypadku wielu punktów wniosku skierowanych do negocjacji. Niektórzy eksperci nadal nie rozumieją na czym polega ocena warunkowa, a nawet jeśli już zrozumieją jej zasady to i tak za takie same uchybienia przyznawana jest przez różnych ekspertów bardzo różna wartość punktów warunkowych. Nie wydaje się spójne i uzasadnione to, że obecnie to ekspert decyduje ile dać punktów za uwzględnienie elementów podniesionych w negocjacjach i jedni proponują 2 pkt inni dają np. 8, co powoduje że powstają nierówne wymagania wobec wnioskodawców. Niektórzy eksperci również przyznają punkty warunkowe w zamian za usunięcie wydatków niekwalifikowalnych z projektu, podczas gdy inni uznają to za oczywistą konieczność i wskazują na obowiązek ich usunięcia bez przyznawania punktów warunkowych – co nie do końca jest zgodne z całą ideą punktów warunkowych. Panuje zatem obecnie dość duża dowolność w tym zakresie, a jest to kwestia w dużym stopniu ważąca na późniejszym losie projektów (punkty warunkowe mają istotne znaczenie dla ostatecznej liczby pkt jakie otrzymuje wniosek). Być może wskazane byłoby ograniczenie jakimś limitem (np. 25%) liczby możliwych punktów przyznawanych warunkowo. Jeśli wniosek otrzymałby więcej niż 25% punktów warunkowych (w stosunku do pkt bezwarunkowych) otrzymywałby ocenę negatywną i nie był przekazywany do negocjacji. IOK powinna mieć również możliwość ograniczenia liczby punktów lub % o jakie można zwiększyć punktację projektu na negocjacjach – tak aby wniosek skierowany do negocjacji w efekcie nie uzyskiwał większej liczby punktów niż wnioski ocenione bezwarunkowo (bez negocjacji). Warto jednocześnie pamiętać o tym, że art. 46. ust 2. ustawy wdrożeniowej daje IOK już po rozstrzygnięciu konkursu możliwość zwiększenia kwoty przeznaczonej na dofinansowanie projektów w konkursie, tak aby umożliwić również objęcie finansowaniem projektów, które pozytywnie zakończyły negocjacje. Pewne wątpliwości interpretacyjne budzi tu także zapis pkt 5 w rozdziale 10.4 Wytycznych, który wskazuje że o kolejności projektów na liście rankingowej decyduje liczba punktów przyznana danemu projektowi bezwarunkowo albo liczba punktów przyznana danemu projektowi w wyniku negocjacji. Zapis ten może być nieco mylący dla IOK, ponieważ de facto nie jest możliwe dofinansowanie projektów wcześniej niż po zakończeniu negocjacji. Należałoby go zatem doprecyzować. Inną rzeczą jest fakt, że dziś – wg interpretacji stosowanej przez większość ekspertów - można negocjować praktycznie wszystkie elementy WNOD, podczas gdy negocjacje powinny raczej być ograniczone tylko do określonych elementów wniosku np. tylko do budżetu i wskaźników( IOK mogłaby sama określać w regulaminie które elementy wniosku w danym konkursie podlegają negocjacjom).Zasadne jest również, aby w procesie negocjacji brały udział także te osoby, które 22 dokonywały oceny danego wniosku o dofinansowanie (eksperci) co obecnie jest możliwe, ale nie przez wszystkie IOK stosowane w praktyce. 9. Dokumenty regulujące wybór projektów. Generalnie ani „ustawa wdrożeniowa” ani dokumenty regulacyjne (np. Wytyczne wyboru projektów, minimalny zakres regulaminu konkursu itp.) nie budziły wątpliwości jako całość – ewentualnie kwestionowane były (raczej rzadko) zapisy dotyczące poszczególnych, pojedynczych procesów. Co do Wytycznych, to należy jednak zauważyć, że ich użyteczność jest nieco ograniczona ze względu na fakt, że zawierają bardzo wiele zapisów dość „życzeniowych”, wskazujących „ideę i ducha” procedur, przy czym praktycy wskazują, że w rzeczywistości ich praktyczne zastosowanie ogranicza się do zachowania niezbędnego minimum zgodności i poprawności formalnej – bez poszukiwania bardziej złożonych i kreatywnych rozwiązań w zakresie procedury wyboru projektów. Jest to konsekwencją tego że wytyczne muszą być maksymalnie elastyczne, aby uwzględnić bardzo różne podejście stosowane w innych funduszach i programach operacyjnych, przez co zakres możliwych dostosowania rozwiązań jest w nich dość szeroki. Powoduje to, że eksperci oceniający wnioski dość niechętnie sięgają do Wytycznych, w poszukiwaniu różnych opcji usprawnienia procesu oceny, trzymając się raczej formuły standardowej, stosowanej w dotychczasowych konkursach. Z drugiej strony część osób oceniających projekty w IP oczekuje znacznie większego poziomu szczegółowości Wytycznych, łącznie ze wskazywaniem jak należy postąpić w różnych niestandardowych sytuacjach. Nie jest to jednak dobra droga do zapewnienia elastyczności systemu wdrażania. Istnieje także co prawda poczucie, że występują pewne niespójności pomiędzy różnymi dokumentami regulującymi system wdrażania, jednak w praktyce większość respondentów nie potrafiła ich precyzyjnie wskazać. 23 Wnioski (bardziej) strategiczne: 1. System wyboru projektów to obszar nieustannego przenikania się i nierzadko pewnego konfliktu interesów, które dotyczą co najmniej 3 stron: beneficjentów, IOK, służb audytowo – kontrolnych. Warto mieć świadomość tego, jakie czynniki odgrywają rolę w odniesieniu do funkcjonowania tego systemu i wpływają nieustannie na jego kształt. Głównym celem i motywacją wielu podmiotów z tej pierwszej kategorii jest otrzymać środki – często w dużym skrócie i uproszczeniu „wszystko jedno na co i ile”, ważne aby pozwoliły one na utrzymanie stanowisk pracy, ewentualnie zatrudnienie nowego personelu i zapewnienie funkcjonowania wnioskodawcy. Nie dotyczy to już nawet wyłącznie podmiotów prywatnych, ale także części instytucji publicznych (np. szkoły, jednostki samorządowe itp.). IOK z kolei mają na celu przede wszystkim wydatkowanie alokacji którą zarządzają (z tego są rozliczani „politycznie”), a także osiągnięcie zakładanych wskaźników (odpowiedzialność „merytoryczna”). Starają się to robić uwzględniając bardzo często rozbudowane oczekiwania IZ i KE odnośnie kształtu oczekiwanych interwencji – co nie zawsze spotyka się ze zrozumieniem innych podmiotów, komunikujących rzeczywiste potrzeby w tym zakresie (niektórzy beneficjenci, partnerzy, praktycy w danym obszarze). Z kolei służby audytowo – kontrolne mają dość sprecyzowane oczekiwania co do powtarzalności i przewidywalności systemu wyboru projektów, dążąc do zapewnienia jego racjonalności (a także standaryzacji w wymiarze finansowym) i formalnej poprawności wydatków, przy ograniczonym zaufaniu do wszystkich uczestników tego systemu. Wydaje się zatem, że dziś dylematy rozwojowe systemu wdrażania mogą ogniskować się jedynie na różnicowaniu intensywności udziału poszczególnych funkcji (interesów), ale pozostają ograniczone tymi trzema kierunkami działania w mniejszym lub większym stopniu. Od siły oddziaływania danego środowiska w danym momencie zależy sztywność/elastyczność systemu wyboru projektów odzwierciedlająca się kształtem i poziomem szczegółowości procedur. 2. Niejasna jest (na razie przynajmniej) tak dla oceniających, jak i dla beneficjentów kwestia poziomu szczegółowości charakterystyki projektu. Wnioskodawcy często przepisują zapisy regulaminu konkursu, które same w sobie są już dość szczegółowe, licząc że to wystarczy do pozytywnej weryfikacji za pomocą kryteriów wyboru projektów. Natomiast oceniający oczekują o wiele bardziej precyzyjnych, szczegółowych informacji wskazujących m.in. kto konkretnie będzie objęty wsparciem, jakie wsparcie otrzyma, co uzyska jako efekt, jakie to przyniesie rezultaty długofalowe itp. Niespójny jest już sam przekaz ze strony IOK co do tego czy: zakładamy że identyfikacji problemu i metod jego rozwiązania dokonała już IZ w programie operacyjnym i nie jest to rolą beneficjenta, czy też beneficjent powinien jeszcze zawsze uszczegółowić zakres swojej interwencji i nie może pozostawać np. w opisie grupy docelowej na poziomie szczegółowości opisu z dokumentów programowych. Wydaje się, że obecnie zależy to w dużym stopniu od charakterystyki danego konkursu/interwenci/typu projektu. Zastosowane w konkursie IZ dotychczas kryteria wyboru projektów nie pozwoliły niestety na uzyskanie wystarczająco szczegółowych opisów projektu - na co liczono. Część wnioskodawców nie opisała np. swojego doświadczenia czy potencjału, ale jedynie wskazała (jako deklarację, zapewnienie), że je posiada. O ile jest to wystarczające na etapie oceny formalnej (kryteria dostępu) o tyle nie wystarczy już do oceny merytorycznej gdzie oceniający powinien widzieć jak wygląda i móc ocenić to doświadczenie - czy jest zgodne z ideą konkursu, jak jest bogate, na czym polegało itp. 24 3. Niektóre IOK oczekują większego poziomu doprecyzowania obowiązujących dokumentów programowych i precyzyjnego definiowania różnych możliwych sytuacji. Ze względu na fakt, że np. różne Wytyczne obowiązują nie tylko instytucje systemu wdrażania PO WER, ale również RPO, ich poziom szczegółowości siłą rzeczy nie jest duży. Stąd istnieje oczekiwanie po stronie IP do większego doprecyzowywania niektórych kwestii (np. jakie decyzje w określonych sytuacjach powinien podjąć przewodniczący KOP, jak postępować w sytuacji nieprawidłowej (niedostrzeganie wydatków niekwalifikowalnych) oceny przeprowadzonej przez eksperta itp.). Receptą na to mogłyby być Wytyczne programowe, których przygotowanie byłoby jednak uzasadnione w szczególności do podobnego typu interwencji, a więc np. dla WUP w osi I. W pozostałych przypadkach, zróżnicowana charakterystyka typów interwencji wymaga raczej bardziej elastycznego i indywidualnego podejścia do procesu wyboru projektów i w związku z tym nie wiadomo, na ile zasadne byłoby w ogóle przygotowywanie bardziej szczegółowych rozwiązań wspólnych dla tak różnych typów interwencji. Już dziś bowiem w przypadku niektórych procesów problemem jest zbyt daleko idąca koordynacja, polegająca na definiowaniu bardzo szczegółowo konkretnych sytuacji przez co zapewniając większą spójność i porównywalność danych za każdym razem jednocześnie ograniczamy sobie swobodę działania w sytuacjach nieprzewidzianych, które z pewnością prędzej czy później się pojawią. Najgorzej jeśli reakcja IZ w postaci modyfikacji całego systemu następuje w oparciu tylko o tą jedną czy dwie sytuacje niestandardowe. Nie badamy tego jak często dane zjawisko występuje tylko zmieniamy procedury bez badania wpływu tej zmiany na całość systemu wdrażania - a często ten wpływ ujawnia się dopiero po pewnym czasie i powoduje niespójności. Dokonywanie zmian ad hoc (poza sytuacjami oczywistymi) nie jest więc najlepszym pomysłem - lepiej byłoby zbierać sytuacje niestandardowe w kategorii np. "inne" i dopiero potem analizować, jak wiele z nich było tego samego rodzaju, co świadczyć może o potrzebie zmiany systemu w tym zakresie. 4. Być może idea pełnego i wolnego dostępu do funduszy dla wszystkich nie powinna być nadmiernie eksploatowana, tak aby nie "naginać" wypracowanych często z dużym trudem i kompromisowych rozwiązań w ramach systemu do sytuacji jednostkowych (nietypowych), ale raczej godzić się z tym, że ktoś nie otrzyma wsparcia ponieważ takie są „reguły gry”. Pozostawianie bardzo szerokiego katalogu beneficjentów mogących ubiegać się o dofinansowanie skutkuje tym, że trzeba liczyć się z próbami „prześlizgnięcia się” przez ocenę projektów, choć z góry wiadomo, że nie spełnią określonych kryteriów - ale mimo wszystko próbują, ponieważ są podmiotami uprawnionymi do aplikowania o środki. 5. Jeszcze inną ujawnioną w toku badania cechą są sprzeczności i nadmierne oczekiwania wobec systemu wdrażania. Elementy systemu powinny być tak projektowane, aby każdy z nich pełnił jak najlepiej określone ale w miarę możliwości pojedyncze funkcje i role. Nadmierna multifunkcjonalność nie jest jednak pożądana, ponieważ jakość poszczególnych funkcji spada wprost proporcjonalnie do ich większej liczby, a do tego bywają one ze sobą sprzeczne. Przykładem jest to że np. szkolenia dla uczestników projektów z jednej strony mają być zgodne z IPD i dostosowane do indywidualnych potrzeb uczestnika, a z drugiej muszą się kończyć nabyciem kwalifikacji powszechnie uznawanych - co nie jest możliwe w wielu poszukiwanych zawodach. Stawia to beneficjentów i IOK przed dylematem wyboru, które oczekiwania spełnić, a których nie, licząc na to że funkcja kontrolna systemu tego nie zidentyfikuje lub pominie. Takie sprzeczne oczekiwania najczęściej wynikają z faktu, że poszczególni aktorzy systemu nie mają ze sobą wystarczająco często bieżącego kontaktu, wystarczającego do pełnego informowania się o prowadzonych działaniach. Niezbędna jest tu funkcja koordynacyjna, refleksyjna a także szersza 25 współpraca horyzontalna – chociażby pomiędzy różnymi pionami, wydziałami IZ PO WER – w celu zapewnienia większej spójności systemu wdrażania. Udział naczelników lub pracowników innych wydziałów IZ w spotkaniach grup roboczych czy innych gremiów organizowanych przez dany wydział wydaje się niezbędny. Dobrym narzędziem okazały się też szkolenia wewnętrzne, ale ich praktyka jest dziś już niewystarczająca. W systemie nie ma bowiem mechanizmów zachęcających do regularnego udziału w tego typu spotkaniach i korzystania z dostępnej tam wiedzy. 6. Problematyczne staje się to, że zarówno dokumenty, jak i poszczególne narzędzia systemu realizacji zaczynają pełnić różne, nawet zbyt różnorodne role w tym systemie. Spowodowane jest to faktem, że różne oczekiwania przypisywane im są przez poszczególnych użytkowników systemu wdrażania. Przykładem jest KOM, która wg oceniających powinna służyć nie tylko opisaniu wyniku oceny, ale także mieć wartość edukacyjną, pozwalając na wpisanie przez oceniającego zarówno tego co wnioskodawca zrobił niewłaściwie, czego zabrakło we wniosku jak i tego co oceniający uważa za szczególną wartość, za co najbardziej docenia projekt itp. To jest dziś możliwe tylko przy negatywnej lub warunkowo pozytywnej ocenie ale nie jest możliwe wskazanie takiego uzasadnienia przy ocenie pozytywnej. Niektórzy oceniający chcieliby mieć taką możliwość również w tym przypadku – tak aby KOM mógł pełnić również rolę edukacyjną dla wnioskodawców (wiedza o tym co poprawić przy kolejnym wniosku i na co zwrócić uwagę podczas wdrażania projektu). Zdecydowanie należy jednak ograniczać wielość funkcji pełnionych przez dany proces, podmiot czy narzędzie, ponieważ każda kolejna funkcja zwiększa wymagania i komplikuje poprzednie funkcje w systemie. Klasycznym przykładem „przeregulowania” w tym zakresie były Plany działania PO KL, które miały początkowo być narzędziem komunikacji między IZ a IP PO KL a następnie stały się również narzędziem komunikacji założeń wsparcia dla beneficjentów czy wreszcie przedmiotem kontroli ze strony Komisji Europejskiej. Spowodowało to m.in. że przestały być dokumentem niezmiennym a proces ich modyfikacji przebiegał praktycznie na bieżąco. Aby tego uniknąć należy konsekwentnie traktować dane narzędzie czy proces jako przeznaczone do jednego, konkretnego celu. Np. KOM wyłącznie jako dokumentacja wyniku oceny. Pozostałe funkcje nie powinny mieć charakteru równoprawnego z funkcją podstawową. 7. W kilku miejscach ujawnia się podobieństwo systemu wyboru projektów w PO WER do procesu wyboru wykonawcy zamówienia publicznego. Dotyczy to w szczególności tworzenia regulaminu konkursu, który jest dziś nierzadko odpowiednikiem SOPZ. Doświadczenie z zamówień publicznych wskazuje, że najlepszą metodą przygotowywania kolejnych zamówień jest opracowywanie ich założeń na podstawie sprawdzonych zapisów z poprzednich SOPZ (najlepiej tych ostatnich lub jak najmniej oddalonych w czasie), ze względu na fakt, że zapisy tych dokumentów ewoluują i pozostają w nich pewne zapisy stałe oraz część, która podlega modyfikacji w zależności od charakteru/typu zamówienia. Podobnie wydaje się wyglądać sytuacja z regulaminem konkursu. Podobieństwo do PZP ujawnia się także przy ocenie złożonych wniosków, które są nierzadko „ofertą” realizacji danego „zamówienia” (konkursu). Warto zatem czerpać z bogatych doświadczeń procesu zamówień publicznych i korzystać ze sprawdzonych rozwiązań tam już stosowanych. 8. Zasady i procedury systemu wdrażania EFS nie są jednoznaczne i zrozumiałe dla przeciętnej organizacji czy podmiotu, który nie jest wyspecjalizowany w obsłudze środków EFS. Trudno w związku z tym oczekiwać że z sukcesem będą aplikować podmioty, które być może mają potencjał społeczny, ale brak im doświadczenia i „sprytu” podmiotów wyspecjalizowanych w 26 procedurach EFS. Jest to spowodowane cały czas zbyt skomplikowanym językiem oficjalnych dokumentów i stosowaniem nierzadko zawiłych i zawierających wielokrotne warunki interpretacji przepisów. Sytuacji nie poprawia również stosowanie w oficjalnych interpretacjach IZ zwrotów typu: beneficjent powinien rozważyć, powinien zwrócić uwagę, należy przeanalizować, co do zasady, należy kierować się zasadą racjonalności itp. O ile zwroty te same w sobie są często trudne do uniknięcia przy rozpatrywaniu konkretnych sytuacji, o tyle ich nadmierne nagromadzenie w jednym piśmie czy dokumencie powoduje jego nieprzejrzystość, niejednoznaczność interpretacyjną, „rozmycie” odpowiedzialności za podejmowanie wiążącej decyzji. W tym sensie interpretacje IZ czy IP przestają pełnić rolę oficjalnej wykładni, ale stanowią raczej opis sposobu postępowania, jakie należy przeprowadzić aby dopiero dokonać rzeczywistej interpretacji konkretnego przypadku – przy czym jest to zadanie przesuwane w hierarchii systemu wdrażania na coraz niższe poziomy. Nie sprzyja to niestety budowaniu spójności systemu orzeczniczego, spójnej wykładni przepisów czy też jednolitego postępowania w określonych sytuacjach i długofalowo prowadzi raczej do dywergencji w zakresie praktyki stosowania systemu wdrażania EFS pomiędzy różnymi podmiotami w ten proces zaangażowanymi. Dodatkowo, powszechnie stosowana wielo-warunkowość, polegająca na konieczności zapewnienia wielu często wielu wzajemnie niespójnych czasem do spełnienia przesłanek powoduje, że zaburzone zostają proporcje w postrzeganiu tego co najważniejsze i priorytetowe, w stosunku do pozostałych aspektów interwencji. W konsekwencji zapewnienie, że wydatek poniesiony na przejazd uczestnika szkolenia na miejsce świadczenia usług w projekcie jest racjonalny, uzasadniony, poniesiony w uzasadnionej wysokości, rzeczywisty i trwały, powoduje że brakuje już czasu i energii na to, by zweryfikować czy akurat to szkolenie było uczestnikowi potrzebne i czy udział w nim zmienił cokolwiek w jego sytuacji społeczno – zawodowej. 27
