Metodologia

Ewaluacja ex post projektu systemowego PARP pt. „Utworzenie i dokapitalizowanie Funduszu Pożyczkowego Wspierania
Innowacji” w ramach Pilotażu w III osi priorytetowej PO IG
Metodologia badania
Cel i przedmiot badania
Niniejsze badanie dotyczy ewaluacji ex-post projektu systemowego PARP pt. „Utworzenie i
dokapitalizowanie Funduszu Pożyczkowego Wspierania Innowacji w ramach Pilotażu w III osi
priorytetowej Programu Operacyjnego Innowacyjna Gospodarka, 2007-2013”. Badanie objęło cztery
cele główne:
❶
Ocena stopnia realizacji celów projektu (w tym osiągnięcia wskaźników)
❷
Ocena znaczenia projektu dla rozwoju i funkcjonowania przedsiębiorstwpożyczkobiorców (w tym wzrostu innowacyjności)
❸
Ocena jakości realizacji projektu i podsumowanie doświadczeń z procesu
uruchomienia i funkcjonowania Funduszu (w tym w relacji do otoczenia
rynkowego)
❹
Wypracowanie zaleceń dla funkcjonowania Funduszu w okresie 2015-2020
(aktualizacja założeń, usprawnienia procesu, zmiany regulacyjne /
systemowe)
Cele szczegółowe ewaluacji zakładają uzyskanie pogłębionych odpowiedzi na wskazane poniżej
pytania ewaluacyjne:
1) Ocena stopnia realizacji celów projektu (w tym osiągnięcia wskaźników)
-
W jakim stopniu projekt realizuje założone cele sformułowane w dokumentacji
programowej i projektowej?
-
Czy założenia projektu zostały odpowiednio sformułowane (cele, wskaźniki, grupy
docelowe, reguły finansowania, itp.)?
-
Jakie są niezamierzone (uboczne) skutki realizacji projektu – pozytywne i negatywne?
-
Czy można było podjąć alternatywne działania rozwojowe lub wprowadzić modyfikacje
reguł funkcjonowania funduszu (na wszystkich poziomach – od naboru i oceny wniosków,
poprzez monitoring, kontrolę po rozliczanie; w kontekście współpracy z wnioskodawcami,
beneficjentami i współinwestorami), które przyniosłyby lepsze efekty? W jaki sposób można
było osiągnąć te same efekty, mniejszym nakładem (efektywniej).
2) Ocena znaczenia projektu dla rozwoju i funkcjonowania przedsiębiorstw-pożyczkobiorców (w
tym wzrostu innowacyjności)
-
Jak zmieniły się przedsiębiorstwa dzięki realizacji przedsięwzięć sfinansowanych przy udziale
funduszu (w ujęciu wybranych parametrów ekonomicznych i wskaźników miękkich)? Czy
zmiany te są zgodne z oczekiwaniami przedsiębiorców?
-
Na ile wymagany udział inwestora kapitałowego w strukturze właścicielskiej firmy i
finansowaniu przedsięwzięcia stanowi korzyść, a na ile ograniczenie dla rozwoju
przedsiębiorstwa? Czy inwestorzy, poza kapitałem, oferowali także wsparcie w zarządzaniu
firmą, planowaniu, podejmowaniu decyzji? Jakiego rodzaju wsparcie było oferowane i jak jest
oceniane przez obie strony - inwestorów i beneficjentów funduszu (w odpowiedzi należy
uwzględnić ewentualne różnice pomiędzy aniołami biznesu i funduszami VC)?
-
W jakim stopniu przedsięwzięcia realizowane w oparciu o środki funduszu są unikalne
(innowacyjne) w skali przedsiębiorstwa lub rynku, na którym funkcjonuje przedsiębiorstwo?
-
Czy w realizację przedsięwzięć innowacyjnych, wspartych ze środków funduszu, był
angażowany sektor nauki (eksperci, instytuty badawcze) lub inne przedsiębiorstwa,
dostarczając technologii, know-how lub innych zasobów?
-
W jakim stopniu przedsięwzięcia będące przedmiotem wsparcia ze środków funduszu,
byłyby zrealizowane bez udzielonej pożyczki? Czy przedsiębiorstwa, bez udziału funduszu,
zgromadziłyby wystarczające środki finansowe na realizację przedsięwzięć (od inwestora, z
innych źródeł)? Na ile udział w projekcie wpłynął na poprawę dostępności finansowania
zewnętrznego, poprawę
proinnowacyjne
wyników
ekonomicznych,
przedsiębiorstw-pożyczkobiorców
plany
(w
inwestycyjne
porównaniu
i postawy
do
sytuacji
przedsiębiorstw nieskutecznie aplikujących o środki funduszu)?
-
Czy przedsiębiorstwa, które uzyskały wsparcie funduszu będą w stanie spłacić otrzymaną
pożyczkę, a inwestorzy wyjść z zyskiem z inwestycji (w założonym w projekcie okresie)?
3) Ocena jakości realizacji projektu i podsumowanie doświadczeń z procesu uruchomienia i
funkcjonowania funduszu (w tym w relacji do otoczenia rynkowego)
-
Jakie były najważniejsze trudności w uruchomieniu funduszu i dotychczasowym jego
funkcjonowaniu? W jaki sposób można zapobiec występowaniu podobnych trudności w
nowym okresie programowania (PO IR 2014-2020)?
-
Jak funkcjonowanie funduszu jest oceniane przez przedstawicieli rynku kapitałowego i
instrumentów dłużnych (fundusze pożyczkowe, sektor bankowy, itp.)?
Ewaluacja ex post projektu systemowego PARP pt. „Utworzenie i dokapitalizowanie Funduszu Pożyczkowego Wspierania
Innowacji” w ramach Pilotażu w III osi priorytetowej PO IG
-
Na ile reguły finansowania zastosowane w funduszu są atrakcyjne dla przedsiębiorców i
inwestorów? Czy podobny mechanizm finansowy będzie atrakcyjny na rynku i
komplementarny w systemie instrumentów PO IR 2014-2020?
4) Zalecenia dla funkcjonowania funduszu w okresie 2015-2020 (aktualizacja założeń, usprawnienia
procesu, zmiany regulacyjne / systemowe)
-
Jakie dotychczasowe założenia funduszu warto zmodyfikować, aby zwiększyć efektywność
analogicznego instrumentu planowanego w PO IR 2014-2020 (oraz efektywność wsparcia PO
IG udzielonego w oparciu o środki odzyskane ze spłaty dotychczasowych pożyczek z
funduszu)?
-
Jakie zmiany o charakterze systemowym i regulacyjnym są konieczne, aby mechanizm
funduszu funkcjonował poprawnie (realizował założone cele)?
-
Jakie usprawnienia o charakterze procesowym (np. obsługa przedsiębiorców, praca
komitetów inwestycyjnych, współdziałanie z inwestorami i partnerami społecznogospodarczymi) warto wprowadzić w funduszu w przyszłości?
Metodologia i logika badania
Lp.
Metoda / technika
badawcza
1.
Desk research
2.
Ilościowa analiza
wniosków
3.
Indywidualne wywiady
pogłębione - IDI
4.
Indywidualne wywiady
pogłębione (IDI lub
diady)
5.
Indywidualne wywiady
pogłębione (IDI)
6.
7.
8.
Ankietowanie
przedsiębiorstw
(pożyczkobiorców)
Ankietowanie
przedsiębiorstw
(wnioskodawców, który
ostatecznie nie
otrzymali pożyczek)
Zogniskowany wywiad
grupowy (FGI)
Opis
Analiza danych zastanych, w szczególności: dokumentacji programowej
Programu Operacyjnego Innowacyjna Gospodarka (PO IG, 2007-2013),
Programu Operacyjnego Inteligentny Rozwój (PO IR, 2014-2020),
dokumentacji projektowej FPWI, baz danych na temat wnioskodawców
i beneficjentów, sprawozdań z działalności FPWI, badań i ekspertyz
związanych z problematyką finansowania, luki finansowej, a także
innych opracowań, adekwatnych do przedmiotu niniejszej ewaluacji.
Analiza wniosków o udzielenie pożyczek (wraz z biznes planami)
złożonych przez pożyczkobiorców, N=58 wniosków.
Wywiady z przedstawicielami administracji (PARP, Ministerstwo
Gospodarki, Ministerstwo Infrastruktury i Rozwoju), w tym z osobami
biorącymi udział w pracach Komitetu Inwestycyjnego FPWI (N=4 IDI).
Wywiady z ekspertami rynku finansowego oraz przedstawicielami
partnerów społeczno-gospodarczych (np. Polski Związek Funduszy
Pożyczkowych, Lewiatan Business Angels), N=7 IDI.
Wywiady z inwestorami kapitałowymi, zaangażowanymi w projekty
pożyczkobiorców, N=14 IDI (aniołowie biznesu i fundusze venture
capital).
Badanie ilościowe CATI wykonane na całej populacji pożyczkobiorców
(wywiady z osobami odpowiedzialnymi za projekt, na który zaciągnięta
została pożyczka). Przebadano ok. połowy pożyczkobiorców.
Badanie ilościowe CATI zrealizowane na całej populacji nieskutecznych
wnioskodawców - przedsiębiorstw, które wnioskowały o pożyczkę
(spełniły warunki formalne), ale jej nie otrzymały (wywiady z osobami
zajmującymi się pozyskaniem pożyczki z FPWI. Przebadano ok. jednej
czwartej populacji.
Wywiad grupowy z ekspertami Komitetu Inwestycyjnego FPWI,
zaangażowanymi w ocenę wniosków oraz wybór (rekomendowanie
PARP) projektów do sfinansowania pożyczką FPWI.
Ewaluacja ex post projektu systemowego PARP pt. „Utworzenie i dokapitalizowanie Funduszu Pożyczkowego Wspierania Innowacji” w ramach Pilotażu w III osi priorytetowej PO IG
Tab. 1. Przyporządkowanie pytań do metod / technik badawczych zaplanowanych w ramach minimum metodologicznego ewaluacji
Desk
research
Zagadnienia i pytania ewaluacyjne
1
W jakim stopniu projekt realizuje założone cele sformułowane w
dokumentacji programowej i projektowej?
1b
Czy założenia projektu zostały odpowiednio sformułowane (cele,
wskaźniki, grupy docelowe, reguły finansowania, itp.)?
1c
Jakie są niezamierzone (uboczne) skutki realizacji projektu – pozytywne i
negatywne?
2
2a
2b
2c
IDI - administracja
i komitety
Inwestycyjne
IDI - eksperci
rynku
finansowego
IDI - inwestorzy
kapitałowi
CATI beneficjenci
CATI wnioskodawcy
nieskuteczni
FGI
Ocena stopnia realizacji celów projektu (w tym osiągnięcia wskaźników)
1a
1d
Analiza
ilościowa
Czy można było podjąć alternatywne działania rozwojowe lub
wprowadzić modyfikacje reguł funkcjonowania funduszu (na wszystkich
poziomach – od naboru i oceny wniosków, poprzez monitoring, kontrolę
po rozliczanie; w kontekście współpracy z wnioskodawcami,
beneficjentami i współinwestorami), które przyniosłyby lepsze efekty? W
jaki sposób można było osiągnąć te same efekty, mniejszym nakładem
(efektywniej)?

















Ocena znaczenia projektu dla rozwoju i funkcjonowania przedsiębiorstw-pożyczkobiorców (w tym wzrostu innowacyjności)
Jak zmieniły się przedsiębiorstwa dzięki realizacji przedsięwzięć
sfinansowanych przy udziale funduszu (w ujęciu wybranych parametrów
ekonomicznych i wskaźników miękkich)? Czy zmiany te są zgodne z
oczekiwaniami przedsiębiorców?
Na ile wymagany udział inwestora kapitałowego w strukturze
właścicielskiej firmy i finansowaniu przedsięwzięcia stanowi korzyść, a na
ile ograniczenie dla rozwoju przedsiębiorstwa? Czy inwestorzy, poza
kapitałem, oferowali także wsparcie w zarządzaniu firmą, planowaniu,
podejmowaniu decyzji? Jakiego rodzaju wsparcie było oferowane i jak
jest oceniane przez obie strony - inwestorów i beneficjentów funduszu
(w odpowiedzi należy uwzględnić ewentualne różnice pomiędzy aniołami
biznesu i funduszami VC)?
W jakim stopniu przedsięwzięcia realizowane w oparciu o środki
funduszu są unikalne (innowacyjne) w skali przedsiębiorstwa lub rynku,
na którym funkcjonuje przedsiębiorstwo?














Zagadnienia i pytania ewaluacyjne
2d
2e
2f
3
3a
3b
3c
4
4a
4b
4c
Czy w realizację przedsięwzięć innowacyjnych, wspartych ze środków
funduszu, był angażowany sektor nauki (eksperci, instytuty badawcze)
lub inne przedsiębiorstwa, dostarczając technologii, know-how lub
innych zasobów?
W jakim stopniu przedsięwzięcia będące przedmiotem wsparcia ze
środków funduszu, byłyby zrealizowane bez udzielonej pożyczki? Czy
przedsiębiorstwa, bez udziału funduszu, zgromadziłyby wystarczające
środki finansowe na realizację przedsięwzięć (od inwestora, z innych
źródeł)? Na ile udział w projekcie wpłynął na poprawę dostępności
finansowania zewnętrznego, poprawę wyników ekonomicznych, plany
inwestycyjne
i
postawy
proinnowacyjne
przedsiębiorstwpożyczkobiorców (w porównaniu do sytuacji przedsiębiorstw
nieskutecznie aplikujących o środki funduszu)?
Czy przedsiębiorstwa, które uzyskały wsparcie funduszu będą w stanie
spłacić otrzymaną pożyczkę, a inwestorzy wyjść z zyskiem z inwestycji (w
założonym w projekcie okresie)?
Desk
research
Analiza
ilościowa
IDI - administracja
i komitety
Inwestycyjne
IDI - eksperci
rynku
finansowego


IDI - inwestorzy
kapitałowi
CATI beneficjenci






CATI wnioskodawcy
nieskuteczni
FGI



Ocena jakości realizacji projektu i podsumowanie doświadczeń z procesu uruchomienia i funkcjonowania funduszu (w tym w relacji do otoczenia rynkowego)
Jakie były najważniejsze trudności w uruchomieniu funduszu i
dotychczasowym jego funkcjonowaniu? W jaki sposób można zapobiec
występowaniu podobnych trudności w nowym okresie programowania
(PO IR 2014-2020)?
Jak funkcjonowanie funduszu jest oceniane przez przedstawicieli rynku
kapitałowego i instrumentów dłużnych (fundusze pożyczkowe, sektor
bankowy, itp.)?
Na ile reguły finansowania zastosowane w funduszu są atrakcyjne dla
przedsiębiorców i inwestorów? Czy podobny mechanizm finansowy
będzie atrakcyjny na rynku i komplementarny w systemie instrumentów
PO IR 2014-2020?











Zalecenia dla funkcjonowania funduszu w okresie 2015-2020 (aktualizacja założeń, usprawnienia procesu, zmiany regulacyjne / systemowe)
Jakie dotychczasowe założenia funduszu warto zmodyfikować, aby
zwiększyć efektywność analogicznego instrumentu planowanego w PO IR
2014-2020 (oraz efektywność wsparcia PO IG udzielonego w oparciu o
środki odzyskane ze spłaty dotychczasowych pożyczek z funduszu)?
Jakie zmiany o charakterze systemowym i regulacyjnym są konieczne,
aby mechanizm funduszu funkcjonował poprawnie (realizował założone
cele)?
Jakie usprawnienia o charakterze procesowym (np. obsługa
przedsiębiorców, praca komitetów inwestycyjnych, współdziałanie z
inwestorami i partnerami społeczno-gospodarczymi) warto wprowadzić














Ewaluacja ex post projektu systemowego PARP pt. „Utworzenie i dokapitalizowanie Funduszu Pożyczkowego Wspierania Innowacji” w ramach Pilotażu w III osi priorytetowej PO IG
Zagadnienia i pytania ewaluacyjne
w funduszu w przyszłości?
Desk
research
Analiza
ilościowa
IDI - administracja
i komitety
Inwestycyjne
IDI - eksperci
rynku
finansowego
IDI - inwestorzy
kapitałowi
CATI beneficjenci
CATI wnioskodawcy
nieskuteczni
FGI
Badanie zrealizował zespół ewaluatorów z firmy Pag Uniconsult pod kierownictwem dr. Macieja
Gajewskiego w okresie lipiec - październik 2015 r.