BAROMETR INNOWACYJNOŚCI - innowacje.kujawsko

2014
Dobre praktyki w zakresie
monitoringu i ewaluacji w Polsce:
„BAROMETR INNOWACYJNOŚCI”
Warsztaty monitorowania inteligentnych specjalizacji w Polsce
Warszawa, 12 marca 2014 r.
Jacek Pokorski
PARP
Idea ewaluacji on-going
 Istotą ewaluacji programów publicznych jest przede wszystkim
ustalenie efektów podejmowanych działań.
 Dla zapewnienia aktualnych informacji w zakresie produktywności
wdrażanych instrumentów, potrzeba gromadzenia danych na bieżąco, w
sposób systematyczny (on-going)
 Pomiar wskaźników ustanowionych dla celów Programu i ocena ich wartości
 skwantyfikowanie zmiany wywołanej podjętą interwencją
 dostęp do wiedzy w jakim stopniu dany program okazuje się skuteczny
(tj. realizuje postawione przed nim cele)
Klucz do podejmowania bieżących decyzji
w procesie wdrażania!
Idea ewaluacji on-going w PO IG
 Ewaluacje typu on-going w perspektywie 2004-2006 (best practice)
 Model ewaluacji on-going w POIG wzorowany na Ocenie rezultatów
Działania 2.1 i 2.3 SPO WKP po 18 miesiącach
 Cechy ewaluacji on-going wybranych działań POIG
 Pomiar bezpośrednich rezultatów Programu
(tj. obserwowanych zmian dotyczących beneficjentów)
 Analiza jakości procesów realizacji Programu
 Ocena wpływu interwencji na zaadresowany obszar
Koncepcja ewaluacji „działania” Programu oparta na
wskaźnikach („indicator-based evaluation framework”)
 wskaźniki celów interwencji (rezultaty, wpływ)
 wskaźniki preferencji i satysfakcji konsumentów
(beneficjentów)
Projektowanie ewaluacji on-going PO IG (2008-2010)
 Bieżący pomiar wskaźników i ocena efektów…, ale jakich???
mapa „0” (brak matrycy logicznej Działań PO IG)
 Rekonstrukcja teorii Programu
 Analiza celów i logiki programowej PO IG w Działaniach PARP
 Audyt danych (dostępnych w systemie POIG, w statystyce publicznej)
 Analiza wskaźników w PO IG i opracowanie katalogu
wskaźników ewaluacyjnych dla Działań PARP
mapa „3” (kompletna logika Działań PO IG wdrażanych przez PARP)
+ Baza wskaźników ewaluacyjnych
 Wypracowanie koncepcji realizacji badań on-going
(„BAROMETR INNOWACYJNOŚCI”)
 Opracowanie narzędzi badawczych (kwestionariuszy CAWI)
Wdrożenie „BAROMETRU INNOWACYJNOŚCI” (2011)
 Koncepcja realizacji ewaluacji on-going:
 8 projektów ewaluacji zintegrowanych w ramach
systemu internetowych badań ewaluacyjnych
(system ewaluacji PARP dla Działań PO IG adresowanych
do przedsiębiorstw)
 Logika pomiaru - idea pomiaru początkowego i końcowego
 Narzędzia badawcze – standaryzacja i spójność
 Adaptacja metodologii GUS przy badaniu innowacyjności
i kondycji ekonomicznej przedsiębiorstw (formularze F-01, PNT-01),
 Pomiar efektywności wsparcia (metoda conjoint), segmentacja projektów,
skalowanie jakości projektów
 Porównywalność danych: między etapami, między Działaniami, ze statystyką publiczną
 Zakres gromadzonych danych dostosowany do możliwości respondentów
(pretesty narzędzi, technika CAWI, wystandaryzowane wskaźniki)
Realizacja ewaluacji on-going (2011-2015)
 Wielowymiarowe, systematyczne badania rezultatów Działań PO IG,
realizowane cyklicznie (on-going w latach 2011-2015) zgodnie z postępem
Programu (w rundach półrocznych) - równolegle we wszystkich Działaniach
wdrażanych w PARP adresowanych do przedsiębiorstw (1.4-4.1, 3.3.2, 4.2,
4.4, 5.4.1, 6.1, 8.1 i 8.2 PO IG).
 Do końca 2013 r. przeprowadzono V edycji badania wśród
przedsiębiorców
 Zebrano dane dla 5197 projektów, w tym 4103 w pomiarze początkowym
(okres realizacji) i 1094 w pomiarze końcowym (okres trwałości)
Projekty objęte badaniem w podziale na Działania PO IG
POMIAR POCZĄTKOWY
DZIAŁANIE
1.4-4.1
N
% przypadków
danego Działania
względem ogółem
515
40%
3.3.2
nie dotyczy
N
% przypadków
danego Działania
względem ogółem
% przypadków
pomiaru końcowego
danego Działania
względem pomiaru
początkowego
30
2%
6%
52
53%
POMIAR KOŃCOWY
4.2
141
29%
45
21%
32%
4.4
257
62%
69
17%
27%
5.4.1
78
48%
14
9%
18%
6.1
1323
38%
358
10%
27%
8.1
1058
55%
243
13%
23%
8.2
975
60%
283
18%
29%
Ogółem
4103
100%
1094
100%
27%
Wykorzystanie wyników BAROMETRU
 Bieżące zarządzanie procesem wdrażania w oparciu o informacje:
 o skwantyfikowanych rezultatach wsparcia (np. działalność B+R, innowacje)
 o jakości procesu realizacji (np. obsługa beneficjentów, koszty)
 Porównanie trendów w zakresie skuteczności wsparcia
(pomiędzy Działaniami, pomiędzy naborami, pomiędzy regionami,
w różnych kontekstach gospodarczych, etc.)
 Funkcja sprawozdawcza, informacyjnym, promocyjna
 Wyniki dostarczają wiedzy pod kątem nowej perspektywy 2014-2020
(skuteczność i efektywność proinnowacyjnych instrumentów wsparcia)
Ograniczenia ewaluacji on-going
Dane gromadzone w ramach „BAROMETRU INNOWACYJNOŚCI”
pozwalają odpowiedzieć m.in. na pyt.:
 Czy poziom innowacyjności wspartych firm zmienia się w czasie?
 Czy w ramach poszczególnych schematów pomocy zmierzamy w
„dobrym kierunku”?
 Czy przyjęte założenia (cele Programu) są realizowane?
 Czy w związku z obserwowanymi zmianami (lub jakością obsługi beneficjentów)
konieczne jest podjęcie działań zaradczych?
Dokonywany pomiar nie pozwala jednak na identyfikację związków
przyczynowych pomiędzy podjętą interwencją a obserwowanymi zmianami
na poziomie wspartych przedsiębiorstw.
Analiza „efektów netto”
jako konieczny element systemu oceny Programu
 Z punktu widzenia oceny skuteczności interwencji kluczowe jest ustalenie
stopnia w jakim obserwowane zmiany są faktycznie jej efektem
 Sam pomiar wartości wskaźników (pomimo etykietowania części z nich,
jako wskaźniki „oddziaływania”) jest w tym względzie niewystarczający
 Konieczne jest dokonanie oszacowania tzw. „efektów netto” wsparcia,
bazując na podejściu kontrfaktycznym
Rekonstrukcja kondycji beneficjenta w sytuacji braku wsparcia
(lub w sytuacji skorzystania z alternatywnego wsparcia)
z wykorzystaniem odpowiednich grup kontrolnych
(schematy quasi-eksperymentalne)
Takie podejście pozwala zminimalizować obciążenia selekcyjne wspartych
podmiotów (np. efekt zbierania śmietanki) i dokładnie oszacować efekt
interwencji (lub porównać efekty poszczególnych Działań)
„BAROMETR INNOWACYJNOŚCI 2.0”
Analiza efektów netto wybranych Działań PO IG
z wykorzystaniem podejścia counterfactual impact evaluation
1) Jak wyglądałaby sytuacja firm, gdyby skorzystały
ze wsparcia innego rodzaju?
Analizy porównawcze efektów („względnych”) Działań PO IG
(2013 +)
Źródło danych: BAROMETR
2) Jak wyglądałaby sytuacja firm, gdyby nie skorzystały ze wsparcia w ogóle?
Rozwój metodyki analizy efektów netto („absolutnych”)
- Phare MSP 2002-2003
- SPO WKP 2004-2006
- PO IG 2007-2013
(2014 +)
Źródła danych: bazy wnioskodawców, GUS
Dziękuję za uwagę!
kontakt:
[email protected]