projekt ewaluacji

PROJEKT ZAKRESU EWALUACJI
Zamówienie będzie polegało na przeprowadzeniu ewaluacji wpływu Programu Operacyjnego Rozwój
Polski Wschodniej 2007-2013 (PO RPW) na rozwój przedsiębiorczości w Polsce Wschodniej.
Szerszy kontekst, cele i zakres niniejszego zamówienia, przedstawione zostały poniżej.
1. Kontekst i cel ewaluacji
Celem I. osi priorytetowej PO RPW 2007-2013 („Nowoczesna gospodarka”) było stymulowanie rozwoju
konkurencyjnej gospodarki opartej na wiedzy. Wsparcie udzielone w ramach osi miało stać się
impulsem do rozwoju procesów innowacyjnych i poprawy konkurencyjności gospodarki makroregionu.
Miało to zostać osiągnięte poprzez wspieranie rozwoju otoczenia biznesu (m.in. ośrodków
innowacyjności), powiązań kooperacyjnych pomiędzy przedsiębiorstwami (klastrów), stymulowanie
współpracy pomiędzy biznesem i nauką, przygotowywanie terenów pod inwestycje i promocja
gotowości inwestycyjnej makroregionu oraz zapewnianie przedsiębiorcom źródeł finansowania
(instrumenty zwrotne) tj. uruchomienie pakietu działań pomocowych, rozwijających szeroko
rozumianą „infrastrukturę dla przedsiębiorczości” w Polsce Wschodniej.
W związku z powyższym, w roku następującym po zakończeniu finansowania wskazanych działań
pomocowych w Polsce wschodniej, zasadne jest sprawdzenie czy powyższe założenia zostały
osiągnięte i czy realizacja Programu przyczyniła się do rozwoju przedsiębiorczości w makroregionie.
Głównym celem niniejszej ewaluacji jest dokonanie końcowej (ex post) oceny wpływu PO RPW 20072013 na rozwój przedsiębiorczości w Polsce Wschodniej, w szczególności poprzez ocenę realizacji
celów działań I osi priorytetowej Programu (I.1 „Infrastruktura uczelni”, I.2 „Instrumenty inżynierii
finansowej”, I.3 „Wspieranie innowacji”, I.4 „Promocja i współpraca”). Ponadto, badanie jest istotne z
punktu widzenia oceny wartości dodanej jaką mogło wygenerować w obszarze rozwoju
przedsiębiorczości dodatkowe wsparcie polityki spójności 2007-2013 dla pięciu województw
makroregionu (poza wsparciem dostępnym w regionach m.in z programów regionalnych, krajowych i
programów europejskiej współpracy terytorialnej).
Wnioski z ewaluacji zostaną wykorzystane m.in do opracowaniu sprawozdania końcowego z realizacji
PO RPW 2007-2013 dla Komisji Europejskiej i doskonalenia zaprojektowanych mechanizmów
pomocowych Programu Operacyjnego Polska Wschodnia 2014-2020 (PO PW).
2. Zakres przedmiotowy i podmiotowy ewaluacji
Badanie będzie się koncentrować przede wszystkim na działaniach I. osi priorytetowej PO RPW 20072013. Kontekstowo jednak odnosić się będzie również do działań pozostałych osi merytorycznych PO
RPW (np. wzrost dostępność terytorialnej dzięki inwestycjom drogowym czy wzrost dostępności
komunikacyjnej dzięki inwestycjom szerokopasmowego Internetu - w szerszym kontekście oceny
wpływu tego typu inwestycji PO RPW na rozwój przedsiębiorczości makroregionu).
W części terenowej badania, udział wezmą kluczowi interesariusze PO RPW, w szczególności
przedstawiciele następujących podmiotów:
 instytucji systemu wdrażania
 JST na terenie Polski wschodniej,
 beneficjentów, ostatecznych odbiorców i grup docelowych (przedsiębiorców).
3. Podejście badawcze
„Ewaluacja wpływu PO RPW 2007-2013 na rozwój przedsiębiorczości w Polsce Wschodniej”
przeprowadzona będzie zgodnie z podejściem metodologicznym kontrfaktycznej ewaluacji wpływu i
ewaluacji opartej na teorii (ang. theory-based counterfactual impact evaluation). Podejście to jest
właściwe dla ewaluacji ex post i warunkuje jakość procesu ewaluacyjnego tj. „uzyskania bardziej
wiarygodnych i użytecznych informacji o rzeczywistych efektach polityki spójności”. Zgodnie z
1
wytycznymi Ministra Infrastruktury i Rozwoju w zakresie ewaluacji polityki spójności na lata 2014-2020
(w tym dotyczącymi prowadzenia działań ewaluacyjnych ex post związanych z zamykaniem pomocy
finansowej 2007-2013) „głównym wyzwaniem dla ewaluacji jest uchwycenie rzeczywistych efektów
interwencji publicznej, tj. wskazanie jaka część zmiany sytuacji społeczno-ekonomicznej kraju lub
regionu (...) zaistniała dzięki realizacji polityki spójności” i „odpowiedź na pytanie dlaczego dana zmiana
nastąpiła, czyli wyjaśnienie mechanizmów oddziaływania polityki spójności.” Zastosowanie
zaawansowanych i rygorystycznych metod kontrfaktycznych i opartych na teorii interwencji, pozwoli
zapewnić wysoką jakość ewaluacji i zrealizować jej cele.
Komponent ewaluacji opartej na teorii będzie bazował na danych pierwotnych (analiza danych
pozyskanych głównie w oparciu o metody jakościowe / opcjonalnie sondażowe) jak również na
wtórnych źródłach informacji (metaewaluacja dotychczasowych wyników badań w obszarze wsparcia
rozwoju przedsiębiorczości w Polsce wschodniej; analizy źródeł literaturowych, dokumentów
programowych / projektowych, baz danych projektów / beneficjentów / ostatecznych odbiorców, itp.).
Komponent kontrfaktycznej ewaluacji wpływu w całości oparty zostanie na analizie danych wtórnych
(ogólnodostępnych wskaźników społeczno-ekonomicznych, bezpośrednio lub pośrednio związanych z
rozwojem przedsiębiorczości na poziomie lokalnym – zarówno dla jednostek terytorialnych Polski
wschodniej jak również jednostek kontrolnych spoza makroregionu).
4. Kryteria i główne pytania ewaluacyjne/obszary problemowe:
Ewaluacja zostanie przeprowadzona w oparciu o kryteria skuteczności, efektywności, użyteczności,
spójności i trwałości, i udzieli odpowiedzi co najmniej na następujące pytania ewaluacyjne:
1) W jakim stopniu wskutek Programu wystąpiły zmiany przyczynowe w obszarze kluczowych
wskaźników przedsiębiorczości1 na terenie województw Polski wschodniej, w szczególności na
poziomie lokalnym (gmin / powiatów)? Jak należy ocenić wielkość oszacowanej zmiany
wskaźników (w ujęciu efektywności ekonomicznej)? Jak prezentuje się ranking JST
(powiatów/gmin) w obszarze wskaźników przedsiębiorczości, w tym ranking „potencjałowy”
wynikający z uwarunkowań JST mogących wpływać na formowanie określonych czynników
sukcesu (np. premia lokalizacyjna wynikająca z bliskości centrów rozwoju, węzłów
komunikacyjnych, itp.) i czynników porażki (np. emigracja młodych ludzi, peryferyjność JST,
itp.) PO RPW w obszarze rozwoju przedsiębiorczości2, oraz ranking JST (powiatów/gmin)
wynikający z faktycznie osiągniętych efektów przyczynowych PO RPW w obszarze
przedsiębiorczości?
2) Czy występuje zróżnicowanie odnotowanych zmian przyczynowych w poszczególnych
wskaźnikach przedsiębiorczości (np. ze względu na typ gminy lub inne istotne zmienne
niezależne)? Jaka jest skala tego zjawiska i z czego może wynikać? Jak należy ocenić
ewentualną „heterogeniczność efektów” w kontekście realizacji celów PO RPW?
3) Czy realizacja interwencji przyczyniła się do poprawy warunków prowadzenia działalności
gospodarczej w makroregionie, w szczególności działalności innowacyjnej przedsiębiorstw? Co
na to wskazuje?
4) Jakie czynniki wewnętrzne wynikające z logiki interwencji Programu (np. dobór działań
pomocowych) lub istotne uwarunkowania obszaru docelowego nieuwzględnione w teorii
interwencji, zwiększały a jakie zmniejszały (np. nieoczekiwane skutki uboczne) skuteczność
wsparcia w obszarze rozwoju przedsiębiorczości ? Co na to wskazuje?
5) W jakim stopniu czynniki zewnętrzne poza Programem (np. wskaźniki koniunktury; wskaźniki
dostępności terytorialnej; migracje ludności; dostępne programy regionalne, w tym regionalne
programy operacyjne, programy Europejskiej Współpracy Terytorialnej oraz ogólnokrajowe, w
1
Dobór kluczowych wskaźników przedsiębiorczości na poziomie lokalnym stanowiących w niniejszej ewaluacji wskaźniki efektów przyczynowych Programu,
zostanie dokonany przez Wykonawcę w porozumieniu z Zamawiającym na etapie raportu metodologicznego.
2
Na potrzeby przygotowania, opisu i interpretacji odpowiednich rankingów, Wykonawca posłuży się m.in. metodami wielowymiarowej analizy danych (np.
analizy korespondencji, analizy czynnikowej, itp.).
2
6)
7)
8)
9)
10)
11)
tym programy operacyjne, program specjalnych stref ekonomicznych, itp.) miały wpływ na
zmiany kluczowych wskaźników przedsiębiorczości na terenie województw Polski wschodniej,
w szczególności na poziomie lokalnym (gmin / powiatów)?
Czy w okresie realizacji Programu wystąpiły zewnętrzne czynniki negatywne lub skutki uboczne
określonych interwencji (innych niż PO RPW) obniżające realizację celów Programu w obszarze
rozwoju przedsiębiorczości w makroregionie? Na czym one polegały? W jaki sposób
przeciwdziałać im w przyszłości?
W jakim stopniu wskutek Programu województwa Polski wschodniej zwiększyły spójność
wewnętrzną w obszarze kluczowych wskaźników przedsiębiorczości a w jakim pogłębiły
dysproporcje (niespójność) w tym zakresie (np. koncentracja efektów na terenach miejskich
lub w bezpośrednim zasięgu realizowanych projektów, itp.)? Co na to wskazuje? Jeśli
dysproporcje uległy pogłębieniu, jakie były tego przyczyny (analiza czynników endo- vs.
egzogenicznych i ich znaczenia)?
W jakim stopniu wskutek Programu województwa Polski wschodniej zwiększyły spójność
zewnętrzną w obszarze kluczowych wskaźników przedsiębiorczości a w jakim pogłębiły
dysproporcje (niespójność) w tym zakresie względem pozostałej części kraju? Co na to
wskazuje?
Jaka byłaby sytuacja regionów Polski wschodniej w obszarze kluczowych wskaźników
przedsiębiorczości, spójności gospodarczej i konkurencyjności regionów, bez wsparcia PO RPW
2007-2013? W jakim stopniu uzyskane wsparcie wpłynęło na podniesienie konkurencyjności
regionów Polski wschodniej jak i całego makroregionu oraz realizację celów Programu w
obszarze przedsiębiorczości, konkurencyjności i spójności gospodarczej?
Czy wsparcie PO RPW, powiązanie (komplementarne) z innymi mechanizmami pomocowymi
w województwach, wywołało szersze efekty (np. synergii, rozlania, mnożnikowe, dźwigni, itp.)
w obszarze rozwoju przedsiębiorczości niż wynikałoby to z bazowej teorii interwencji
Programu? Co na to wskazuje? W jakim zakresie odnotowano tego typu efekty interwencji?
Czy wskutek Programu zrealizowany został cel I osi priorytetowej „Stymulowanie rozwoju
konkurencyjności gospodarki opartej na wiedzy”? W jakim stopniu uzyskane efekty mają
trwały charakter? Na ile na ewentualną trwałość efektów wskazują wartości i dynamika
kluczowych wskaźników rozwoju przedsiębiorczości w Polsce wschodniej? Co może / mogło
wpływać na obniżenie trwałości uzyskanych efektów?
Na powyższe pytania, Wykonawca udzieli wyczerpujących odpowiedzi. Każdorazowo odpowiedź na
pytanie ewaluacyjne powinna być podparta analizą wyników badania oraz zawierać wyjaśnienie
obserwowanych zjawisk i trendów. W oparciu o przeprowadzone badania i analizy, Wykonawca
sformułuje wnioski z ewaluacji i dokona niezależnej (z uwzględnieniem różnych perspektyw) oceny
wpływu PO RPW na rozwój przedsiębiorczości w Polsce Wschodniej.
5. Minimum metodologiczne ewaluacji:
W ramach ewaluacji Wykonawca powinien zastosować co najmniej następujące metody badawcze:
Badania terenowe (field research):
1) Wywiady pogłębione z przedstawicielami IZ i IP PO RPW – minimum 5 IDI (lub diad/triad),
2) Wywiady pogłębione z przedstawicielami JST – minimum 33 IDI (w tym szczebel wojewódzki 5
szt., a pozostałe wywiady na poziomie powiatów i gmin – liczebność / alokacja wywiadów z JST
na poziomie lokalnym powinna być warunkowana wynikami analiz kontrfaktycznych,
wynikami innych analiz wskaźników przedsiębiorczości JST oraz szczegółowymi propozycjami
3
metodologicznymi sformułowanymi przez Wykonawcę w raporcie metodologicznym3);
badania pogłębione JST na poziomie lokalnym powinny zostać podzielone na dwie grupy –
jednostek o najwyższym i najniższym przyroście kluczowych wskaźników przedsiębiorczości
(np. najwyższy przyrost obliczony jako reszta z regresji poziomu wskaźników na wejściu /pretest/ i innych kowariantów, na poziom wskaźników na wyjściu /post-test/, a reszta
interpretowana jako efektywność z jaką JST generuje efekty w obszarze przedsiębiorczości, lub
obliczony w inny uzgodniony z Zamawiającym sposób), co umożliwi identyfikację i ocenę
czynników sukcesu i porażki w odniesieniu do efektów PO RPW w obszarze przedsiębiorczości;
wspomagająco na potrzeby prowadzonych wywiadów Wykonawca uwzględni lokalny kontekst
istotny dla rozwoju przedsiębiorczości w danej JST, wynikający z odpowiednich dokumentów
strategicznych (np. strategii rozwoju gminy).
3) Telefoniczne wywiady pogłębione z przedstawicielami beneficjentów– minimum 20 ITI
(w podziale na kluczowe typy beneficjentów Programu; alokacja wywiadów na poszczególne
typy beneficjentów zostanie zaproponowana przez Wykonawcę na etapie raportu
metodologicznego),
4) Panel (warsztat podsumowujący ewaluację) z niezależnymi ekspertami z zakresu rozwoju
przedsiębiorczości – 1 szt. (co najmniej 2 godz. spotkanie, zorganizowane i moderowane przez
wykonawcę, na którym dyskusji poddane zostaną wyniki analiz kontrfaktycznych oraz
sformułowane przez Wykonawcę wnioski i rekomendacje ewaluacyjne).
Badania danych zastanych (desk reserach)
1) Metaewaluacja wyników dotychczasowych badań w obszarze wsparcia rozwoju przedsiębiorczości
w Polsce wschodniej, w szczególności:
 „Oceny systemu kryteriów wyboru projektów w ramach PO RPW” (2008)
 ewaluacji pt. „Komplementarność i synergia projektów realizowanych na terenie Polski
Wschodniej w ramach programów operacyjnych polityki spójności oraz PROW na lata
2007-2013 (2009)
 ewaluacji Działania I.3 PO RPW - Wspieranie Innowacji: „Ocena potencjału innowacyjnego
w Polsce Wschodniej w związku z realizacją Działania I.3 PO RPW – Wspieranie Innowacji
PO RPW 2007-2013” (2010)
 „Oceny mechanizmów komplementarności w zakresie promocji Polski Wschodniej” (2011)
 „Oceny pierwszych efektów projektów z działania I.4.1 i I.4.2 PO RPW związanych z
pozyskaniem inwestorów do Polski Wschodniej” (2012)
 Ewaluacji „Sposoby maksymalizacji efektów Działania I.1 i I.3 Programu Operacyjnego
Rozwój Polski Wschodniej 2007-2013. Wnioski i rekomendacje dla procesu
programowania wsparcia na lata 2014-2020” (2012)
 ewaluacji „Jak zmieniają się klastry dzięki wsparciu z PO RPW?” (2013)
 ewaluacji „Wsparcie ośrodków innowacyjności w Polsce Wschodniej - ocena pierwszych
efektów” (2014)
 „Analizy efektów realizacji działania I.1 PO RPW” (2015)
 „Oceny efektów realizacji projektów działania I.3 PO RPW” (badanie zaplanowane do
realizacji w 2016, do uwzględnienia w metaewaluacji pod warunkiem dostępności co
najmniej wyników cząstkowych)
3
Badanie pogłębione na próbie celowej z przedstawicielami JST szczebla gminnego, w porozumieniu z Zamawiającym na
etapie raportu metodologicznego Wykonawca może zamienić na badanie ankietowe techniką CAWI (lub mixed-methods) na
populacji gmin Polski wschodniej (np. z przedstawicielami komórek organizacyjnych Urzędów odpowiedzialnych za
przedsiębiorczość / ewidencję działalności gospodarczej / podatki przedsiębiorstw, itp.). Ponadto, opcjonalnie Wykonawca
do zakresu badania może włączyć ankietowanie CAWI przedsiębiorstw prowadzących działalność na terenie Polski wschodniej
(np. w oparciu o ankietę internetową udostępnianą poprzez strony internetowe Urzędów Gmin Polski wschodniej.
4


„Ocena możliwości zastosowania instrumentów finansowych w POPW 2014-2020” (jw.)
ewaluacja pt. „Wpływ polityki spójności 2007-2013 na konkurencyjność przedsiębiorstw i
rozwój przedsiębiorczości w Polsce (jw.)
oraz innych wyników – istotnych w kontekście celów niniejszej ewaluacji - zidentyfikowanych
przez Wykonawcę lub Zamawiającego na etapie realizacji zamówienia (np. wartościowe
ewaluacje w obszarze przedsiębiorczości dotyczące Regionalnych Programów Operacyjnych
dla województw Polski wschodniej, wybranych ewaluacji Programu Operacyjnego
Innowacyjna Gospodarka, ewaluacji odpowiednich Programów Współpracy Transgranicznej
dotyczących regionów Polski wschodniej, wybranych ewaluacji Programu Rozwoju Obszarów
Wiejskich, itp.).
2) Analizy źródeł literaturowych, dokumentów programowych / projektowych, baz danych projektów
/ beneficjentów / ostatecznych odbiorców, w szczególności:
 raport pn. „Regiony w Europie Środkowo-Wschodniej: tendencje i czynniki rozwojowe
(2008),
 raport pn. Wpływ specjalnych stref ekonomicznych na zatrudnienie. Ocena Skutków
Regulacji ex post ustawy o specjalnych strefach ekonomicznych z dnia 20 października
1994 roku (2016),
 wybrane projekty i ekspertyzy opublikowane na Witrynie dostępności transportowej IGiPZ
PAN (http://www.igipz.pan.pl/accessibility/pl/projekty.html),
 Program Operacyjny Rozwój Polski Wschodniej 2007-2013 i Szczegółowy Opis Osi
Priorytetowych PO RPW 2007-2013,
 Dane dotyczące realizowanych projektów PO PRW (bazy danych, zestawienia,
dokumentacja, wyniki monitoringu efektów i trwałości, wyniki kontroli, itp.),
 Dokumenty sprawozdawcze z realizacji PO RPW 2007-2013.
oraz innych źródeł danych – istotnych w kontekście celów niniejszej ewaluacji zidentyfikowanych przez Wykonawcę lub Zamawiającego na etapie realizacji zamówienia
3) Analizy kontrfaktyczne wpływu PO RPW na wskaźniki przedsiębiorczości na poziomie lokalnym
W celu oceny parametrów wpływu PO RPW na rozwój przedsiębiorczości na terenie Polski Wschodniej,
Wykonawca przeprowadzi analizę zmian wskaźników bezpośrednio lub pośrednio związanych z
rozwojem przedsiębiorczości na poziomie lokalnym w modelu porównawczym dla jednostek
terytorialnych Polski wschodniej i odpowiednich jednostek kontrolnych – bliźniaczo podobnych spoza
makroregionu. Jednostki spoza regionu zostaną wykorzystane do „zamodelowania” sytuacji
kontrfaktycznej dla jednostek terytorialnych makroregionu, która wystąpiłaby gdyby PO RPW nie był
realizowany tj. do uzyskania wiedzy o efektach netto PO RPW w rozwijaniu przedsiębiorczości i
odpowiedzi na pytanie co by się stało z rozwojem przedsiębiorczości na poziomie lokalnym w
makroregionie Polski wschodniej, gdyby na tym terenie nie realizowano PO RPW. Zgodnie z
powszechnie ugruntowaną praktyką tego typu analiz, oczekujemy, że wnioskowanie Wykonawcy na
temat efektów przyczynowych PO RPW będzie odnosiło się do zaobserwowanych różnic (in plus i in
minus) w kluczowych wskaźnikach dla rozwoju przedsiębiorczości pomiędzy jednostkami z Polski
wschodniej (grupą eksperymentalną poddaną oddziaływaniu) a jednostkami spoza makroregionu
(grupą kontrolą pozbawianą odziaływania).
Wstępnie zakładamy, że podstawową jednostką analizy będzie gmina (NTS5), jednak w zależności od
celowości i dostępności danych na określonym poziomie dezagregacji, stosowne analizy przyczynowe
w odniesieniu do wybranych wskaźników, Wykonawca może przeprowadzić również na poziomie
powiatów (NTS4), oraz dokonać odpowiednich uogólnień na poziomie poszczególnych województw i
całego makroregionu. Kwestią otwartą pozostaje również ewentualne zawężenie grup porównawczych
do określonych typów gmin lub uwzględnienie analiz przekrojowych (np. podgrupy gmin miejskich i
5
wiejskich, gmin na terenie których bezpośrednio były realizowane projekty PO RPW i pozostałych gmin,
itp.). Szczegółowe rozstrzygnięcia dotyczące doboru jednostek analizy, punktów w czasie dla
prowadzonej analizy i tym podobne, zostaną rozstrzygnięte na etapie raportu metodologicznego, po
zapoznaniu się przez Wykonawcę z bazami danych i dokumentacją programową.
Dla ograniczenia wpływu czynników zewnętrznych, mogących zaburzyć wnioskowanie o efektach
przyczynowych, analizy zostaną przeprowadzone na parach jednostek dopasowanych w oparciu o
indeks podobieństwa (ang. technika Propesity Score Matching), zbudowany na istotnych cechach
społeczno-, gospodarczo-, demograficznych (odpowiednich kowariantach modelu PSM). Co do zasady,
efekt PO RPW na wybranych wskaźnikach przedsiębiorczości będzie szacowany w odniesieniu do 2014
r. (lub 2015 jeśli odpowiednie dane będą dostępne) względem odpowiedniego roku bazowego przed
realizacją PORPW (np. 2007 r.). Aby zapewnić względnie porównywalny poziom bazowy wartość
analizowanych wskaźników dla dopasowanych jednostek, szacowanie efektów przyczynowych
zostanie dokonane metoda podwójnej różnicy (ang. Difference-in-Differences). W miarę dostępności
danych, analizy kontrfaktyczne obejmą cały okres realizacji PO RPW, wyznaczając pełny trend dla
analizowanych wskaźników (dla grupy eksperymentalnej i kontrolnej) i nie poprzestaną jedynie na
oszacowaniu efektów przyczynowych w skrajnych punktach czasu (tj. w umownie ustalonych na
potrzeby badania punktach przed i po realizacji PO RPW). W interpretacji efektów przyczynowych
zostaną wzięte pod uwagę zarówno wyniki oszacowanych różnic w odniesieniu do skrajnych punktów
pomiaru, różnice w dynamice wskaźników w całym okresie oraz – przede wszystkim - wyniki
pozostałych badań, realizowanych w ramach zamówienia (tj. źródła danych wykorzystane na potrzeby
komponentu theory-based evaluation). Na potrzeby raportowania wyników analiz kontrfaktycznych
Wykonawca zaprojektuje odpowiednie formy wizualizacji wskaźników wpływu PO RPW na rozwój
przedsiębiorczości, które będą czytelne dla docelowych odbiorców ewaluacji.
Poniżej przedstawimy wstępny przegląd ogólnodostępnych wskaźników, które bezpośrednio lub
pośrednio dotyczą rozwoju przedsiębiorczości i które Wykonawca może wykorzystać jako
kontrolowane cechy jednostek dopasowanych w modelu PSM (kowarianty) lub docelowe wskaźniki
wpływu (efektu przyczynowego). Zamawiający oczekuje, że liczba wskaźników efektu przyczynowego
szacowanych przez Wykonawcę nie będzie mniejsza niż kilkanaście szt.4 Dodatkowo, na potrzeby oceny
wpływu PO RPW, Wykonawca opracuje i oszacuje jeden syntetyczny wskaźnik (indeks) „rozwoju
przedsiębiorczości na poziomie lokalnym”, składającego się z wielu wskaźników prostych, dostępnych
m.in. w Banku Danych Lokalnych GUS 5.
Z kolei w przygotowywanym(ych) modelu(ach) PSM Wykonawca powinien uwzględnić możliwie
najszerszą dostępną liczbę zmiennych, które będą upodobniały do siebie analizowane grupy jednostek
(zmienne społeczno-demograficzne – np. wielkość populacji, gęstość zaludnienia, liczba i odsetek
ludności w wieku produkcyjnym; zmienne dotyczące funkcjonowania rynku pracy – np. stopa
bezrobocia, liczba i odsetek osób długotrwale bezrobotnych; zmienne dotyczące rozwoju
gospodarczego regionu – np. liczba zarejestrowanych przedsiębiorstw, wynagrodzenia w przeliczeniu
na mieszkańca, PKB, nakłady inwestycyjne w przeliczeniu na mieszkańca; itp.). W zależności od
uwarunkowań statystycznych określnych zmiennych, Zamawiający dopuszcza ich uzasadnioną
redukcję, w celu zbudowania optymalnego modelu wyjaśniającego. Konstruując model Wykonawca
weźmie pod uwagę mogące wystąpić efekty obciążenia selekcyjnego (np. creaming effect, souring
effect, autoselekcja beneficjentów).
4
W szczególności chodzi o wskaźniki złożone co najmniej z dwóch wskaźników prostych (np. liczba rejestrowanych firm na 1000
mieszkańców).
5 W tym zakresie Wykonawca może zaadoptować lub wzorować się na wskaźniku syntetycznym – „Poziom przedsiębiorczości w regionach”,
który jest wykorzystywany w analizach PARP na potrzeby cyklicznego Raportu o stanie sektora Małych i Średnich Przedsiębi orstw w Polsce
(por. edycja 2015 raportu s. 54, dostępna w Księgozbiorze PARP na www.parp.gov.pl).
6
Jako podstawowe źródło danych do analiz kontrfaktycznych Zamawiający proponuje Bank Danych
Lokalnych GUS. Przy czym, w zależności od dostępności (np. na odpowiednim poziomie dezagregacji i
w odpowiednich szeregach czasowych) oraz zasadności wykorzystania innych źródeł danych,
Wykonawca może zaproponować skorzystanie również z nich. Poniżej Zamawiający wskazuje listę
(przykładową, niewyczerpującą) innych potencjalnie adekwatnych źródeł danych:
1) Wskaźniki dostępności transportowej gmin (np. w odniesieniu do dróg wskaźnik dostępności
transportowej potencjałowej gminy do liczby ludności – por. analizy IGiPZ PAN na
http://www.igipz.pan.pl/accessibility/pl/projekty.html)
2) Wskaźnik dostępności gmin w komunikacji on-line (np. w odniesieniu do Internetu
szerokopasmowego, poziom pokrycia gmin jego zasięgiem – por. dane Urzędu Komunikacji
Elektronicznej m.in. dostępne na stronie www.polskaszerokopasmowa.pl)
3) Wskaźniki migracji ludności gmin (np. emigracja ludności gmin w wieku produkcyjnym)
4) Wskaźniki inwestycji zagranicznych w gminach.
Tabela 1. Przykładowe wskaźniki dostępne w Banku Danych Lokalnych GUS (bdl.stat.gov.pl)
Kategoria GUS
PODMIOTY
GOSPODARCZE I
PRZEKSZTAŁCENIA
WŁASNOŚCIOWE I
STRUKTURALNE
Dział GUS
PODMIOTY
GOSPODARKI
NARODOWEJ
- WSKAŹNIKI
Wskaźnik
podmioty wpisane do rejestru
REGON na 10 tys. ludności
jednostki nowo zarejestrowane w
rejestrze REGON na 10 tys.
ludności
jednostki wykreślone z rejestru
REGON na 10 tys. ludności
podmioty wpisane do rejestru na
1000 ludności
podmioty na 1000 mieszkańców
w wieku produkcyjnym
osoby fizyczne prowadzące
działalność gospodarczą na 1000
ludności
osoby fizyczne prowadzące
działalność gospodarczą na 100
osób w wieku produkcyjnym
fundacje, stowarzyszenia i
organizacje społeczne na 1000
mieszkańców
fundacje, stowarzyszenia i
organizacje społeczne na 10 tys.
mieszkańców
nowo zarejestrowane fundacje,
stowarzyszenia, organizacje
społeczne na 10 tys.
mieszkańców
podmioty nowo zarejestrowane
na 10 tys. ludności w wieku
produkcyjnym
udział podmiotów nowo
zarejestrowanych w ogólnej
liczbie podmiotów wpisanych do
rejestru REGON
udział podmiotów
wyrejestrowanych w ogólnej
liczbie podmiotów wpisanych do
rejestru REGON
udział nowo zarejestrowanych
podmiotów sektora medycznego
w liczbie nowo zarejestrowanych
podmiotów ogółem
Lata obowiązywania
2002-2015
Poziom udostępniania
NTS-5
2003-2015
NTS-4, NTS-5
2003-2015
NTS-4, NTS-5
2002-2015
NTS-5
2003-2015
NTS-5
2002-2015
NTS-5
2002-2015
NTS-4, NTS-5
2005-2015
NTS-5
2005-2015
NTS-5
2003-2015
NTS-4, NTS-5
2003-2015
NTS-4, NTS-5
2003-2015
NTS-4, NTS-5
2003-2015
NTS-4, NTS-5
2009-2015
NTS-5
7
PODMIOTY
WG KLAS
WIELKOŚCI
NA 10 TYS.
MIESZKAŃCÓ
W W WIEKU
PRODUKCYJN
YM
PODMIOTY Z
UDZIAŁEM
KAPITAŁU
ZAGRANICZN
EGO
RYNEK PRACY
PRACUJĄCY
WG GRUP
SEKCJI I PŁCI
W
POWIATACH
BEZROBOCIE
REJESTROWA
NE
WYNAGRODZENIA I
ŚWIADCZENIA
SPOŁECZNE
INWESTYCJE I ŚRODKI
TRWAŁE
WYNAGRODZ
ENIA
udział nowo zarejestrowanych
podmiotów sektora kreatywnego
w liczbie nowo zarejestrowanych
podmiotów ogółem
udział nowo zarejestrowanych
podmiotów sektora
przetwórstwa rolno-spożywczego
w ogólnej liczbie nowo
zarejestrowanych podmiotów
ogółem
ogółem
0-9
10 - 49
50 - 249
2009-2015
NTS-5
2009-2015
NTS-5
2002-2015
2002-2015
2002-2015
2002-2015
NTS-5
NTS-5
NTS-5
NTS-5
250 i więcej
2002-2015
NTS-5
liczba podmiotów
kapitał zagraniczny (mln zł)
kapitał zagraniczny na 1
mieszkańca w wieku
produkcyjnym
2011-2015
2011-2015
2011-2015
NTS-4
NTS-4
NTS-4
ogółem
2005-2015
NTS-4
rolnictwo, leśnictwo, łowiectwo i
rybactwo
przemysł i budownictwo
handel; naprawa pojazdów
samochodowych; transport i
gospodarka magazynowa;
zakwaterowanie i gastronomia;
informacja i komunikacja
działalność finansowa i
ubezpieczeniowa; obsługa rynku
nieruchomości
pozostałe usługi
PRACUJĄCY WEDŁUG INNEGO
PODZIAŁU NIŻ PKD
Podgrupa:
Pracujący
na 1000 ludności
2005-2015
NTS-4
2005-2015
2005-2015
NTS-4
NTS-4
2005-2015
NTS-4
2005-2015
2006-2015
NTS-4
NTS-5
Stopa bezrobocia rejestrowanego
2004-2015
NTS-4
Udział bezrobotnych
zarejestrowanych ogółem w
liczbie ludności w wieku
produkcyjnym
2003-2015
NTS-4, NTS-5
ogółem
2002-2015
NTS-4
przeciętne miesięczne
wynagrodzenia brutto w relacji
do średniej krajowej (Polska=100)
Przeciętne miesięczne
wynagrodzenie brutto (bez
podmiotów gospodarczych o
liczbie pracujących do 9 osób)
Nakłady inwestycyjne w
przedsiębiorstwach o liczbie
pracujących powyżej 9 osób na 1
mieszkańca w 2014r.
2002-2015
NTS-4
2010-2014 (bez 2013)
NTS-4
2010-2014
NTS-4
8
FUNDUSZE UNIJNE
SZKOLNICTWO
PODSTAWOWE,
GIMNAZJALNE,
PONADPODSTAWOWE I
PONADGIMNAZJALNE
TRANSPORT I ŁĄCZNOŚĆ
LUDNOŚĆ, MIGRACJE
WEWNĘTRZNE I
ZAGRANICZNE
Wartość brutto środków trwałych
w przedsiębiorstwach o liczbie
pracujących powyżej 9 osób na 1
mieszkańca w 2014r.
Nakłady inwestycyjne i wartość
brutto środków trwałych
nakłady inwestycyjne w
przedsiębiorstwach na 1
mieszkańca
wartość brutto środków trwałych
w przedsiębiorstwach na 1
mieszkańca
nakłady inwestycyjne w
przedsiębiorstwach na 1
mieszkańca w wieku
produkcyjnym
wartość brutto środków trwałych
w przedsiębiorstwach na 1
mieszkańca, Polska = 100
Podpisane umowy o
dofinansowanie wg programów
operacyjnych np. ogółem/ np.
Program Operacyjny Innowacyjna
Gospodarka na 31 XII
2010-2014
NTS-4
2008-2015
NTS-4
2008-2015
NTS-4
2008-2015
NTS-4
2008-2015
NTS-4
2008-2015
NTS-4
2012-2015
NTS-5
współczynnik skolaryzacji brutto/
szkoły podstawowe/ gimnazja
2003-2015
NTS-5
DROGI
GMINNE I
POWIATOWE
O TWARDEJ
NAWIERZCHN
I
DROGI
POWIATOWE
WG TYPU
NAWIERZCHN
I
na 100 km2
2005-2015
NTS-4
Twarda/ulepszona/gruntowa
2001-2015
NTS-4
Migracje na
pobyt stały
gminne wg
płci
migrantów, w
ruchu
wewnętrzny
mi
zagranicznym
Migracje na
pobyt stały
gminne wg
płci
migrantów i
kierunku
(miasto, wieś)
Zameldowania ogółem
1995-2014
NTS-5
Zameldowania z miast
1995-2014
NTS-5
Zameldowania ze wsi
Zameldowania z zagranicy
Saldo migracji
1995-2014
1995-2014
1995-2014
NTS-5
NTS-5
NTS-5
NSRO 20072013 PODPISANE
UMOWY O
DOFINANSO
WANIE
WSPÓŁCZYNN
IKI
SKOLARYZACJ
I
(SZKOLNICTW
O
PODSTAWO
WE I
GIMNAZJALN
E)
9
Migracje na
pobyt stały
międzypowiat
owe i
zagraniczne
wg
ekonomiczny
ch grup wieku
Saldo migracji zagranicznych na
1000 osób
Saldo migracji
wewnętrznych/saldo migracji
zagranicznych
- w wieku przedprodukcyjnym
- w wieku produkcyjnym
- w wieku poprodukcyjnym
zameldowania z innych powiatów
wymeldowania do innych
powiatów
zameldowania z zagranicy
wymeldowania za granicę
saldo migracji
współczynnik salda migracji
1995-2014
NTS-5
1995-2014
NTS-5
2005-2014
NTS-4
Uzyskane wyniki analiz wskaźników przedsiębiorczości, Wykonawca zinterpretuje i oceni
wykorzystując pozyskane dane pierwotne, wtórne źródła informacji oraz wiedzę ekspercką. Stanowić
będą one dla Wykonawcy podstawę do rekonstrukcji faktycznych mechanizmów oddziaływania
interwencji i sformułowania wniosków i rekomendacji ewaluacyjnych opartych na dowodach i teorii
interwencji (tzw. komponent ewaluacji opartej na teorii, wspominany w rozdziale 3. OPZ).
6. Odbiorcy ewaluacji
Wyniki ewaluacji, w szczególności płynące z nich wnioski i rekomendacje, będą mogły być
wykorzystane przez instytucje zaangażowane w realizację i zarządzanie PO PW na lata 2014-2020.
Głównymi odbiorcami wyników ewaluacji będą:
 Instytucja Pośrednicząca PO RPW i PO PW (Polska Agencja Rozwoju Przedsiębiorczości);
 Instytucja Zarządzająca PO RPW i PO PW (Ministerstwo Rozwoju);
 Komitet Monitorujący PO PW (w tym przedstawiciele Komisji Europejskiej);
 Opinia publiczna.
Ponadto, odbiorcami raportu końcowego z ewaluacji będzie Grupa Sterująca Ewaluacją PO RPW i PW
oraz Krajowa Jednostka Ewaluacji (Ministerstwo Rozwoju).
7. Przygotowanie raportów
Realizowane prace i ich wyniki Wykonawca przedstawi w następującej formie:
1) Raport metodologiczny (tekstowy, do 100 str. maszynopisu),
2) Raport końcowy (tekstowy, do 120 str. maszynopisu),
3) Prezentacja multimedialna dot. końcowych wyników ewaluacji (w formie slajdów; przedstawienie
wyników maks. na trzech publicznych spotkaniach).
10