Opis przedmiotu zamówienia

Szczegółowy Opis Przedmiotu Zamówienia
dotyczący wykonania ekspertyzy na temat źródeł danych
wykorzystywanych do realizacji badań kontrfaktycznych w ramach
ewaluacji EFS
A. KONTEKST REALIZACJI EKSPERTYZY
W związku z nadchodzącym kolejnym siedmioletnim okresem programowania
budżetu Unii Europejskiej (na lata 2014-2020), w tym również środków funduszy
strukturalnych z Europejskiego Funduszu Społecznego (EFS), istnieje konieczność
dostosowania się do nowych wytycznych w zakresie prowadzenia ewaluacji oraz
monitorowania postępu we wdrażaniu polityki spójności. Komisja Europejska (KE)
stara się, aby wsparcie z polityki spójności (w tym EFS) było jeszcze bardziej
efektywnie i skutecznie wykorzystywane. W oparciu o doświadczenia z wdrażania
ubiegłych, a także obecnej perspektywy finansowej UE, Komisja Europejska zachęca
państwa członkowskie do zwiększenia wysiłków zmierzających do dostarczania
w ramach procesu ewaluacji wiarygodnych dowodów. Dostarczanie takich dowodów
wymaga jednak dokonywania ewaluacji, mającej na celu nie tylko ocenę stanu
faktycznego, ale również ocenę wpływu alternatywnego, a więc porównanie
osiągniętych wyników wdrażania programu do potencjalnych efektów, które
wystąpiłyby lub nie, w przypadku braku interwencji. Służy temu realizacja badań
kontrfaktycznych, w ramach których dokonywana jest ocena efektu netto interwencji,
a więc różnicy pomiędzy wielkością efektów osiągniętych pod wpływem interwencji
a potencjalną wielkością dotycząca rezultatów osiągniętych bez wsparcia ze środków
zewnętrznych, która umożliwia decydentom wykluczenie wszelkich alternatywnych
wyjaśnień dla zachodzących zmian, dokonywanie porównań i mierzenie wpływu, jaki
na osiągnięcie sukcesu w poszczególnych obszarach wsparcia miała sama
interwencja (wsparcie z EFS). Tego typu ewaluacja dostarcza więc empirycznie
zweryfikowanych dowodów naukowych w zakresie skuteczności wsparcia.
W celu oceny wartości netto interwencji wykorzystywane są w badaniach metody
kontrfaktyczne, takie jak np. randomizowane badanie kontrolne (randomisation
experimental approach), metoda podwójnej różnicy (difference in differences),
metoda progu interwencji lub odrzucenia (regression discontinuity designs), metody
dopasowania (np. PSM – propensity score matching) czy metoda zmiennych
instrumentalnych (instrumental variables). W celu realizacji badań ewaluacyjnych
z wykorzystaniem metod kontrfaktycznych konieczne jest jednak pozyskanie dostępu
do danych, niezbędnych do dokonywania odpowiednich porównań (danych na temat
grup kontrolnych). Dane te mogą być już zgromadzone w istniejących zbiorach
i zasobach informatycznych (np. tworzonych dla potrzeb statystyki publicznej lub
wykonywania zadań przez konkretne instytucje administracji publicznej: rządowej
i samorządowej). Wiele z nich jednak musi zostać pozyskanych (wywołanych),
poprzez realizację konkretnych ogólnopolskich badań terenowych na zlecenie
jednostek ewaluacyjnych.
1
W obecnej perspektywie finansowej EFS metody kontrfaktyczne stanowią znikomy
ułamek metod wykorzystywanych w ramach ewaluacji Programu Operacyjnego
Kapitał Ludzki (PO KL). Dotarcie do potrzebnych danych przez jednostki ewaluacyjne
wiąże się bowiem z licznymi trudnościami, takimi jak brak wiedzy o dostępnych
źródłach danych, brak dostępu do danych z poziomu zamawiającego ewaluację,
istniejące bariery lub trudności prawne i administracyjne (przede wszystkim
wynikające z przepisów o ochronie danych osobowych). Znaczącą barierą są
również wysokie koszty pozyskania tego typu danych, w przypadku gdy brak jest
grupy kontrolnej w już istniejących źródłach. Dlatego też, istnieje potrzeba
usystematyzowania i uzupełnienia dotychczasowej wiedzy w zakresie dostępnych
zbiorów danych o grupach społecznych i zawodowych oraz instytucjach, będących
przedmiotem wsparcia z EFS, które są zbierane poza systemem monitorowania
programu operacyjnego, a także procedur związanych z ich pozyskaniem
w świetle przepisów prawa krajowego.
Wyniki przedmiotowej ekspertyzy są istotne z uwagi na sprawne przeprowadzanie
badań ewaluacyjnych, wykorzystujących pomiar efektu netto w ramach oceny
interwencji z EFS, a w dalszej mierze – poprzez realizację tych badań – bardziej
efektywne i skuteczne wydatkowanie środków EFS w ramach obecnej oraz przyszłej
perspektywy finansowej 2014-2020 i kreowanie polityki rozwoju opartej na dowodach
(evidence based policy).
B. CEL I ZAKRES EKSPERTYZY
1. Celem niniejszej ekspertyzy jest: wskazanie rodzaju, zakresu oraz źródeł
danych (bezosobowych i osobowych1), a także warunków, na jakich są one
dostępne i mogą być przetwarzane, służących do konstruowania grup
kontrolnych, które są niezbędne w celu szacowania wartości efektu netto
w badaniach ewaluacyjnych, dotyczących oceny interwencji z EFS w ramach
obecnej (2007-2013) oraz przyszłej perspektywy finansowej (2014-2020).
2. Źródła i bazy danych są zróżnicowane w zależności od charakteru zbieranych
informacji oraz instytucji, która je gromadzi i przetwarza. Przykładowy katalog
źródeł danych, z których należy skorzystać, w zależności od ich
dysponentów obejmuje:
dane Ministerstwa Pracy i Polityki Społecznej,
dane Ministerstwa Gospodarki,
dane Polskiej Agencji Rozwoju Przedsiębiorczości,
dane Ministerstwa Edukacji Narodowej,
dane centralnej i okręgowych komisji egzaminacyjnych,
dane Ministerstwa Nauki i Szkolnictwa Wyższego,
dane Zakładu Ubezpieczeń Społecznych,
dane Głównego Urzędu Statystycznego,
dane wojewódzkich urzędów statystycznych,
dane urzędów wojewódzkich,
dane z urzędów / izb skarbowych,
dane jednostek samorządu terytorialnego (regionalnych i lokalnych) oraz ich
jednostek organizacyjnych,
dane jednostek samorządu terytorialnego oraz ich jednostek organizacyjnych,
dane samorządowych kolegiów odwoławczych,
dane regionalnych izb obrachunkowych,
1
W rozumieniu przepisów ustawy z dnia 29 sierpnia 1997 r. o ochronie danych osobowych (Dz. U. z 2002 r. Nr
101, poz. 926, j. t.)
2
dane z rejestrów prowadzonych przez Ministerstwo Sprawiedliwości,
dane z systemów sądownictwa powszechnego i administracyjnego,
dane gromadzone przez organizacje pozarządowe / związki zawodowe /
organizacje pracodawców oraz ich stowarzyszenia i związki.
3. Wykonawca powinien wskazać zbiory danych, które mogą stanowić źródło
informacji do badań kontrfaktycznych i powinny odnosić się przynajmniej do
następujących grup docelowych oraz instytucji obejmowanych wsparciem
z EFS:
osoby bezrobotne, zatrudnione (w tym samozatrudnione) oraz nieaktywne
(w tym nieuczestniczące w kształceniu i szkoleniu),
klienci systemu pomocy społecznej,
osoby niepełnosprawne,
osoby należące do mniejszości etnicznych,
migranci,
pracownicy przedsiębiorstw,
pracownicy zagrożeni utratą pracy (w ramach zwolnień monitorowanych),
pracownicy sektora ekonomii społecznej,
dzieci uczęszczające do żłobków,
dzieci uczestniczące do przedszkoli i innych form wychowania
przedszkolnego,
uczniowie,
studenci,
doktoranci,
nauczyciele i pracownicy naukowi,
urzędy administracji samorządowej (urzędy gmin, starostwa powiatowe,
urzędy marszałkowskie),
pracownicy jednostek samorządu terytorialnego,
pracownicy administracji rządowej,
pracownicy wymiaru sprawiedliwości,
pracownicy sektora pozarządowego (organizacji pozarządowych) i partnerów
społecznych (związków zawodowych i organizacji pracodawców),
organizacje pozarządowe, związki zawodowe, organizacje pracodawców,
mikro, małe i średnie przedsiębiorstwa (MMSP),
żłobki
przedszkola i inne formy wychowania przedszkolnego,
szkoły podstawowe i gimnazjalne,
szkoły ponadgimnazjalne (w tym zawodowe),
uczelnie wyższe,
publiczne służby zatrudnienia (powiatowe i wojewódzkie urzędy pracy) oraz
pozostałe instytucje rynku pracy (agencje zatrudnienia, ochotnicze hufce
pracy, instytucje szkoleniowe, itd.),
instytucje systemu pomocy i integracji społecznej (ośrodki i domy pomocy
społecznej, powiatowe centra pomocy rodzinie, zakłady aktywności
zawodowej, warsztaty terapii zajęciowej, zakłady pracy chronionej, centra
integracji społecznej, kluby integracji społecznej, spółdzielnie socjalne,
spółdzielnie niewidomych i inwalidów, spółdzielnie pracy).
4. Szczegółowy katalog wszystkich grup docelowych Programu Operacyjnego
Kapitał Ludzki zawarty jest w Szczegółowym Opisie Priorytetów PO KL, natomiast
charakterystyka i zakres danych o uczestnikach projektów zawiera Instrukcja
wypełniania Formularza PEFS 2007 dla PO KL. Dokumenty te dostępne są na
stronie internetowej www.efs.gov.pl lub w siedzibie zamawiającego.
3
5. Raport z wynikami ekspertyzy powinien nie tylko opisywać zbiory danych i rodzaj
informacji na temat grup społecznych, zawodowych i instytucji obejmowanych
wsparciem z EFS, ale również wskazywać, w jaki sposób i w jakim stopniu (na
jakich zasadach) mogą one być wykorzystane w ramach ewaluacji
interwencji programów operacyjnych współfinansowanych ze środków
z EFS.
6. Z uwagi na charakter wsparcia udzielanego w ramach PO KL, ekspertyza
powinna uwzględniać przynajmniej informacje na temat:
administratora źródła danych,
instytucji, która dokonuje pomiaru,
metodologii pomiaru,
jednostki pomiaru danych,
częstotliwości i terminów pomiaru danych,
dokładnej daty publikacji danych (jeżeli są publikowane),
wielkości zbioru danych (aktualnej liczba rekordów w zbiorze danych),
zakresu przedmiotowego danych - listy charakterystyk, wg których zbierane są
dane (np. płeć, wiek, kategoria wiekowa, poziom wykształcenia, województwo,
powiat, gmina, obszar miejski/wiejski, wielkość miejsca zamieszkania,
dochody, itd.),
rodzaju danych (bezosobowe / osobowe, w tym dane wrażliwe),
poziomu dostępności (jawności) danych,
warunków, jakie muszą zostać spełnione w celu pozyskania danych,
czasu, w jakim mogą zostać dostarczone dane,
szacunkowych kosztów finansowych, związanych z pozyskaniem danych,
ograniczeń w zakresie korzystania z przedmiotowych zbiorów (baz) danych,
na które powinien zwrócić uwagę zamawiający badanie ewaluacyjne,
programu wykorzystywanego do przetwarzania danych,
innych kwestii, istotnych z punktu widzenia pozyskania i możliwości
powierzenia przetwarzania tych danych osobowych.
C. ZAGADNIENIA I PYTANIA BADAWCZE
1. Raport prezentujący wyniki ekspertyzy, musi umożliwić udzielenie odpowiedzi co
najmniej na następujące pytania badawcze, w odniesieniu do każdego
opisywanego zbioru danych:
Jakie są dostępne zbiory danych statystycznych i informacji o grupach docelowych wsparcia
z EFS (wg nazw tych zbiorów) oraz źródła tych danych (instytucje będące ich dysponentem)?
Czy dane zawarte w tych zbiorach są dostępne w podziale na płeć?
Jakie instytucje gromadzą dane o osobach i instytucjach, będących potencjalnymi odbiorcami
wsparcia z EFS, w odniesieniu do każdego ze zbiorów? Kto jest administratorem danych
w ramach każdego z analizowanych zbiorów / jaka instytucja je przetwarza? Jakie instytucje
udostępniają dane z każdego z analizowanych zbiorów?
Jak często są aktualizowane zbory danych (kiedy są zbierane nowe dane)? Które
analizowane zbiory danych są publicznie dostępne? Gdzie i w jakiej formie są one
publikowane / udostępniane? W jakim trybie są upubliczniane?
Jeżeli zbiór danych nie jest powszechnie dostępny - jaka jest procedura zdobycia tych
danych? Jak należy postępować, aby je pozyskać? Na jakich warunkach można pozyskać
dane z każdego z analizowanych zbiorów? Kto może je pozyskać? Jakie są możliwe
ograniczenia prawne / administracyjne przy konstruowaniu próby kontrolnej z wykorzystaniem
danych z tego źródła? Które z ww. zbiorów danych zawierają dane osobowe (w tym wrażliwe)
i jakiego rodzaju są to dane?
Jaka jest struktura poszczególnych zbiorów danych (ze względu na jakie cechy / zmienne
zbierane są dane, ile rekordów orientacyjnie zawiera dana baza)? Czy dane dotyczą całej
4
populacji? Na jakim poziomie terytorialnym: ogólnopolskim, regionalnym, ponadregionalnym,
lokalnym są gromadzone?
Jaki jest koszt pozyskania / udostępnienia danych?
Czy udostępniony zbiór danych może być przetwarzany, a jeśli tak – to w jakim programie
komputerowym?
Czy udostępniony zbiór danych może być udostępniony dalej (powierzany do przetwarzania
innym zainteresowanym instytucjom, w tym wykonawcom badań ewaluacyjnych)? Na jakich
warunkach?
D. WYMAGANIA DOTYCZĄCE PRZEDSTAWIENIA WYNIKÓW
1. W ramach ekspertyzy powinien zostać przygotowany raport prezentujący jej
wyniki, a także prezentacja multimedialna.
2. Raport powinien składać się z następujących elementów:
spisu treści;
streszczenia w języku polskim i angielskim (najważniejsze wyniki i ustalenia;
objętość nie więcej niż 2 strony w formacie A4);
wprowadzenia (opisu przedmiotu, celu ekspertyzy);
opisu przebiegu oraz sposobu realizacji ekspertyzy;
wyników ekspertyzy, w tym wyraźnego przedstawienia odpowiedzi na
wszystkie sformułowane pytania badawcze w odniesieniu do każdego
analizowanego zbioru danych;
ewentualnych aneksów, przedstawiających zestawienie analizowanych
danych.
3. Ostateczna wersja raportu zostanie przekazana zamawiającemu zarówno
w formie elektronicznej, jak i drukowanej (w liczbie 3 egzemplarzy), natomiast
wersja robocza raportu może zostać przekazana jedynie w formie
elektronicznej.
4. Zamawiający zastrzega sobie możliwość wielokrotnego zgłaszania uwag do
wersji roboczej raportu.
5. Wykonawca przygotuje na podstawie raportu prezentację multimedialną, którą
przekaże zamawiającemu w formie elektronicznej.
6. Od wykonawcy oczekuje się ponadto zaprezentowania wyników ekspertyzy na
2 spotkaniach, w terminach i miejscach wyznaczonych przez zamawiającego.
Koszty dotarcia na przedmiotowe spotkania pokrywa wykonawca.
E. WARUNKI UDZIAŁU W POSTĘPOWANIU
1. Wykonawca biorący udział w postępowaniu musi przedstawić dokumenty
potwierdzające doświadczenie w zakresie realizacji co najmniej 3 badań
ewaluacyjnych lub ekspertyz lub 3 analiz na potrzeby administracji publicznej,
o wartości nie mniejszej niż 30 000 zł brutto każda.
2. Wykonawca, biorący udział w postępowaniu, powinien zapewnić do realizacji
usługi następujących ekspertów:
co najmniej 1 osobę, posiadającą wiedzę statystyczną oraz doświadczenie
w zakresie wykorzystania ilościowych metod analizy danych, w tym pracy na
dużych zbiorach danych,
co najmniej 1 osobę, posiadającą doświadczenie w realizacji badań
ewaluacyjnych lub ekspertyz dotyczących programu operacyjnego Kapitał
Ludzki.
5
co najmniej 1 osobę, dysponującą aktualną wiedzą w zakresie ochrony oraz
przetwarzania danych osobowych.
3. Spełnienie warunków określonych w pkt. 1-2. niniejszego Rozdziału będzie
oceniane przez zamawiającego na podstawie dokumentów, dostarczonych
przez oferentów (rozumianych jako CV oraz ewentualne referencje wystawione
dla poszczególnych ekspertów, a także referencje i / lub protokoły odbioru
z badań ewaluacyjnych / analiz / ekspertyz, zrealizowanych należycie przez
wykonawców).
4. W przypadku wykonawców wspólnie ubiegających się o udzielenie zamówienia,
warunki określone w pkt. 1 oraz 2. niniejszego Rozdziału musi spełniać co
najmniej jeden wykonawca lub wszyscy wykonawcy łącznie.
5. Zamawiający zastrzega sobie możliwość negocjacji zaproponowanych
warunków realizacji oraz ceny za wykonanie ekspertyzy z wybranym
wykonawcą.
F.
WYMAGANIA DOTYCZĄCE OFERTY
1. Ofertę należy złożyć w wersji drukowanej - do Departamentu Zarządzania EFS
w Ministerstwie Rozwoju Regionalnego (ul. Wspólna 2/4, 00-926 Warszawa), jak
również w wersji elektronicznej, na adres e-mail: [email protected],
do dnia 04.10.2012 r., do godz. 12:00.
2. Czas realizacji usługi nie może przekraczać 90 dni kalendarzowych, licząc od
dnia zawarcia umowy.
3. Oferta powinna zawierać przynajmniej następujące elementy:
cenę wykonania usługi;
termin wykonania usługi;
listę zbiorów danych, która zostanie poddana analizie;
opis sposobu realizacji usługi;
harmonogram realizacji ekspertyzy w tygodniach, wraz ze wskazaniem osób
odpowiedzialnych za poszczególne zadania określone w harmonogramie;
wykaz osób (potwierdzony poprzez przekazane CV oraz referencji);
wykaz usług (potwierdzony przez referencje, protokoły odbioru badań / analiz
/ ekspertyz).
4. W celu zapewnienia porównywalności wszystkich ofert, zamawiający zastrzega
sobie prawo do skontaktowania się z wybranymi oferentami, w celu uzupełnienia
lub doprecyzowania ich treści.
5. Zamawiający informuje, że Ministerstwo Rozwoju Regionalnego zawiera umowy
na podstawie własnych wzorów umów stosowanych w Ministerstwie.
6. Zamówienie sfinansowane zostanie ze środków Europejskiego Funduszu
Społecznego oraz budżetu państwa w ramach Programu Operacyjnego Kapitał
Ludzki, Priorytet X – Pomoc techniczna.
7. Zamawiający oświadcza, że niniejsze zamówienie nie stanowi oferty w myśl art.
66 Kodeksu Cywilnego.
G. KRYTERIA OCENY OFERT
1. Kryteriami oceny ofert są: „cena” (udział w ocenie: 50%), „liczba zbiorów
danych, która zostanie poddana analizie” (udział w ocenie: 30%), „sposób
realizacji ekspertyzy” (udział w ocenie: 20%).
6
H. WARUNKI WSPÓŁPRACY Z WYKONAWCĄ
1. Osobą odpowiedzialną za nadzór realizacji ekspertyzy przez zamawiającego
i kontakt z wykonawcą jest Pan Michał Sułkowski (DZF, MRR), nr tel. (022) 330
30 76, adres e-mail: [email protected]
2. W trakcie realizacji ekspertyzy od wykonawcy oczekuje się:
a) sprawnej i terminowej realizacji zamówienia, w tym uwzględniania w trakcie
jego realizacji wszystkich uwag zgłaszanych przez zamawiającego;
b) wyznaczenia osoby do kontaktów roboczych z zamawiającym;
c) pozostawania w stałym kontakcie z zamawiającym (spotkania odpowiednio do
potrzeb);
d) bezzwłocznego przedstawiania na żądanie zamawiającego elektronicznego
raportu z postępu w realizacji ekspertyzy;
e) niezwłocznego informowania o pojawiających się problemach, zagrożeniach
lub opóźnieniach w realizacji w stosunku do harmonogramu realizacji
zamówienia, a także innych zagadnieniach istotnych dla realizacji ekspertyzy;
f) konsultowania z zamawiającym wszelkich decyzji, podejmowanych w wyniku
ewentualnego pojawienia się trudności w trakcie realizacji ekspertyzy;
g) przekazania zamawiającemu po zakończeniu realizacji ekspertyzy pełnej
dokumentacji: ostatecznej wersji raportu oraz wszelkich zestawień danych
powstałych w trakcie jej realizacji;
h) oznaczenia wszystkich materiałów przygotowanych w trakcie realizacji
zamówienia, zgodnie z zasadami wizualizacji PO KL, tj. opatrzenia ich godłem
UE, logo Programu Operacyjnego Kapitał Ludzki oraz informacją
o współfinansowaniu ze środków UE.
I.
DOKUMENTY ŹRÓDŁOWE
1. W celu uzyskania szczegółowych informacji na temat przedmiotu ekspertyzy
należy zapoznać się m.in. z następującymi dokumentami:
Program Operacyjny Kapitał Ludzki, wersja z dnia 1 stycznia 2012 roku;
Szczegółowy Opis Priorytetów PO KL, wersja z dnia 1 lipca 2012 roku;
Zasady systemu sprawozdawczości PO KL (w tym Podręcznik wskaźników
PO KL), wersja z dnia 1 stycznia 2012 roku oraz FAQ dotyczące
monitoringu;
Dokumenty dotyczące systemu PEFS (instrukcja, FAQ, stanowiska IZ PO
KL) oraz systemu KSI (zakres zbieranych danych);
Projekty rozporządzeń WE (ogólnego oraz w zakresie EFS), dotyczących
perspektywy finansowej 2014-2020 (w kontekście możliwości wykorzystania
źródeł danych w kolejnym okresie programowania);
Załącznik XXIII do rozporządzenia Komisji Europejskiej (WE) nr 1828/2006
z dnia 8 grudnia 2006 r., dotyczący danych na temat uczestników projektów
EFS, realizowanych w latach 2007-2013.
2. Wykonawca zobowiązany jest do gromadzenia dodatkowych informacji, których
pozyskanie będzie konieczne dla realizacji ekspertyzy.
3. Zamawiający ułatwi, jeśli będzie to konieczne, dostęp do informacji i danych,
będących w jego posiadaniu, a niezbędnych dla zrealizowania ekspertyzy.
7