podstawowe informacje o pilotażu partycypacyjnego modelu

KONCEPCJA MONITORINGU I EWALUACJI MODELU FRDL W PILOTAŻU PARTYCYPACYJNEGO MODELU TWORZENIA
POLITYK PUBLICZNYCH W PROJEKCIE „DECYDUJMY RAZEM”.
Struktura dokumentu:
1.
Wprowadzenie. Założenia, cele monitoringu i ewaluacji modelu FRDL w projekcie „Decydujmy Razem”.
2.
Przedmiot monitoringu i ewaluacji.
3.
Struktura i metodyka procesu monitoringu i ewaluacji.
4.
Ryzyka w monitoringu i ewaluacji.
5.
Uwagi końcowe.
I.
WPROWADZENIE
Monitoring i ewaluacja procesu partycypacyjnego tworzenia i realizacji lokalnej polityki publicznej należy do jednej z bardziej skomplikowanych
kwestii jakie można napotkać w związku z planowaniem i realizacją interwencji publicznej, w tym związanych z procesami funkcjonowania jednostek
samorządu terytorialnego. Złożoność tego problemu wzrasta w momencie kiedy przedmiotem naszego zainteresowania jest mechanizm uspołecznienia
procesów zarządzania, który jest efektem wzajemnego współoddziaływania wielu czynników społecznych, normatywnych czy politycznych, skutkujących
wysokim poziomem trudności w jego wyjaśnianiu. W tym też sensie niezbędne jest przyjęcie kilku założeń koniecznych do tego aby planowane
przedsięwzięcie zostało efektywnie zrealizowane.
ZAŁOŻENIA, CELE MONITORINGU I EWALUACJI MODELU FRDL W PROJEKCIE „DECYDUJMY RAZEM”.
Punktem wyjścia dla budowania koncepcji monitoringu i ewaluacji metody FRDL jest uświadomienie faktu, iż jest ona jedną z dwóch metod
pobudzania partycypacji publicznej testowanych w przedmiotowym projekcie. Druga, z nich to metoda animacji na poziomie subregionalnym
wykorzystywana w projekcie przez Centrum Aktywności Lokalnej. Odnosząc tą okoliczność do złożonej struktury całego projektu i zakresu planowanego
działania należy podkreślić, iż będzie się on odnosił ściśle do tego elementu projektu Decydujmy Razem, za którą odpowiedzialność ponosi FRDL. Zgodnie z
wnioskiem ewaluacja całości projektu „Decydujmy Razem” jest w gestii Fundacji Fundusz Współpracy. Odnosząc się z kolei do struktury celów jaka została
zapisana w dokumencie projektowym należy podkreślić, iż za cel ogólny projektu „Decydujmy Razem” uznano budowę mechanizmu partycypacji
społecznej w kreowaniu i wdrażaniu polityk lokalnych w jednym z czterech obszarów: zatrudnienie, integracja społeczna, przedsiębiorczość i
zrównoważony rozwój. Celami szczegółowymi są:
1. Wypracowanie i przetestowanie modeli partycypacji społecznej z wykorzystaniem instrumentów animacji społecznej. Wskaźniki: modele
partycypacji przetestowane do czerwca 2014 r.
2. Wypracowanie mechanizmu oceny i monitoringu partycypacji społecznej. Wskaźniki: wskaźniki typu i natężenia opracowane i przetestowane
do 2012 r.
3. Opracowanie i przygotowanie do wdrożenia ogólnopolskiego systemu wspierania partycypacji społecznej. Wskaźniki: system szkolenia,
system wsparcia animatora, poradniki z modelowymi rozwiązaniami dotyczącymi partycypacji, katalog dobrych praktyk, pakiet zmian
prawnych, całościowe opracowanie modelu struktur wsparcia partycypacji społecznej na poziomie lokalnym do 2014 r.
4. Upowszechnienie modeli partycypacji w środowiskach lokalnych. Wskaźnik: 300 jst zapoznane z modelami partycypacji do 2014 r.
Uwzględniając powyżej wskazane założenia monitoring i ewaluacja modelu FRDL w pilotażu partycypacyjnego modelu tworzenia polityk publicznych
w projekcie „Decydujmy Razem” odnosić się będzie do celu szczegółowego nr 1, zakładającego „Wypracowanie i przetestowanie modeli partycypacji
społecznej z wykorzystaniem instrumentów animacji społecznej”. Wskaźnikiem realizacji ma być potwierdzenie, iż modele partycypacji (w tym autorstwa
FRDL) zostały przetestowane do czerwca 2014 r. Poprzez model rozumieć tu należy z jednej strony system założeń, pojęć i zależności między nimi
pozwalający opisać (odwzorować) z dużym przybliżeniem jakiś aspekt rzeczywistości, z drugiej zaś strony oznacza pewien uogólniony sposób
postępowania prowadzący do osiągnięcia jej pożądanego stanu. Sam sposób postępowania a także język go opisujący, powinien pozwolić następnie na
możliwość jego doświadczalnego sprawdzenia i przeanalizowania. Tym samy skonstruowany przez ekspertów FRDL teoretyczny model partycypacji
publicznej powinien zostać w toku realizacji projektu praktycznie zweryfikowany, zarówno w jego strukturalnym (konstrukcja uczestniczących aktorów, ich
ról i zadań) jak i funkcjonalnym (wymiar procesów i relacji między podmiotami).
Formułując koncepcję monitoringu i ewaluacji dla wyżej określonego celu należy przyjąć następujące wyjściowe założenia:
Założenie 1. Podejście projektowe. Proces monitoringu i ewaluacji metody FRDL należy traktować jako subprojekt realizowany w ramach większej
całości objętej zakresem odpowiedzialności FRDL w ramach projektu „Decydujmy Razem”.
Założenie 2. Uwspólnienie stosowanych pojęć i metody. W tak rozumianym działaniu ważnym jest w miarę precyzyjne uzgodnienie siatki
pojęciowej używanej w projekcie. Jest to tym bardziej konieczne, iż w miarę postępu w realizacji projektu obserwujemy dużą dowolność w wyjaśnianiu
kluczowych pojęć takich jak: monitoring, ewaluacja, metoda FRDL, partycypacja społeczna, partycypacja publiczna, doradztwo, animacja, koordynacja.
Założenie 3. Ciągłość i partycypacyjny charakter procesu monitoringu i ewaluacji. Zarówno proces monitorowania jak i ewaluacja metody FRDL
powinny być realizowane przy zaangażowaniu wszystkich interesariuszy projektu, z wykorzystaniem zasobów będących w ich dyspozycji. Takie podejście
powinno z jednej strony służyć zachowaniu zasady celowego i efektywnego wykorzystania możliwości jakie daje konstrukcja projektu i przyjętej do realizacji
metody FRDL , i oznaczać zastosowanie niezbędnych, przewidzianych projektem narzędzi. Z drugiej zaś strony mimo partycypacyjnej orientacji projektu
należy zapewnić wiarygodność i rzetelność procedury badawczej.
Założenie 4. Zapewnienie ścisłej zależności między monitoringiem i ewaluacją. W tak skonstruowanym przedsięwzięciu należy dążyć do bardzo
ścisłego powiązania monitoringu i ewaluacji. Zgodnie z powszechnie podzielanymi poglądami monitoring jest podstawą dobrze przeprowadzonej ewaluacji,
tzn. jego rezultaty będą materiałem wyjściowym dla właściwie przeprowadzonej ewaluacji. Tym samym skuteczna realizacja ewaluacji metody FRDL będzie
wymagała poprawnie prowadzonego monitoringu. Ważną okolicznością jest w tym względzie takie zaplanowanie działań aby z jednej strony unikać
nadmiernego obciążenia uczestników projektu czynnościami badawczymi a z drugiej strony maksymalnie je koncentrować, wykorzystując wszystkie
dostępne narzędzia badawcze i źródła informacji.
Budując koncepcję monitoringu i ewaluacji należy uściślić jak będziemy rozumieli oba te pojęcia w planowanej procedurze. Jest to tym bardziej
istotne, iż oba te terminy są w teorii i praktyce zarządzania projektami bliskoznaczne i szczególnie dużo kontrowersji budzi kwestia zależności między nimi.
Monitoring w odróżnieniu od ewaluacji koncentruje się przede wszystkim na odpowiedzi na pytanie o to co się dzieje, jak przebiega realizacja
zaplanowanego działania. w związku z oczekiwanymi produktami i czy działania te są realizowane zgodnie z wcześniej zdefiniowanymi celami. Poprzez
monitoring będziemy rozumieć proces polegający na systematycznym gromadzeniu, analizowaniu i raportowaniu wiarygodnych, zobiektywizowanych
informacji ilościowych i jakościowych, dotyczących wdrażania projektów i programów. Jego intencją jest zapewnienie zgodności ich realizacji z wcześniej
przyjętymi założeniami i celami, w aspekcie finansowym i rzeczowym[por. Zajączkowska A., Monitoring na potrzeby wdrażania projektów 2008, Nicholas
J. M., Steyn H., Zarządzanie projektami. Zastosowanie w biznesie, inżynierii i nowych technologiach, Warszawa 2011.]”. W tym ujęciu monitoring
będziemy traktować jako element wewnętrznego, bieżącego i jednocześnie zintegrowanego zarządzania projektem, zorientowanego na bieżącą kontrolę
osiągania wcześniej przyjętych celów. W objętym koncepcją przypadku oznacza to konieczność monitorowania ex-post procesu planowania i on-going
procesu wdrażania lokalnej polityki publicznej.
Z kolei poprzez ewaluację rozumieć będziemy „proces polegający na systematycznej i obiektywnej ocenie programu , jego założeń, procesu
realizacji i rezultatów pod względem stosowności, skuteczności, trwałości, efektywności, a także użyteczności podjętych w ich ramach działań. Ewaluacja
powinna dostarczać rzetelnych i przydatnych informacji o obiekcie badania, wspierając w ten sposób proces decyzyjny oraz wspierając współdziałanie
wszystkich partnerów zaangażowanych w realizację projektu. Jej celem jest „ poprawa jakości, skuteczności i spójności udzielanego wsparcia”.
CELE MONITORINGU i EWALUACJI.
Celami planowanego monitoringu i ewaluacji są:
pozyskanie kompleksowej wiedzy na temat procesu wdrażania (testowania) modelu FRDL w pilotażu partycypacyjnego modelu tworzenia
polityk publicznych. Wiedza ta powinna się odnosić zarówno do funkcjonowania modelu partycypacji publicznej FRDL na etapie
opracowywania (planowania) jak i wdrażania dokumentu z obszaru lokalnej polityki publicznej z zakresu zatrudnienia, integracji społecznej,
rozwoju przedsiębiorczości i zrównoważonego rozwoju,
przeprowadzenie profesjonalnej i kompleksowej oceny wdrażania modelu autorstwa FRDL, zgodnie z przyjętymi wskaźnikami, służącej z
jednej strony potwierdzeniu jego wartości z drugiej zaś identyfikacji błędów, deficytów i ograniczeń jakie pojawiły się w trakcie jej
testowania,
doskonalenie przedmiotowego modelu FRDL, poprzez sformułowanie trafnych i użytecznych rekomendacji, prowadzących do jego
ulepszenia zarówno na etapie planowania jak i realizacji polityki publicznej a w konsekwencji opisanie tego przetestowanego modelu w
poradniku.
Zasygnalizowane w części wstępnej koncepcji kryteria ewaluacji będą rozumiane następująco:
1. Skuteczność - pozwala ustalić, w jakim stopniu cele zdefiniowane w projekcie zostały osiągnięte.
2. Efektywność - pozwala ocenić stosunek poniesionych nakładów do uzyskanych rezultatów oraz oddziaływania, w danym okresie czasu.
Można dzięki temu ocenić możliwości osiągnięcia zbliżonych efektów przy wykorzystaniu mniejszych zasobów oraz zwiększaniu efektów
przy zastosowaniu porównywalnych nakładów.
3. Użyteczność - pozwala ocenić, do jakiego stopnia oddziaływanie produktu odpowiada na problemy, deficyty grupy docelowej; czy
zmiany wywołane wdrożeniem produktu są korzystne z punktu widzenia rozwiązania problemów beneficjentów.
4. Trafność - pozwala ocenić, do jakiego stopnia oddziaływanie produktu odpowiada potrzebom grupy docelowej; czy zmiany wywołane
wdrożeniem produktu są korzystne z punktu widzenia jst i społeczności, przy uwzględnieniu różnic interesów podmiotów
zaangażowanych w przedsięwzięcie.
5. Trwałość – kryterium, które odnosi się do zdolności zapewnienia niezakłóconego funkcjonowania modelu FRDL po zakończeniu
projektu, utrzymanie przez uczestników zadeklarowanych w trakcie wdrażania wskaźników projektu, na poziomie produktu, rezultatu i
oddziaływania.
ŹRÓDŁA DANYCH DLA POTRZEB MONITORINGU i EWALUACJI.
Z uwagi na złożony charakter projektu oraz standardowy wymóg triangulacji procesu pozyskiwania informacji za kluczowe jej źródła należy
przyjąć:
animatorów gminnych / powiatowych,
doradców,
członków zespołu partycypacyjnego,
członków zespołu monitoringowego,
koordynatorów gminnych / powiatowych,
koordynatorów regionalnych FRDL,
władze lokalne
PRZEDMIOTU MONITORINGU I EWALUACJI, JEJ CELE I ADRESAT EWALUACJI
Zgodnie z wyżej wskazanymi założeniami przedmiotem monitoringu i ewaluacji będzie model FRDL tworzenia i realizacji polityki publicznej.
Rys. nr 1. Schemat ideowy modelu FRDL w pilotażu partycypacyjnego modelu tworzenia polityk publicznych w projekcie „Decydujmy Razem”
Rys. nr 2. Schemat ideowy struktury monitoringu i ewaluacji modelu FRDL w pilotażu partycypacyjnego modelu tworzenia polityk publicznych w projekcie
„Decydujmy Razem”.
MONITORING I EWALUACJA METODY FRDL W UJĘCIU TABELARYCZNYM.
Monitoring fazy planowania / kluczowe pytania badawcze
 Czy w proces planowania polityki zarządzania programem jest zapewniony udział
czynnika obywatelskiego i jaki jest jego zakres?
 W jakich formach obywatele uczestniczyli w planowaniu lokalnej polityki publicznej?
 Czy był to udział sporadyczny czy miał charakter ciągły i trwały?
 Jaki była zakres wpływu czynnika społecznego na treść dokumentu, w tym
definiowanie celów i zadań przyjętych do realizacji?
 Czy metoda FRDL jest czytelna dla jego uczestników?
 Czy zrealizowano wszystkie działania przewidziane umowa między FRDL a jst?
 Które z elementów metody FRDL, zawarte w umowie i innych ustaleniach z jst nie
zostały zrealizowane i jakie były tego powody?
 Jakie działania wymagały modyfikacji i jak je przeprowadzono?
Monitoring fazy wdrażania / kluczowe pytania badawcze
 Czy w procesie wdrażania zarządzania programem jest zapewniony udział czynnika
obywatelskiego?
 W jakich formach i w jaki zakresie obywatele uczestniczą w realizowaniu zadań
zawartych w dokumencie? Czy podlega on w trakcie wdrażania istotnym
modyfikacjom?
 Czy udział obywateli w realizacji zaplanowanej polityki jest sporadyczny czy ma
charakter ciągły i trwały?
 Czy zespół partycypacyjny kontynuuje swoją aktywność i podejmuje działania na
etapie wdrożeniowym? Jeżeli tak to w jakich formach i z jakim natężeniem? Jeżeli nie
kontynuuje swojej aktywności to jaka jest tego przyczyna?
 Jak przebiega aktywność animatora na etapie wdrażania dokumentu?
 Czy są przykłady świadczące o tym, iż model FRDL jest trwały i wykorzystywany do
kolejnych czynności planistycznych?
Ewaluacja modelu FRDL / kluczowe pytania badawcze














Czy prawidłowo zaplanowano i przeprowadzono proces pilotażu modelu FRDL?
Czy przyjęty w modelu FRDL system współpracy z gminami/ powiatami, dający
oczekiwane i wiarygodne wyniki i okazał się efektywny na etapie pilotażu?
Czy przyjęty w modelu FRDL system relacji między samorządem a stroną społeczną,
przyniósł spodziewane i wiarygodne wyniki i okazał się efektywny na etapie pilotażu?
W jakim stopniu zastosowany model FRDL okazał się skuteczny w opracowaniu i
wdrażaniu dokumentów lokalnych polityk publicznych?
Czy uczestnicy procesu testowania poprawnie wypełnili przypisane im role? Jeżeli nie, to
jakie tego były przyczyny?
Czy efekty projektu okazały się korzystne dla różnych grup interesariuszy
uczestniczących w pilotażu modelu FRDL?
Czy pojawiły się pozytywne lub negatywne niezaplanowane efekty uboczne testowania
modelu FRDL?
Czy efekty wdrażania modelu FRDL są trwałe, odczuwalne w dłuższym okresie czasu?
Czy są obserwowalne po zakończeniu projektu? Ewentualnie w jakim stopniu i jakich
grup dotyczą?
Jakie czynniki (wewnętrzne i zewnętrzne) i z jaką siłą wpłynęły na przebieg procesu
pilotażu modelu FRDL i osiągnięte rezultaty?
W jakim zakresie proces wdrażania lokalnej polityki publicznej weryfikuje model FRDL?
Czy testowany model FRDL jest praktyczny, użyteczny i prezentuje wysoką jakość
metodologiczną?
Jakich usprawnień i zmian wymaga model FRDL, aby stał się maksymalnie użyteczny dla
użytkowników przy optymalnym zaangażowaniu środków?
Jakie były osiągnięcia modelu FRDL w zakresie wdrażania polityki równości płci?
Czy w efekcie zastosowania modelu FRDL nastąpiła poprawa jakości w tworzeniu i
realizacji lokalnej polityki publicznej?
Uczestnicy role, cele, fazy i harmonogram procesu monitoringu i ewaluacji metody FRDL:
Podmiot
Rola i cele w procesie, rodzaj wykonywanych
/uczestnik
działań, ich charakterystyka i rezultat
procesu
Animator
gminny/powia
towy
Rolą animatora gminnego/powiatowego będzie monitorowanie procesu
wdrażania opracowanego partycypacyjnie dokumentu wybranej polityki
publicznej jak również monitorowanie metody FRDL na etapie wdrażania, z
uwzględnieniem wcześniejszego etapu planowania, w tym pozyskiwanie i
dokumentowanie informacji o faktach dotyczących działania modelu FRDL
w praktyce i jego wpływu na uczestnictwo mieszkańców w tym procesie a
także identyfikacja i opis barier i ograniczeń związanych z partycypacyjnym
realizowaniem polityki publicznej przy wykorzystaniu metody FRDL.
Animator powinien również obserwować zjawiska świadczące o trwałości
modelu FRDL ewentualnie rejestrować dane ilustrujące potrzebę jego
modyfikacji. Ważnym jest także automonitoring własnej roli i działań w tych
procesach.
Ponadto zadaniem animatora na etapie wdrażania dokumentu jest
powołanie zespołu monitorującego składającego się z przedstawicieli strony
samorządowej i społecznej i koordynowanie działań tego zespołu przy
merytorycznym wsparciu doradcy FRDL.
Zadania w ramach
monitoringu
i ewaluacji
1. Sporządzenie przez animatora 3
raportów uwzględniających zagadnienia
związane z procesem monitorowania
wdrażania zapisów dokumentu w tym:
- raportu otwarcia – dla chętnych
możliwość spisania wspomnień i refleksji
w postaci pamiętnika.
- raportu w trakcie procesu monitoringu
uwzględniającego realizację metody
FRDL na etapie wdrażania dokumentu,
- raportu końcowego podsumowującego
monitoring
2. Powołanie i koordynowanie działań
zespołu monitorującego
3. Przygotowanie wraz z członkami
zespołu monitorującego planu
monitoringu
4. Udział w indywidualnym wywiadzie
swobodnym pogłębionym – animatorzy
II tury
5. Udział w fokusie
Stosowane
narzędzia
(jak?)
1. Formularz raportu,
poruszający zagadnienia
związane z procesem
monitorowania zapisów
dokumentu a także
wcześniejszym procesem
planowania. Raport
weryfikuje realizację zadań
pod kątem uczestnictwa
mieszkańców w realizacji
projektów określonych w
dokumencie
programowym (formy
uczestnictwa, skala
zaangażowania
społecznego). Preferowana
technika to obserwacja
bezpośrednia,
uczestnicząca. Zbieranie
danych ilościowych o
partycypacji publicznej
2. Wytyczne dla animatora
w sprawie tworzenia i
funkcjonowania zespołu
monitorującego
Harmonogram
(kiedy?)
Okres jednego
roku po
uchwaleniu
dokumentu przez
Radę.
Podmiot
Rola i cele w procesie, rodzaj wykonywanych
/uczestnik
działań, ich charakterystyka i rezultat
procesu
Doradca
Zespół
monitorujący
Zadania w ramach
monitoringu
i ewaluacji
Rolą doradców na etapie wdrażania dokumentu będzie przeszkolenie
zespołu monitorującego w zakresie czynności monitoringowych przy
wdrażaniu dokumentów. Celem tego szkolenia będzie przygotowanie
członków zespołu monitorującego do uspołecznionego procesu
monitorowania wdrażania dokumentów. Drugim ważnym zadaniem
doradcy będzie doradztwo na etapie monitorowania etapu wdrażania
dokumentu przez zespół monitorujący. Celem tego doradztwa będzie
przeprowadzenie członków zespołu monitorującego przez proces
uspołecznionego monitoringu wdrażania dokumentu i czuwanie nad
prawidłowym przebiegiem tego procesu a tym samym przygotowanie
przedstawicieli samorządu i strony społecznej do samodzielnego
przeprowadzania procesów partycypacyjnych w przyszłości. Doradca będzie
również obserwował działania animatora i zespołu monitorującego, dzięki
czemu będzie identyfikował bariery i ograniczenia związane z
partycypacyjnym realizowaniem polityki publicznej przy wykorzystaniu
metody FRDL w przypadku obserwowanej JST.
1. Przeprowadzenie szkolenia z
monitoringu dla zespołów
monitorujących
W skład zespołu monitorującego wchodzić będą przedstawiciele strony
samorządowej jak i społecznej.
Zadaniem zespołu będzie zbieranie informacji na temat przebiegu
wdrażania rozwiązań zawartych w uchwalonym dokumencie a także na
identyfikacji barier i czynników sukcesu odnoszących się do realizowanych
zadań. Pozyskane informacje mają służyć ewentualnej modyfikacji
poszczególnych zapisów dokumentu.
1. Uczestnictwo w szkoleniu z zakresu
monitoringu dla zespołów
monitorujących
Stosowane
narzędzia
(jak?)
Harmonogram
(kiedy?)
Wytyczne do szkoleń dla
zespołu monitorującego.
Okres jednego
roku po
uchwaleniu
dokumentu przez
Radę.
Plan działań
monitorujących
Okres jednego
roku po
uchwaleniu
dokumentu przez
Radę.
2. 16 h doradztwa w procesie
monitoringu dla zespołów
monitorujących
3. Udział w fokusie
2. Stworzenie planu działań
monitorujących dla jst
Podmiot
Rola i cele w procesie, rodzaj wykonywanych
/uczestnik
działań, ich charakterystyka i rezultat
procesu
Zadania w ramach
monitoringu
i ewaluacji
Stosowane
narzędzia
(jak?)
Harmonogram
(kiedy?)
3. Aktywne uczestnictwo w spotkaniach
zespołu monitorującego (minimum 3
spotkania w ciągu roku)
4. Członkowie zespołu monitoringowego
– udział w wywiadzie grupowym
pogłębionym.
5. Wybrani członkowie zespołu
monitoringowego II tury – udział w
indywidualnych wywiadach
pogłębionych
Ewaluator
Zewnętrzny specjalista, którego rola polegałaby na prowadzeniu procesu
ewaluacji modelu FRDL w fazie jego wdrażania. Prowadzi po dwa spotkania
ewaluacyjne z członkami zespołu monitoringowego. Poprzez dyskusję z
uczestnikami spotkań oraz poprzez obserwację dokonuje oceny zasadności i
efektywności procesu wdrażania dokumentu, a także ocenia proces
monitoringu.
Na podstawie spotkań tworzy raport ewaluacyjny.
1. Opracowanie dwóch raportów (po
każdym ze spotkań z zespołami
monitorującymi) otwarcia i zamknięcia
oraz na tej podstawie jednego raportu
zbiorczego (końcowego)
1. Zagadnienia/ problemy
do poruszenia podczas
grupowych wywiadów
pogłębionych z zespołem
monitorującym
2. Przekazanie raportów zespołowi
ewaluacyjnemu.
2. Wytyczne do
przeprowadzenia
grupowych wywiadów
pogłębionych
3. Scenariusz raportów
cząstkowych (otwarcia i
zamknięcia) z grupowych
2012-2013
Podmiot
Rola i cele w procesie, rodzaj wykonywanych
/uczestnik
działań, ich charakterystyka i rezultat
procesu
Zadania w ramach
monitoringu
i ewaluacji
Stosowane
narzędzia
(jak?)
Harmonogram
(kiedy?)
wywiadów pogłebionych
4. Scenariusz raportu
zbiorczego z
grupowych wywiadów
pogłębionych
Koordynator
regionalny
FRDL
Rolą koordynatora regionalnego będzie gromadzenie informacji na temat
monitorowania procesu wdrażania metody FRDL. Jego czynności będą
polegały na uczestnictwie w 3 spotkaniach zespołu monitorującego,
obserwacji i sporządzaniu notatek z tych spotkań. Pozyskiwanie i
dokumentowanie informacji o faktach dotyczących działania modelu FRDL
w praktyce i jego wpływu na uczestnictwo mieszkańców w tym procesie.
Koordynator powinien również obserwować zjawiska świadczące o
trwałości modelu FRDL, ewentualnie rejestrować dane ilustrujące potrzebę
jego modyfikacji.
1. Prowadzenie obserwacji
1. Wytyczne do
uczestniczącej 3 spotkań obowiązkowych sporządzania notatek z
zespołu monitorującego
obserwacji spotkań
zespołów monitorujących
2. Sporządzanie notatek z 3 spotkań
obowiązkowych zespołu
monitorującego. Notatki zawierałyby
przede wszystkim informację o:
przebiegu spotkania, czasie trwania,
liczbie uczestników, poruszanych
tematach, formach pracy, zgodności z
założonym harmonogramem pracy
zespołu
2012 do 2013
3. Koordynator regionalny FRDL zbierać
będzie raporty animatorów i
przekazywać je zespołowi ds. analizy
ankiet i raportów
Rola koordynatora centralnego FRDL będzie polegała na gromadzeniu
Koordynator
centralny FRDL informacji o monitorowaniu i ewaluacji modelu FRDL i udostępnieniu
Udostępnia wszelkie materiały oraz dane Brak narzędzi
wtórne, zebrane w projekcie w ramach
wszelkich posiadanych danych o procesie realizacji projektu zarówno z I jak zobowiązań poszczególnych uczestników
2012-2014
Podmiot
Rola i cele w procesie, rodzaj wykonywanych
/uczestnik
działań, ich charakterystyka i rezultat
procesu
Zadania w ramach
monitoringu
i ewaluacji
Stosowane
narzędzia
(jak?)
Harmonogram
(kiedy?)
i II tury jst w projektcie. Jednym z zadań powinna być także obserwacja i
koordynacja procesu monitoringu i ewaluacji metody FRDL. Współpraca z
doradcami, koordynatorami regionalnymi i zespołem ewaluacyjnym.
projektu np. karty doradztwa, notatki
koordynatorów regionalnych oraz
materiały z badań empirycznych, w
których uczestniczyli uczestnicy metody
FRDL: członkowie zespołów, animatorzy,
doradcy, koordynatorzy etc.
Koordynatorzy
gminni/powiat
owi
W związku z modyfikacją roli koordynatorów gminnych pomiędzy I a II turą
udział w monitoringu będzie przebiegał następująco: koordynatorzy I i II
tury wezmą udział w wywiadach pogłębionych natomiast koordynatorzy II
tury dodatkowo wezmą czynny udział w procesie monitorowania wdrożeń.
1. Udział w indywidualnym wywiadzie
pogłębionym – II tura
Zespół
Ekspercki ds.
Analizy Ankiet
i Raportów
Rolą zespołu byłoby zagregowanie danych uzyskanych na etapie
monitorowania modelu FRDL, uzyskanych od animatorów
i koordynatorów FRDL. Zapisania ich w postaci raportów kwartalnych i
końcowego, podsumowującego zebrany materiał empiryczny oraz
prowadzoną procedurę badawczą.
1. Opracowanie 3 raportów cząstkowych
na podstawie raportów animatorów oraz
notatek koordynatorów FRDL
2. Opracowanie raportu zbiorczego na
podstawie raportów cząstkowych.
3. Przekazanie raportów zespołowi
ewaluacyjnemu
Raport animatorów
2012 - 2014
notatka koordynatorów
FRDL
Struktura raportu z notatki
koordynatorów FRDL
Zespół
ewaluacyjny
modelu FRDL
Rolą Zespołu byłoby przeprowadzenie badań jakościowych (dwie tury po 6
indywidualnych wywiadów pogłębionych w 15 wybranych jst II tury, 2
fokusy z animatorami (I i II tura), 1 fokus z doradcami na zakończenie
projektu) oraz analiza ich wyników zapisana w postaci raportów zbiorczych.
Do zadań zespołu należałoby również uwzględnienie w swoich analizach,
zapisanych także w postaci raportów zbiorczych, opracowania danych
empirycznych, uzyskanych od ewaluatorów.
1.Przeprowadzenie przez ewaluatorów
w dwóch turach (po 6 w każdej turze)
wywiadów swobodnych pogłębionych
(IDI) w wybranych 15 jst II tury i
sporządzenie raportów cząstkowych z
wywiadów w każdym jst po każdej turze.
1. Scenariusze wywiadów 2013-2014
swobodnych pogłębionych
(IDI) do realizacji przez
Zespół Ewaluacyjny
Modelu FRDL
Brak narzędzi
2012-2014
2. Udział w procesie monitorowania
2. Przeprowadzenie przez ewaluatorów
2. Struktura raportu
cząstkowego i raportu
Podmiot
Rola i cele w procesie, rodzaj wykonywanych
/uczestnik
działań, ich charakterystyka i rezultat
procesu
Zadaniem ostatecznym byłaby końcowa ewaluacja modelu FRDL pod kątem
założonych wskaźników projektowych:
1. wdrażania modelu FRDL,
2. wypracowanego modelu wdrażania polityk publicznych z zastosowaniem
modelu FRDL,
3. efektu testowanego model partycypacji publicznej.
Praca zespołu będzie polegała na przedyskutowaniu i sporządzeniu
końcowej oceny wdrażania modelu FRDL. Eksperci winni dokonać tej oceny
pod kątem efektywności, skuteczności, użyteczności, trafności i trwałości.
Elementem raportu końcowego winno być również opracowanie
rekomendacji dla FRDL dotyczących ewentualnej modyfikacji modelu i
wykorzystania go w szerszej praktyce publicznej.
Zadania w ramach
monitoringu
i ewaluacji
dwóch zogniskowanych wywiadów
grupowych (fokusów) - po jednym dla
animatorów I tury samorządów i II tury
samorządów z wyłączeniem 7 jst
badanych przez ISP
Stosowane
narzędzia
(jak?)
zbiorczego z wywiadów
swobodnych pogłębionych
(IDI)
3. Wytyczne do
przeprowadzenia
3. Przeprowadzenie przez ewaluatorów zogniskowanych
jednego zogniskowanego wywiadu
wywiadów grupowych
grupowego (fokusa) dla doradców FRDL (fokusów) z animatorami i
doradcami do realizacji
4. Opracowanie raportów cząstkowych z przez Zespół Ewaluacyjny
każdego zogniskowanego wywiadu
grupowego (fokusa) i na ich podstawie
4. Struktura raportów
przygotowanie raportu zbiorczego z
cząstkowych i zbiorczego
przeprowadzonych badań fokusowych. ze zogniskowanych
wywiadów grupowych
5. Opracowanie raportu łącznego (oceny (fokusów)
wdrażania modelu FRDL) na podstawie
wszystkich raportów zbiorczych,
5. Wytyczne i struktura
wypracowanych w procesie monitoringu raportu łącznego – oceny
i ewaluacji oraz raportu opracowanego wdrażania modelu,
przez zespół ekspercki ds. analizy ankiet i uwzględniające wskaźniki
raportów, uwzględniającego również
projektowe
zasadnicze wnioski, wynikające z
zastosowania modelu FRDL w procesie
planowania i wdrażania lokalnych polityk
publicznych
Harmonogram
(kiedy?)
Ryzyka jakie mogą pojawić się w trakcie monitoringu i ewaluacji:
• niechęć lokalnych aktorów w tym władz gminy do diagnozowania problemu, bagatelizowanie procedury i badań, odbieranie wartości uzyskanym
wynikom, zaprzeczanie wynikom, niechęć do ich ujawniania;
• niechęć do kolejnej fazy realizacji projektu,
• uczestnicy procesu nie posiadają wystarczającej wiedzy i umiejętności w zakresie prowadzenia monitoringu i ewaluacji, pozyskiwania informacji, ich
analizy i wyciągania wniosków,
• niedostateczna wiedza o metodzie FRDL i problematyce partycypacji,
• nieznajomość i niedoskonałość potencjalnych źródeł wiedzy, np. dokumentacji zgromadzonej w ramach projektu,
problemy z mierzalnością celów, rezultatów i produktów projektu,
• trudności w identyfikacji wskaźników (czym mierzyć?), określenie dostępnych (tanich, prostych) metod pozyskiwania danych,
• brak podstaw do określenia konkretnych zakładanych wartości rezultatów i celów,
• trudności w zaprojektowaniu monitoringu i ewaluacji i jej realizacji związane np. obciążeniem pracą członków zespołu monitorującego, animatora i
doradców,
• trudności w monitorowaniu, kiedy osoby monitorujące są realizatorami działań,
• projektowane i realizowane działania są jednostkowe i nie mamy stosownego dystansu dla ich oceny,
Wyżej wymienione ryzyka powinny zostać objęte szczególnym monitoringiem możliwości ich wystąpienia. Zarządzaniem ryzykiem zajmie się
Kierownik Projektu, który wraz z partnerami, uwzględniając zewnętrzny podmiot realizujący ewaluację, będzie na bieżąco oceniał i analizował pojawiające
się zagrożenia, jednocześnie wypracowując działania zaradcze. Ostateczną decyzję o wprowadzeniu działań minimalizujących podejmować powinien
Kierownik Projektu na poziomie operacyjnym, natomiast Grupa Monitorująca na poziomie strategicznym.
PODSUMOWANIE MONITORINGU I EWALUACJI ORAZ REKOMENDACJE DO DALSZEGO WDRAŻANIA I UŻYTKOWANIA MODELU FRDL:
Analiza zebranych danych z monitoringu i ewaluacji pozwolić powinna na zobiektywizowaną ocenę wartości modelu FRDL oraz wypracowanie
ostatecznych, optymalnych rozwiązań służących jej doskonaleniu. Monitoring pilotażu i wyniki ewaluacji, posłużyć powinny do udzielenia odpowiedzi na
wyżej postawione pytania i określenie warunków jakie będą musiały być spełnione aby metoda FRDL była optymalnie stosowana. Będzie to uzasadnieniem
i jednocześnie rekomendacją do dalszego wdrożenia i użytkowania metody FRDL na szerszą skalę.