„Ewaluacja strategiczna działań informacyjno
Transkrypt
„Ewaluacja strategiczna działań informacyjno
Badanie ewaluacyjne pn.: „Ewaluacja strategiczna działań informacyjno-promocyjnych realizowanych w ramach PO KL” zrealizowane przez EGO – Evaluation for Government Organizations s.c. na zlecenie Ministerstwa Infrastruktury i Rozwoju Badanie współfinansowane ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego Jak planowano działania komunikacyjne w PO KL? Poziom instytucji realizujących PO KL. Planowanie działań informacyjno-promocyjnych odbywało się przede wszystkim w oparciu o dokumenty programowe oraz wcześniejsze doświadczenia związane z wdrażaniem perspektywy 2004-2006. Sporadycznie korzystano z wyników dostępnych badań. ☺ Plan Komunikacji - główny dokument „planistyczny” - został oceniony przez jego użytkowników, jako narzędzie użyteczne i dobrze organizujące proces informacji i promocji Programu. Słabym punktem jest jednak jego złożoność i wielowątkowość komunikatów nt. zasad prowadzenia działań informacyjno – promocyjnych oraz brak pogłębionej, kompleksowej diagnozy sytuacji bazowej, która umożliwiłaby dokładniejsze poznanie oraz opisanie potrzeb i specyfiki grup docelowych. Poziom beneficjentów. Planując i dobierając narzędzia komunikacji beneficjenci opierają się przede wszystkim na własnych doświadczeniach, wiedzy i pomysłowości. Zwykle nie są prowadzone analizy potrzeb grup docelowych, rzadko prowadzone są też konsultacje z potencjalnymi uczestnikami projektów. ☺ Z jednej strony, nie prowadzenie pogłębionych analiz grup docelowych było uzasadnione bardzo dobrą znajomością potrzeb potencjalnych odbiorców. Część beneficjentów bowiem jest bardzo dobrze zorientowana w potrzebach informacyjnych odbiorców projektów, jako że działają w danym obszarze od wielu lat, realizują bardzo dużo projektów, współpracują z wieloma organizacjami partnerskimi i utrzymują stały kontakt z przedstawicielami grup docelowych. Z drugiej strony, brak prowadzenia diagnozy potrzeb jest zjawiskiem negatywnym, gdyż świadczy o tym, że dla większości przedstawicieli projektodawców działania informacyjno – promocyjne są drugorzędnym elementem realizacji projektów. Wielu beneficjentów albo nie przygotowuje planu w zakresie informacji o projekcie i promocji jego rezultatów (ponad 1/5 badanych beneficjentów) albo prowadzi jedynie ustne, nieformalne ustalenia odnośnie kształtu działań komunikacyjnych (prawie 1/3 badanych beneficjentów). Czy koordynacja działań komunikacyjnych w PO KL jest skuteczna? ☺ System koordynacji działań, w tym rolę IZ PO KL jako koordynatora systemu, można ocenić pozytywnie, mimo złożoności systemu i stosunkowo dużej autonomii poszczególnych instytucji. Duży wpływ na dobrą koordynację działań ma wypracowana sieć kontaktów pomiędzy instytucjami, mechanizmy współpracy i wymiany doświadczeń. ☺ Większość badanych pracowników instytucji realizujących PO KL wysoko oceniła wypracowane mechanizmy współpracy – grupę roboczą ds. informacji i promocji (IGR) oraz regionalne informacyjne grupy robocze (RIGR) – pod kątem wpływu na poprawę jakości i spójności działań informacyjno – promocyjnych. Co prawda udało się wypracować sieć kontaktów na poziomie regionalnym, ale dotyczy to raczej współpracy między instytucjami w obrębie jednego regionu, niż pomiędzy instytucjami z różnych województw. Wskazana byłaby większa wymiana doświadczeń pomiędzy regionami, które realizują zbliżone działania, a także Instytucjami Pośredniczącymi i Wdrażającymi centralnymi, które mogłyby się dzielić „dobrymi praktykami” ze swoich obszarów działań, które można by również zaadoptować w regionach. Czy system monitorowania i ewaluacji działań komunikacyjnych w PO KL jest skuteczny? System wskaźników działań komunikacyjnych PO KL opiera się przede wszystkim na wskaźnikach produktu (15 na 22 to wskaźniki produktowe). To sprawia, że system ten w bardzo ograniczony sposób pokazywał poziom osiągnięcia celów, bez regularnej i pogłębionej analizy danych jakościowych. Widoczny jest także brak systemowego podejścia do realizacji badań ewaluacyjnych z zakresu działań komunikacyjnych w PO KL. Wyniki badań cechuje brak cykliczności, duża fragmentaryczność. Badania zazwyczaj wynikają z indywidualnych potrzeb pojedynczych instytucji i dotyczą wąskiego zakresu działań komunikacyjnych. Z jakich narzędzi komunikacji najczęściej korzystano w PO KL? Poziom instytucji realizujących PO KL. Instytucje systemu wykorzystywały bogaty i zróżnicowany zbiór narzędzi komunikacyjnych, przy czym dominującą rolę pełniły narzędzia tradycyjne jak: telewizja, prasa, radio, publikacje oraz szkolenia. Z biegiem realizacji Programu zaczęto szerzej sięgać po narzędzia interaktywne, a także wykorzystywać bardziej innowacyjne formy przekazu (kampanie banerowe online, mailing, kampanie w mediach społecznościowych). Wykorzystanie narzędzi komunikacyjnych (mediów) w działaniach IZ PO KL Źródło: Opracowanie własne na podstawie systematycznego przeglądu „Formularzy sprawozdawczych dotyczący promocji i informacji PO KL” Wybór poszczególnych mediów w kolejnych etapach wdrażania PO KL był zgodny z ideą budowania marki (budowanie świadomości pokazywanie korzyści). W pierwszych latach wdrażania (2008-2011) sięgano po formę spotu telewizyjnego i radiowego, jako że z punktu widzenia celu polegającego na budowaniu świadomości Programu, telewizja i inne szeroko zasięgowe media są najskuteczniejsze. W kolejnych latach, 2012-2013, gdy świadomość Programu została „zbudowana”, można było częściej sięgać po inne kanały dotarcia, by utrwalać przekaz – wówczas spoty emitowano częściej w radiu i w Internecie. Poziom beneficjentów. Beneficjenci realizujący projekty konkursowe w swoich projektach najczęściej wykorzystywali proste formy promocji, ograniczając się do podstawowych narzędzi komunikacji. Najczęściej realizowanym działaniem było zamieszczanie informacji na stronie internetowej (85% wskazań badanych beneficjentów). Na drugim miejscu znalazły się takie narzędzia jak tablice informacyjne (69%), plakaty, billboardy oraz ulotki, broszury (po 67%), a także artykuły w prasie (64%). Najrzadziej sięgano po kampanie lub audycje prowadzone w radiu lub telewizji (odpowiednio 12% i 7%). Wybór podstawowych narzędzi komunikacji podyktowany był kilkoma czynnikami, m.in. posiadaniem ograniczonego budżetu na informację i promocję, brakiem specjalistycznej wiedzy i kompetencji u beneficjentów odnośnie prowadzenia bardziej wyszukanych działań komunikacyjnych, umniejszaniem wagi działań komunikacyjnych na korzyść właściwej realizacji projektu (osiągnięcie celów i wskaźników projektu), jak również realizacją przede wszystkim celu polegającego na zrekrutowaniu uczestników, a rzadko kiedy na promowaniu rezultatów projektów. Czego dotyczyła najczęściej treść komunikatów o PO KL? Przeważającą grupę komunikatów w ramach działań informacyjno – promocyjnych stanowiły te, które jednocześnie przekazywały kilka tematów - tzw. mix informacji na temat PO KL (33%). Większość takich zintegrowanych, wielowątkowych komunikatów związana była z ogólną promocją PO KL, a ich celem było upowszechnianie świadomości istnienia programu w świadomości odbiorców. ☺ Analiza skojarzeń wśród uczestników projektów pokazuje, że respondenci mieli nieco mniej formalne odczucia o samym PO KL. Pojawiały się skojarzenia związane z „pomocą” oraz kierowaniem wsparcia do zróżnicowanych grup społecznych, w tym do grup zagrożonych wykluczeniem. Skojarzenia z Programem Operacyjnym Kapitał Ludzki wśród uczestników projektów Źródło: Opracowanie własne na podstawie badania CATI Wśród 530 analizowanych komunikatów bardzo często pojawiały się słowa związane z nazwą programu PO KL, EFS, a także słowa związane z formalnymi aspektami („w ramach”, „wdrażania”, „komponentu”). Frekwencja stosowanych słów przywołuje nieco na myśl język formalny, nie zawsze przystępny, budzący skojarzenia z procesami urzędowymi. Chmura najpopularniejszych słów wykorzystanych w komunikatach PO KL w latach 2008-2013 Źródło: Opracowanie własne Jakie są efekty działań komunikacyjnych? Beneficjenci i potencjalni beneficjenci ☺ Beneficjenci i wnioskodawcy czują się dobrze poinformowani na temat zasad przygotowania wniosku o dofinansowanie (88% wskazań badanych beneficjentów), jaki wymogów związanych z realizacją i rozliczaniem projektu (86,5%). Nadal jednak wskazywane są pewne luki informacyjne. Dla mniej doświadczonych dużym obciążeniem pozostaje mnogość i poziom skomplikowania dokumentów i wytycznych programowe, jak również obecność niezrozumiałego, urzędniczego języka. Najczęściej wybieranym i najbardziej wartościowym źródłem informacji dla beneficjentów są przede wszystkim strony internetowe IP oraz IPII (84% wskazań badanych beneficjentów w przypadku źródeł informacji wybieranych na etapie aplikowania oraz 72% - na etapie realizacji projektów). Mniej doświadczeni beneficjenci cenią sobie również możliwość pogłębienia wiedzy – w tym przypadku najcenniejsze były indywidualne kontakty z pracownikami RO EFS (na etapie aplikowania 14% wskazań, na etapie realizacji projektu – 22%). W dalszej kolejności były to szkolenia i warsztaty (na etapie aplikowania 11% wskazań i na etapie realizacji projektu – 21%) oraz indywidualny kontakt z opiekunami projektów (odpowiednio 5% i 22% wskazań). Najczęściej wskazywane źródła informacji na temat zasad realizacji projektu (8 najczęściej wymienianych źródeł) Źródło: opracowanie własne na podstawie CATI (n=400) Ogół społeczeństwa ☺ W okresie 2007-2013 nie tylko zwiększała się znajomość samej nazwy PO KL, ale też stopniowo pogłębiała się wiedza Polaków na temat Programu. Polacy na ogół dobrze rozumieją przedmiot działalności PO KL i potrafią go odróżnić od obszarów właściwych innym programom operacyjnym. Najczęściej wykorzystywanymi źródłami informacji nt. PO KL były media tradycyjne, internet, a także materiały informacyjne, takie jak ulotki czy broszury. Spontaniczna i wspomagana znajomość EFS i wybranych Programów Operacyjnych Źródło: opracowanie własne na podstawie badania CATI i CAWI wśród mieszkańców (n =1100) ☺ W całym okresie realizacji PO KL znajomość znaku graficznego PO KL i EFS stale rośnie. Logotypy są konsekwentnie wykorzystywane zarówno w spotach reklamowych zrealizowanych w ramach szeroko-zasięgowych kampanii w mediach, jak i we wszelkich materiałach powstałych przy współfinansowaniu z PO KL. Znajomość logo EFS i PO KL Źródło: opracowanie własne na podstawie badania CATI i CAWI wśród mieszkańców (n =1100) Uczestnicy projektów ☺ Stan wiedzy uczestników projektów na temat EFS i PO KL jest dość wysoki, a skojarzenia na ogół poprawne. Niemal wszyscy badani uczestnicy projektów potwierdzają znajomość PO KL w pytaniu wspomaganym (94%), a także znają jego logotyp (80%). Niemniej jednak nazwy programów nie są silnie utrwalone, na co wskazuje stosunkowo niski wskaźnik znajomości spontanicznej (19%). PROPOZYCJE USPRAWNIEŃ SYSTEMU Udoskonalenie systemu monitoringu działań informacyjno-promocyjnych dotyczących EFS m.in. poprzez usprawnienie sposobu pozyskiwania informacji zwrotnej od odbiorców na temat komunikatów. Udoskonalenie systemu ewaluacji działań informacyjno-promocyjnych dotyczących EFS m.in. poprzez wspólne, IZ i IP, planowanie badań ewaluacyjnych, prowadzenie ich w sposób cykliczny, jak również wykorzystywanie narzędzia umożliwiającego porównywanie wyników między badaniami. Systematyczne, oparte na danych planowanie działań komunikacyjnych polegające na wprowadzeniu do Poradnika zapisu sugerującego beneficjentom tworzenie założeń do działań informacyjno-promocyjnych. Zwrócenie uwagi instytucjom systemu na angażowanie w działania komunikacyjne odpowiedniej liczby pracowników o wysokich kompetencjach w tej dziedzinie. Warto byłoby angażować przynajmniej jedną osobę, dla której działania informacyjnopromocyjne stanowiłyby rdzeń obowiązków. Podjęcie działań zapobiegających marginalizacji treści związanych z EFS w nowych, dwufunduszowych programach regionalnych. Warto animować dyskusję np. w trakcie prac Grupy Sterującej koordynowanej przez IK UP i grup roboczych ds. informacji i promocji na poziomie każdego PO, tak aby wykluczyć problem kładzenia nierównomiernego nacisku w działaniach komunikacyjnych na elementy wsparcia związane z EFRR lub z EFS. Usprawnienie systemu informacyjnego poprzez bieżące upowszechnianie do ogólnej wiadomości informacji na temat pojawiających się aktualizacji dokumentów, wytycznych oraz ich interpretacji, obowiązujących potencjalnych i faktycznych beneficjentów EFS. Uproszczenie języka dokumentacji konkursowej obowiązującej wnioskodawców. W tym celu sugeruje się odpowiednie przygotowanie pracowników IZ i IP do opracowywania poradników/wytycznych dla wnioskodawców/beneficjentów w sposób prostu i zrozumiały. Proces przygotowania personelu może opierać się na szkoleniach oraz bieżącym doradztwie w zakresie lingwistyki. Wzmocnienie roli opiekunów projektów jako kluczowego źródła informacji dla beneficjentów poprzez umieszczenie ich w Strategii komunikacji PO WER oraz Strategiach komunikacji RPO 2014-2020 oraz poprzez ustalenie maksymalnej liczby projektów, które mogą nadzorować.