Ewaluacja strategiczna działań informacyjno
Transkrypt
Ewaluacja strategiczna działań informacyjno
człowiek – najlepsza inwestycja Ewaluacja strategiczna działań informacyjno-promocyjnych realizowanych w ramach PO KL Badanie ewaluacyjne pn. „EWALUACJA STRATEGICZNA DZIAŁAŃ INFORMACYJNO-PROMOCYJNYCH REALIZOWANYCH W RAMACH PO KL” zrealizowane przez EGO – Evaluation for Government Organizations s.c. na zlecenie Ministerstwa Infrastruktury i Rozwoju Badanie współfinansowane ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego JAK PLANOWANO DZIAŁANIA KOMUNIKACYJNE W PO KL? 2 JAK PLANOWANO DZIAŁANIA KOMUNIKACYJNE W PO KL? Poziom instytucji realizujących PO KL. Planowanie działań informacyjnopromocyjnych odbywało się przede wszystkim w oparciu o dokumenty programowe oraz wcześniejsze doświadczenia związane z wdrażaniem perspektywy 2004–2006. Sporadycznie korzystano z wyników dostępnych badań. ☺ Plan Komunikacji – główny dokument „planistyczny” – został oceniony przez jego użytkowników, jako narzędzie użyteczne i dobrze organizujące proces informacji i promocji Programu. Słabym punktem jest jednak jego złożoność i wielowątkowość komunikatów nt. zasad prowadzenia działań informacyjno-promocyjnych oraz brak pogłębionej, kompleksowej diagnozy sytuacji bazowej, która umożliwiłaby dokładniejsze poznanie oraz opisanie potrzeb i specyfiki grup docelowych. Poziom beneficjentów. Planując i dobierając narzędzia komunikacji, beneficjenci opierają się przede wszystkim na własnych doświadczeniach, wiedzy i pomysłowości. Zwykle nie są prowadzone analizy potrzeb grup docelowych, rzadko prowadzone są też konsultacje z potencjalnymi uczestnikami projektów. ☺ Z jednej strony, brak prowadzenia pogłębionych analiz grup docelowych jest uzasadnione bardzo dobrą znajomością potrzeb potencjalnych odbiorców. Część beneficjentów bowiem jest bardzo dobrze zorientowana w potrzebach informacyjnych odbiorców projektów, jako że działają w danym obszarze od wielu lat, realizują bardzo dużo projektów, współpracują z wieloma organizacjami partnerskimi i utrzymują stały kontakt z przedstawicielami grup docelowych. Z drugiej strony, brak prowadzenia diagnozy potrzeb jest zjawiskiem negatywnym, gdyż świadczy o tym, że dla większości przedstawicieli projektodawców działania informacyjno-promocyjne są drugorzędnym elementem realizacji projektów. Wielu beneficjentów albo nie przygotowuje planu w zakresie informacji o projekcie i promocji jego rezultatów (ponad ¹/₅ badanych beneficjentów), albo prowadzi jedynie ustne, nieformalne ustalenia odnośnie kształtu działań komunikacyjnych (prawie ¹/₃ badanych beneficjentów). ☺ System koordynacji działań, w tym rolę IZ PO KL jako koordynatora systemu, można ocenić pozytywnie, mimo złożoności systemu i stosunkowo dużej autonomii poszczególnych instytucji. Duży wpływ na dobrą koordynację działań ma wypracowana sieć kontaktów pomiędzy instytucjami, mechanizmy współpracy i wymiany doświadczeń. ☺ Większość badanych pracowników instytucji realizujących PO KL wysoko oceniła wypracowane mechanizmy współpracy – grupę roboczą ds. informacji i promocji (IGR) oraz regionalne informacyjne grupy robocze (RIGR) – pod kątem wpływu na poprawę jakości i spójności działań informacyjno-promocyjnych. Co prawda udało się wypracować sieć kontaktów na poziomie regionalnym, ale dotyczy to raczej współpracy między instytucjami w obrębie jednego regionu, niż pomiędzy instytucjami z różnych województw. Wskazana byłaby większa wymiana doświadczeń pomiędzy regionami, które realizują zbliżone działania, a także centralnymi Instytucjami Pośredniczącymi i Wdrażającymi, które mogłyby się dzielić „dobrymi praktykami” ze swoich obszarów działań, które można by również zaadaptować w regionach. CZY SYSTEM MONITOROWANIA I EWALUACJI DZIAŁAŃ KOMUNIKACYJNYCH W PO KL JEST SKUTECZNY? System wskaźników działań komunikacyjnych PO KL opiera się przede wszystkim na wskaźnikach produktu (15 na 22 to wskaźniki produktowe). To sprawia, że system ten w bardzo ograniczony sposób pokazywał poziom osiągnięcia celów, bez regularnej i pogłębionej analizy danych jakościowych. Widoczny jest także brak systemowego podejścia do realizacji badań ewaluacyjnych z zakresu działań komunikacyjnych w PO KL. Wyniki badań cechuje brak cykliczności i duża fragmentaryczność. Badania zazwyczaj wynikają z indywidualnych potrzeb pojedynczych instytucji i dotyczą wąskiego zakresu działań komunikacyjnych. CZY KOORDYNACJA DZIAŁAŃ KOMUNIKACYJNYCH W PO KL JEST SKUTECZNA? CZY KOORDYNACJA DZIAŁAŃ KOMUNIKACYJNYCH W PO KL JEST SKUTECZNA? 3 Z JAKICH NARZĘDZI KOMUNIKACJI NAJCZĘŚCIEJ KORZYSTANO W PO KL? Z JAKICH NARZĘDZI KOMUNIKACJI NAJCZĘŚCIEJ KORZYSTANO W PO KL? Poziom instytucji realizujących PO KL. Instytucje systemu wykorzystywały bogaty i zróżnicowany zbiór narzędzi komunikacyjnych, przy czym dominującą rolę pełniły narzędzia tradycyjne, jak: telewizja, prasa, radio, publikacje oraz szkolenia. Z biegiem realizacji Programu zaczęto szerzej sięgać po narzędzia interaktywne, a także wykorzystywać bardziej innowacyjne formy przekazu (kampanie bannerowe online, mailing, kampanie w mediach społecznościowych). Wykorzystanie narzędzi komunikacyjnych (mediów) w działaniach IZ PO KL 25 22 20 15 13 10 11 10 9 10 5 4 6 5 4 7 6 33 1 1 1 32 4 4 222 1 1 22 3 4 0 2008 2009 2010 2011 2012 2013 Narzędzia tradycyjne (reklamy w telewizji, prasie, radiu, publikacje) Narzędzia interaktywne (kampanie bannerowe, mailing, akcje w mediach społecznościowych) Eventy (konferencje, seminaria, koncerty, festyny, pikniki) Public Relaons Outdoor, ambient Sponsoring Razem Źródło: Opracowanie własne na podstawie systematycznego przeglądu „Formularzy sprawozdawczych dotyczących promocji i informacji PO KL” Wybór poszczególnych mediów w kolejnych etapach wdrażania PO KL był zgodny z ideą budowania marki (budowanie świadomości pokazywanie korzyści). W pierwszych latach wdrażania (2008–2011) sięgano po formę spotu telewizyjnego i radiowego, jako że z punktu widzenia celu polegającego na budowaniu świadomości Programu telewizja i inne szeroko zasięgowe media są najskuteczniejsze. W kolejnych latach (2012–2013) gdy świadomość Programu została „zbudowana”, można było częściej sięgać po inne kanały dotarcia, by utrwalać przekaz – wówczas spoty emitowano częściej w radiu i w Internecie. Wybór podstawowych narzędzi komunikacji podyktowany był kilkoma czynnikami, m.in. posiadaniem ograniczonego budżetu na informację i promocję, brakiem specjalistycznej wiedzy i kompetencji u beneficjentów odnośnie prowadzenia bardziej wyszukanych działań komunikacyjnych, umniejszaniem wagi działań komunikacyjnych na korzyść właściwej realizacji projektu (osiągnięcie celów i wskaźników projektu), jak również realizacją przede wszystkim celu polegającego na zrekrutowaniu uczestników, a rzadko kiedy na promowaniu rezultatów projektów. CZEGO DOTYCZYŁA NAJCZĘŚCIEJ TREŚĆ KOMUNIKATÓW O PO KL? Przeważającą grupę komunikatów w ramach działań informacyjno-promocyjnych stanowiły te, które jednocześnie przekazywały kilka tematów – tzw. mix informacji na temat PO KL (33%). Większość takich zintegrowanych, wielowątkowych komunikatów związana była z ogólną promocją PO KL, a ich celem było upowszechnianie świadomości istnienia programu w świadomości odbiorców. ☺ Analiza skojarzeń wśród uczestników projektów pokazuje, że respondenci mieli nieco mniej formalne odczucia o samym PO KL. Pojawiały się skojarzenia związane z „pomocą” oraz kierowaniem wsparcia do zróżnicowanych grup społecznych, w tym do grup zagrożonych wykluczeniem. CZEGO DOTYCZYŁA NAJCZĘŚCIEJ TREŚĆ KOMUNIKATÓW O PO KL? Poziom beneficjentów. Beneficjenci realizujący projekty konkursowe w swoich projektach najczęściej wykorzystywali proste formy promocji, ograniczając się do podstawowych narzędzi komunikacji. Najczęściej realizowanym działaniem było zamieszczanie informacji na stronie internetowej (85% wskazań badanych beneficjentów). Na drugim miejscu znalazły się takie narzędzia, jak tablice informacyjne (69%), plakaty, billboardy oraz ulotki, broszury (po 67%), a także artykuły w prasie (64%). Najrzadziej sięgano po kampanie lub audycje prowadzone w radiu lub telewizji (odpowiednio 12% i 7%). 5 CZEGO DOTYCZYŁA NAJCZĘŚCIEJ TREŚĆ KOMUNIKATÓW O PO KL? 6 Skojarzenia z Programem Operacyjnym Kapitał Ludzki wśród uczestników projektów Źródło: Opracowanie własne na podstawie badania CATI Wśród 530 analizowanych komunikatów bardzo często pojawiały się słowa związane z nazwą programu PO KL, EFS, a także słowa związane z formalnymi aspektami („w ramach”, „wdrażania”, „komponentu”). Frekwencja stosowanych słów przywołuje nieco na myśl język formalny, nie zawsze przystępny, budzący skojarzenia z procesami urzędowymi. Chmura najpopularniejszych słów wykorzystanych w komunikatach PO KL w latach 2008–2013 Źródło: Opracowanie własne Beneficjenci i potencjalni beneficjenci ☺ Beneficjenci i wnioskodawcy czują się dobrze poinformowani na temat zasad przygotowania wniosku o dofinansowanie (88% wskazań badanych beneficjentów), jak i wymogów związanych z realizacją i rozliczaniem projektu (86,5%). Nadal jednak wskazywane są pewne luki informacyjne. Dla mniej doświadczonych dużym obciążeniem pozostaje mnogość i poziom skomplikowania dokumentów i wytycznych programowych, jak również obecność niezrozumiałego, urzędniczego języka. Najczęściej wybieranym i najbardziej wartościowym źródłem informacji dla beneficjentów są przede wszystkim strony internetowe IP oraz IPII (84% wskazań badanych beneficjentów w przypadku źródeł informacji wybieranych na etapie aplikowania oraz 72% – na etapie realizacji projektów). Mniej doświadczeni beneficjenci cenią sobie również możliwość pogłębienia wiedzy – w tym przypadku najcenniejsze były indywidualne kontakty z pracownikami RO EFS (na etapie aplikowania 14% wskazań, na etapie realizacji projektu – 22%). W dalszej kolejności były to szkolenia i warsztaty (na etapie aplikowania 11% wskazań i na etapie realizacji projektu – 21%) oraz indywidualny kontakt z opiekunami projektów (odpowiednio 5% i 22% wskazań). Najczęściej wskazywane źródła informacji na temat zasad realizacji projektu (8 najczęściej wymienianych źródeł) Strony internetowe IP I Indywidualny kontakt z konsultantem w PI Kontakt z osobą, która już otrzymała dofinansowanie Strony internetowe IP II Źródło: Opracowanie własne na podstawie CATI (n = 400) Indywidualny kontakt z konsultantem w RO EFS Szkolenia, warsztaty Indywidualny kontakt z opiekunem projektu JAKIE SĄ EFEKTY DZIAŁAŃ KOMUNIKACYJNYCH? JAKIE SĄ EFEKTY DZIAŁAŃ KOMUNIKACYJNYCH? 7 JAKIE SĄ EFEKTY DZIAŁAŃ KOMUNIKACYJNYCH? Ogół społeczeństwa ☺ W latach 2007–2013 nie tylko zwiększała się znajomość samej nazwy PO KL, ale też stopniowo pogłębiała się wiedza Polaków na temat Programu. Polacy na ogół dobrze rozumieją przedmiot działalności PO KL i potrafią go odróżnić od obszarów właściwych innym programom operacyjnym. Najczęściej wykorzystywanymi źródłami informacji nt. PO KL były media tradycyjne, internet, a także materiały informacyjne, takie jak ulotki czy broszury. Spontaniczna i wspomagana znajomość EFS i wybranych Programów Operacyjnych Znajomość wspomagana Znajomość spontaniczna 66% PO KL 10% 56% PO IiŚ 4% 49% PO IG 3% 46% EFS 5% 31% RPO 4% 8 0% 10% 20% 30% 40% 50% 60% 70% Źródło: Opracowanie własne na podstawie badania CATI i CAWI wśród mieszkańców (n = 1100) ☺ W całym okresie realizacji PO KL znajomość znaku graficznego PO KL i EFS stale rośnie. Logotypy są konsekwentnie wykorzystywane zarówno w spotach reklamowych zrealizowanych w ramach kampanii o szerokim zasięgu w mediach, jak i we wszelkich materiałach powstałych przy współfinansowaniu z PO KL. Znajomość logo EFS i PO KL Znajomość wspomagana (N = 500) Znajomość spontaniczna (N = 1100) 69% Logotyp Programu Operacyjnego Kapitał Ludzki 41% 66% Logotyp Europejskiego Funduszu Społecznego 34% 0% 10% 20% 30% 40% 50% 60% 70% 80% Źródło: Opracowanie własne na podstawie badania CATI i CAWI wśród mieszkańców (n = 1100) ☺ Stan wiedzy uczestników projektów na temat EFS i PO KL jest dość wysoki, a skojarzenia na ogół poprawne. Niemal wszyscy badani uczestnicy projektów potwierdzają znajomość PO KL w pytaniu wspomaganym (94%), a także znają jego logotyp (80%). Niemniej jednak nazwy programów nie są silnie utrwalone, na co wskazuje stosunkowo niski wskaźnik znajomości spontanicznej (19%). PROPOZYCJE USPRAWNIEŃ SYSTEMU Uczestnicy projektów PROPOZYCJE USPRAWNIEŃ SYSTEMU Udoskonalenie systemu monitoringu działań informacyjno-promocyjnych dotyczących EFS m.in. poprzez usprawnienie sposobu pozyskiwania informacji zwrotnej od odbiorców na temat komunikatów. Udoskonalenie systemu ewaluacji działań informacyjno-promocyjnych dotyczących EFS m.in. poprzez wspólne, IZ i IP, planowanie badań ewaluacyjnych, prowadzenie ich w sposób cykliczny, jak również wykorzystywanie narzędzia umożliwiającego porównywanie wyników między badaniami. Systematyczne, oparte na danych planowanie działań komunikacyjnych. Zwrócenie uwagi instytucjom systemu na angażowanie w działania komunikacyjne odpowiedniej liczby pracowników o wysokich kompetencjach w tej dziedzinie. Podjęcie działań zapobiegających marginalizacji treści związanych z EFS w nowych dwufunduszowych programach regionalnych lub kładzenia nierównomiernego nacisku w działaniach komunikacyjnych na elementy wsparcia związane z EFRR lub z EFS. Usprawnienie systemu informacyjnego poprzez bieżące upowszechnianie do ogólnej wiadomości informacji na temat pojawiających się aktualizacji dokumentów, wytycznych oraz ich interpretacji, obowiązujących potencjalnych i faktycznych beneficjentów EFS. 9 PROPOZYCJE USPRAWNIEŃ SYSTEMU 10 Uproszczenie języka dokumentacji konkursowej obowiązującej wnioskodawców. Wzmocnienie roli opiekunów projektów jako kluczowego źródła informacji dla beneficjentów. Ministerstwo Infrastruktury i Rozwoju Departament Europejskiego Funduszu Społecznego ul. Wspólna 2/4 00-926 Warszawa tel. (+48 22) 273 80 51 fax (+48 22) 273 89 19 e-mail: [email protected] www.efs.gov.pl Infolinia EFS: 0 801 EFS 801 0 801 337 801 płatne jak za połączenia lokalne Publikacja bezpłatna Publikacja współfinansowana ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego