Ewaluacja strategiczna działań informacyjno

człowiek – najlepsza inwestycja
Ewaluacja strategiczna działań
informacyjno-promocyjnych
realizowanych w ramach PO KL
Badanie ewaluacyjne pn.
„EWALUACJA STRATEGICZNA
DZIAŁAŃ INFORMACYJNO-PROMOCYJNYCH
REALIZOWANYCH W RAMACH PO KL”
zrealizowane przez EGO
– Evaluation for Government Organizations s.c.
na zlecenie Ministerstwa Infrastruktury i Rozwoju
Badanie współfinansowane ze środków Unii Europejskiej
w ramach Europejskiego Funduszu Społecznego
JAK PLANOWANO DZIAŁANIA KOMUNIKACYJNE W PO KL?
2
JAK PLANOWANO DZIAŁANIA KOMUNIKACYJNE
W PO KL?
Poziom instytucji realizujących PO KL. Planowanie działań informacyjnopromocyjnych odbywało się przede wszystkim w oparciu o dokumenty programowe oraz wcześniejsze doświadczenia związane z wdrażaniem perspektywy 2004–2006. Sporadycznie korzystano z wyników dostępnych badań.
☺ Plan Komunikacji – główny dokument „planistyczny” – został oceniony
przez jego użytkowników, jako narzędzie użyteczne i dobrze organizujące proces informacji i promocji Programu.
Słabym punktem jest jednak jego złożoność i wielowątkowość komunikatów nt. zasad prowadzenia działań informacyjno-promocyjnych
oraz brak pogłębionej, kompleksowej diagnozy sytuacji bazowej, która
umożliwiłaby dokładniejsze poznanie oraz opisanie potrzeb i specyfiki
grup docelowych.
Poziom beneficjentów. Planując i dobierając narzędzia komunikacji, beneficjenci opierają się przede wszystkim na własnych doświadczeniach, wiedzy i pomysłowości. Zwykle nie są prowadzone analizy potrzeb grup docelowych, rzadko prowadzone są też konsultacje
z potencjalnymi uczestnikami projektów.
☺ Z jednej strony, brak prowadzenia pogłębionych analiz grup docelowych
jest uzasadnione bardzo dobrą znajomością potrzeb potencjalnych odbiorców. Część beneficjentów bowiem jest bardzo dobrze zorientowana w potrzebach informacyjnych odbiorców projektów, jako że działają
w danym obszarze od wielu lat, realizują bardzo dużo projektów, współpracują z wieloma organizacjami partnerskimi i utrzymują stały kontakt
z przedstawicielami grup docelowych.
Z drugiej strony, brak prowadzenia diagnozy potrzeb jest zjawiskiem
negatywnym, gdyż świadczy o tym, że dla większości przedstawicieli
projektodawców działania informacyjno-promocyjne są drugorzędnym
elementem realizacji projektów. Wielu beneficjentów albo nie przygotowuje planu w zakresie informacji o projekcie i promocji jego rezultatów
(ponad ¹/₅ badanych beneficjentów), albo prowadzi jedynie ustne, nieformalne ustalenia odnośnie kształtu działań komunikacyjnych (prawie ¹/₃
badanych beneficjentów).
☺ System koordynacji działań, w tym rolę IZ PO KL jako koordynatora systemu, można ocenić pozytywnie, mimo złożoności systemu i stosunkowo dużej autonomii poszczególnych instytucji. Duży wpływ na dobrą
koordynację działań ma wypracowana sieć kontaktów pomiędzy instytucjami, mechanizmy współpracy i wymiany doświadczeń.
☺ Większość badanych pracowników instytucji realizujących PO KL wysoko oceniła wypracowane mechanizmy współpracy – grupę roboczą ds.
informacji i promocji (IGR) oraz regionalne informacyjne grupy robocze
(RIGR) – pod kątem wpływu na poprawę jakości i spójności działań informacyjno-promocyjnych.
Co prawda udało się wypracować sieć kontaktów na poziomie regionalnym, ale dotyczy to raczej współpracy między instytucjami w obrębie jednego regionu, niż pomiędzy instytucjami z różnych województw.
Wskazana byłaby większa wymiana doświadczeń pomiędzy regionami,
które realizują zbliżone działania, a także centralnymi Instytucjami Pośredniczącymi i Wdrażającymi, które mogłyby się dzielić „dobrymi praktykami” ze swoich obszarów działań, które można by również zaadaptować w regionach.
CZY SYSTEM MONITOROWANIA I EWALUACJI
DZIAŁAŃ KOMUNIKACYJNYCH W PO KL JEST
SKUTECZNY?
System wskaźników działań komunikacyjnych PO KL opiera się przede
wszystkim na wskaźnikach produktu (15 na 22 to wskaźniki produktowe). To sprawia, że system ten w bardzo ograniczony sposób pokazywał
poziom osiągnięcia celów, bez regularnej i pogłębionej analizy danych
jakościowych.
Widoczny jest także brak systemowego podejścia do realizacji badań
ewaluacyjnych z zakresu działań komunikacyjnych w PO KL. Wyniki badań cechuje brak cykliczności i duża fragmentaryczność. Badania zazwyczaj wynikają z indywidualnych potrzeb pojedynczych instytucji i dotyczą
wąskiego zakresu działań komunikacyjnych.
CZY KOORDYNACJA DZIAŁAŃ KOMUNIKACYJNYCH W PO KL JEST SKUTECZNA?
CZY KOORDYNACJA DZIAŁAŃ
KOMUNIKACYJNYCH W PO KL JEST SKUTECZNA?
3
Z JAKICH NARZĘDZI KOMUNIKACJI NAJCZĘŚCIEJ KORZYSTANO W PO KL?
Z JAKICH NARZĘDZI KOMUNIKACJI NAJCZĘŚCIEJ
KORZYSTANO W PO KL?
Poziom instytucji realizujących PO KL. Instytucje systemu wykorzystywały
bogaty i zróżnicowany zbiór narzędzi komunikacyjnych, przy czym dominującą rolę pełniły narzędzia tradycyjne, jak: telewizja, prasa, radio, publikacje oraz szkolenia. Z biegiem realizacji Programu zaczęto szerzej sięgać po
narzędzia interaktywne, a także wykorzystywać bardziej innowacyjne formy
przekazu (kampanie bannerowe online, mailing, kampanie w mediach społecznościowych).
Wykorzystanie narzędzi komunikacyjnych (mediów) w działaniach IZ PO KL
25
22
20
15
13
10
11
10
9
10
5
4
6
5
4
7
6
33
1
1
1
32
4
4
222
1
1
22
3
4
0
2008
2009
2010
2011
2012
2013
Narzędzia tradycyjne (reklamy w telewizji, prasie, radiu, publikacje)
Narzędzia interaktywne (kampanie bannerowe, mailing, akcje w mediach społecznościowych)
Eventy (konferencje, seminaria, koncerty, festyny, pikniki)
Public Relaons
Outdoor, ambient
Sponsoring
Razem
Źródło: Opracowanie własne na podstawie systematycznego przeglądu „Formularzy
sprawozdawczych dotyczących promocji i informacji PO KL”
Wybór poszczególnych mediów w kolejnych etapach wdrażania PO KL był
zgodny z ideą budowania marki (budowanie świadomości pokazywanie
korzyści). W pierwszych latach wdrażania (2008–2011) sięgano po formę
spotu telewizyjnego i radiowego, jako że z punktu widzenia celu polegającego na budowaniu świadomości Programu telewizja i inne szeroko zasięgowe
media są najskuteczniejsze. W kolejnych latach (2012–2013) gdy świadomość Programu została „zbudowana”, można było częściej sięgać po inne
kanały dotarcia, by utrwalać przekaz – wówczas spoty emitowano częściej
w radiu i w Internecie.
Wybór podstawowych narzędzi komunikacji podyktowany był kilkoma czynnikami, m.in. posiadaniem ograniczonego budżetu na informację
i promocję, brakiem specjalistycznej wiedzy i kompetencji u beneficjentów
odnośnie prowadzenia bardziej wyszukanych działań komunikacyjnych,
umniejszaniem wagi działań komunikacyjnych na korzyść właściwej realizacji projektu (osiągnięcie celów i wskaźników projektu), jak również realizacją
przede wszystkim celu polegającego na zrekrutowaniu uczestników, a rzadko
kiedy na promowaniu rezultatów projektów.
CZEGO DOTYCZYŁA NAJCZĘŚCIEJ TREŚĆ
KOMUNIKATÓW O PO KL?
Przeważającą grupę komunikatów w ramach działań informacyjno-promocyjnych stanowiły te, które jednocześnie przekazywały kilka tematów
– tzw. mix informacji na temat PO KL (33%). Większość takich zintegrowanych, wielowątkowych komunikatów związana była z ogólną promocją
PO KL, a ich celem było upowszechnianie świadomości istnienia programu
w świadomości odbiorców.
☺ Analiza skojarzeń wśród uczestników projektów pokazuje, że respondenci mieli nieco mniej formalne odczucia o samym PO KL. Pojawiały się
skojarzenia związane z „pomocą” oraz kierowaniem wsparcia do zróżnicowanych grup społecznych, w tym do grup zagrożonych wykluczeniem.
CZEGO DOTYCZYŁA NAJCZĘŚCIEJ TREŚĆ KOMUNIKATÓW O PO KL?
Poziom beneficjentów. Beneficjenci realizujący projekty konkursowe
w swoich projektach najczęściej wykorzystywali proste formy promocji,
ograniczając się do podstawowych narzędzi komunikacji. Najczęściej realizowanym działaniem było zamieszczanie informacji na stronie internetowej
(85% wskazań badanych beneficjentów). Na drugim miejscu znalazły się takie narzędzia, jak tablice informacyjne (69%), plakaty, billboardy oraz ulotki,
broszury (po 67%), a także artykuły w prasie (64%). Najrzadziej sięgano po
kampanie lub audycje prowadzone w radiu lub telewizji (odpowiednio 12%
i 7%).
5
CZEGO DOTYCZYŁA NAJCZĘŚCIEJ TREŚĆ KOMUNIKATÓW O PO KL?
6
Skojarzenia z Programem Operacyjnym Kapitał Ludzki wśród uczestników
projektów
Źródło: Opracowanie własne na podstawie badania CATI
Wśród 530 analizowanych komunikatów bardzo często pojawiały się
słowa związane z nazwą programu PO KL, EFS, a także słowa związane
z formalnymi aspektami („w ramach”, „wdrażania”, „komponentu”). Frekwencja stosowanych słów przywołuje nieco na myśl język formalny,
nie zawsze przystępny, budzący skojarzenia z procesami urzędowymi.
Chmura najpopularniejszych słów wykorzystanych w komunikatach PO KL
w latach 2008–2013
Źródło: Opracowanie własne
Beneficjenci i potencjalni beneficjenci
☺ Beneficjenci i wnioskodawcy
czują się dobrze poinformowani
na temat zasad przygotowania
wniosku o dofinansowanie (88%
wskazań badanych beneficjentów), jak i wymogów związanych
z realizacją i rozliczaniem projektu (86,5%).
Nadal jednak wskazywane
są pewne luki informacyjne.
Dla mniej doświadczonych dużym
obciążeniem pozostaje mnogość
i poziom skomplikowania dokumentów i wytycznych programowych, jak również obecność
niezrozumiałego, urzędniczego
języka.
Najczęściej wybieranym i najbardziej wartościowym źródłem informacji
dla beneficjentów są przede wszystkim strony internetowe IP oraz IPII (84%
wskazań badanych beneficjentów w przypadku źródeł informacji wybieranych
na etapie aplikowania oraz 72% – na etapie realizacji projektów). Mniej
doświadczeni beneficjenci cenią sobie również możliwość pogłębienia wiedzy
– w tym przypadku najcenniejsze były indywidualne kontakty z pracownikami
RO EFS (na etapie aplikowania 14% wskazań, na etapie realizacji projektu –
22%). W dalszej kolejności były to szkolenia i warsztaty (na etapie aplikowania
11% wskazań i na etapie realizacji projektu – 21%) oraz indywidualny
kontakt z opiekunami projektów (odpowiednio 5% i 22% wskazań).
Najczęściej wskazywane źródła informacji na temat zasad realizacji projektu
(8 najczęściej wymienianych źródeł)
Strony internetowe IP I
Indywidualny kontakt
z konsultantem w PI
Kontakt z osobą,
która już otrzymała
dofinansowanie
Strony internetowe IP II
Źródło: Opracowanie własne na podstawie CATI (n = 400)
Indywidualny kontakt
z konsultantem w RO EFS
Szkolenia, warsztaty
Indywidualny kontakt
z opiekunem projektu
JAKIE SĄ EFEKTY DZIAŁAŃ KOMUNIKACYJNYCH?
JAKIE SĄ EFEKTY DZIAŁAŃ KOMUNIKACYJNYCH?
7
JAKIE SĄ EFEKTY DZIAŁAŃ KOMUNIKACYJNYCH?
Ogół społeczeństwa
☺ W latach 2007–2013 nie tylko zwiększała się znajomość samej nazwy
PO KL, ale też stopniowo pogłębiała się wiedza Polaków na temat Programu. Polacy na ogół dobrze rozumieją przedmiot działalności PO KL
i potrafią go odróżnić od obszarów właściwych innym programom operacyjnym. Najczęściej wykorzystywanymi źródłami informacji nt. PO KL
były media tradycyjne, internet, a także materiały informacyjne, takie
jak ulotki czy broszury.
Spontaniczna i wspomagana znajomość EFS i wybranych Programów Operacyjnych
Znajomość wspomagana
Znajomość spontaniczna
66%
PO KL
10%
56%
PO IiŚ
4%
49%
PO IG
3%
46%
EFS
5%
31%
RPO
4%
8
0%
10%
20%
30%
40%
50%
60%
70%
Źródło: Opracowanie własne na podstawie badania CATI i CAWI wśród mieszkańców (n = 1100)
☺ W całym okresie realizacji PO KL znajomość znaku graficznego PO KL
i EFS stale rośnie. Logotypy są konsekwentnie wykorzystywane zarówno w spotach reklamowych zrealizowanych w ramach kampanii o szerokim zasięgu w mediach, jak i we wszelkich materiałach powstałych
przy współfinansowaniu z PO KL.
Znajomość logo EFS i PO KL
Znajomość wspomagana (N = 500)
Znajomość spontaniczna (N = 1100)
69%
Logotyp Programu Operacyjnego
Kapitał Ludzki
41%
66%
Logotyp Europejskiego Funduszu
Społecznego
34%
0%
10% 20% 30% 40% 50% 60% 70% 80%
Źródło: Opracowanie własne na podstawie badania CATI i CAWI wśród mieszkańców (n = 1100)
☺ Stan wiedzy uczestników projektów na temat EFS i PO KL jest dość wysoki, a skojarzenia na ogół poprawne. Niemal wszyscy badani uczestnicy projektów potwierdzają znajomość PO KL w pytaniu wspomaganym
(94%), a także znają jego logotyp (80%).
Niemniej jednak nazwy programów nie są silnie utrwalone, na co wskazuje stosunkowo niski wskaźnik znajomości spontanicznej (19%).
PROPOZYCJE USPRAWNIEŃ SYSTEMU
Uczestnicy projektów
PROPOZYCJE USPRAWNIEŃ SYSTEMU
Udoskonalenie systemu monitoringu działań informacyjno-promocyjnych dotyczących EFS m.in. poprzez usprawnienie sposobu pozyskiwania informacji zwrotnej od odbiorców na temat komunikatów.
Udoskonalenie systemu ewaluacji działań informacyjno-promocyjnych
dotyczących EFS m.in. poprzez wspólne, IZ i IP, planowanie badań ewaluacyjnych, prowadzenie ich w sposób cykliczny, jak również wykorzystywanie narzędzia umożliwiającego porównywanie wyników między
badaniami.
Systematyczne, oparte na danych planowanie działań komunikacyjnych.
Zwrócenie uwagi instytucjom systemu na angażowanie w działania komunikacyjne odpowiedniej liczby pracowników o wysokich kompetencjach w tej dziedzinie.
Podjęcie działań zapobiegających marginalizacji treści związanych z EFS
w nowych dwufunduszowych programach regionalnych lub kładzenia
nierównomiernego nacisku w działaniach komunikacyjnych na elementy wsparcia związane z EFRR lub z EFS.
Usprawnienie systemu informacyjnego poprzez bieżące upowszechnianie do ogólnej wiadomości informacji na temat pojawiających się
aktualizacji dokumentów, wytycznych oraz ich interpretacji, obowiązujących potencjalnych i faktycznych beneficjentów EFS.
9
PROPOZYCJE USPRAWNIEŃ SYSTEMU
10
Uproszczenie języka dokumentacji konkursowej obowiązującej wnioskodawców.
Wzmocnienie roli opiekunów projektów jako kluczowego źródła informacji dla beneficjentów.
Ministerstwo Infrastruktury i Rozwoju
Departament Europejskiego Funduszu Społecznego
ul. Wspólna 2/4
00-926 Warszawa
tel. (+48 22) 273 80 51
fax (+48 22) 273 89 19
e-mail: [email protected]
www.efs.gov.pl
Infolinia EFS:
0 801 EFS 801
0 801 337 801
płatne jak za połączenia lokalne
Publikacja bezpłatna
Publikacja współfinansowana ze środków Unii Europejskiej
w ramach Europejskiego Funduszu Społecznego