„Ewaluacja strategiczna działań informacyjno

Badanie ewaluacyjne pn.:
„Ewaluacja strategiczna działań
informacyjno-promocyjnych realizowanych
w ramach PO KL”
zrealizowane przez EGO – Evaluation for Government
Organizations s.c. na zlecenie Ministerstwa
Infrastruktury i Rozwoju
Badanie współfinansowane ze środków Unii Europejskiej w ramach
Europejskiego Funduszu Społecznego
Jak planowano działania komunikacyjne w PO KL?
Poziom instytucji realizujących PO KL. Planowanie działań informacyjno-promocyjnych
odbywało się przede wszystkim w oparciu o dokumenty programowe oraz wcześniejsze
doświadczenia związane z wdrażaniem perspektywy 2004-2006. Sporadycznie korzystano z
wyników dostępnych badań.
☺
Plan Komunikacji - główny dokument „planistyczny” - został oceniony przez jego
użytkowników, jako narzędzie użyteczne i dobrze organizujące proces informacji i
promocji Programu.
Słabym punktem jest jednak jego złożoność i wielowątkowość komunikatów nt. zasad
prowadzenia działań informacyjno – promocyjnych oraz brak pogłębionej,
kompleksowej diagnozy sytuacji bazowej, która umożliwiłaby dokładniejsze poznanie
oraz opisanie potrzeb i specyfiki grup docelowych.
Poziom beneficjentów. Planując i dobierając narzędzia komunikacji beneficjenci opierają
się przede wszystkim na własnych doświadczeniach, wiedzy i pomysłowości. Zwykle nie są
prowadzone analizy potrzeb grup docelowych, rzadko prowadzone są też konsultacje
z potencjalnymi uczestnikami projektów.
☺
Z jednej strony, nie prowadzenie pogłębionych analiz grup docelowych było
uzasadnione bardzo dobrą znajomością potrzeb potencjalnych odbiorców. Część
beneficjentów bowiem jest bardzo dobrze zorientowana w potrzebach informacyjnych
odbiorców projektów, jako że działają w danym obszarze od wielu lat, realizują bardzo
dużo projektów, współpracują z wieloma organizacjami partnerskimi i utrzymują stały
kontakt z przedstawicielami grup docelowych.
Z drugiej strony, brak prowadzenia diagnozy potrzeb jest zjawiskiem negatywnym,
gdyż świadczy o tym, że dla większości przedstawicieli projektodawców działania
informacyjno – promocyjne są drugorzędnym elementem realizacji projektów. Wielu
beneficjentów albo nie przygotowuje planu w zakresie informacji o projekcie i promocji
jego rezultatów (ponad 1/5 badanych beneficjentów) albo prowadzi jedynie ustne,
nieformalne ustalenia odnośnie kształtu działań komunikacyjnych (prawie 1/3
badanych beneficjentów).
Czy koordynacja działań komunikacyjnych w PO KL jest skuteczna?
☺
System koordynacji działań, w tym rolę IZ PO KL jako koordynatora systemu, można
ocenić pozytywnie, mimo złożoności systemu i stosunkowo dużej autonomii
poszczególnych instytucji. Duży wpływ na dobrą koordynację działań ma wypracowana
sieć kontaktów pomiędzy instytucjami, mechanizmy współpracy i wymiany
doświadczeń.
☺
Większość badanych pracowników instytucji realizujących PO KL wysoko oceniła
wypracowane mechanizmy współpracy – grupę roboczą ds. informacji i promocji
(IGR) oraz regionalne informacyjne grupy robocze (RIGR) – pod kątem wpływu na
poprawę jakości i spójności działań informacyjno – promocyjnych.
Co prawda udało się wypracować sieć kontaktów na poziomie regionalnym, ale
dotyczy to raczej współpracy między instytucjami w obrębie jednego regionu, niż
pomiędzy instytucjami z różnych województw. Wskazana byłaby większa wymiana
doświadczeń pomiędzy regionami, które realizują zbliżone działania, a także
Instytucjami Pośredniczącymi i Wdrażającymi centralnymi, które mogłyby się dzielić
„dobrymi praktykami” ze swoich obszarów działań, które można by również
zaadoptować w regionach.
Czy system monitorowania i ewaluacji działań komunikacyjnych w PO KL jest
skuteczny?
System wskaźników działań komunikacyjnych PO KL opiera się przede wszystkim na
wskaźnikach produktu (15 na 22 to wskaźniki produktowe). To sprawia, że system ten
w bardzo ograniczony sposób pokazywał poziom osiągnięcia celów, bez regularnej i
pogłębionej analizy danych jakościowych.
Widoczny jest także brak systemowego podejścia do realizacji badań ewaluacyjnych z
zakresu działań komunikacyjnych w PO KL. Wyniki badań cechuje brak cykliczności,
duża fragmentaryczność. Badania zazwyczaj wynikają z indywidualnych potrzeb
pojedynczych instytucji i dotyczą wąskiego zakresu działań komunikacyjnych.
Z jakich narzędzi komunikacji najczęściej korzystano w PO KL?
Poziom instytucji realizujących PO KL. Instytucje systemu wykorzystywały bogaty i
zróżnicowany zbiór narzędzi komunikacyjnych, przy czym dominującą rolę pełniły
narzędzia tradycyjne jak: telewizja, prasa, radio, publikacje oraz szkolenia. Z biegiem
realizacji Programu zaczęto szerzej sięgać po narzędzia interaktywne, a także
wykorzystywać bardziej innowacyjne formy przekazu (kampanie banerowe online, mailing,
kampanie w mediach społecznościowych).
Wykorzystanie narzędzi komunikacyjnych (mediów) w działaniach IZ PO KL
Źródło: Opracowanie własne na podstawie systematycznego przeglądu „Formularzy sprawozdawczych
dotyczący promocji i informacji PO KL”
Wybór poszczególnych mediów w kolejnych etapach wdrażania PO KL był zgodny z ideą
budowania marki (budowanie świadomości pokazywanie korzyści). W pierwszych
latach wdrażania (2008-2011) sięgano po formę spotu telewizyjnego i radiowego, jako że z
punktu widzenia celu polegającego na budowaniu świadomości Programu, telewizja i inne
szeroko zasięgowe media są najskuteczniejsze. W kolejnych latach, 2012-2013, gdy
świadomość Programu została „zbudowana”, można było częściej sięgać po inne kanały
dotarcia, by utrwalać przekaz – wówczas spoty emitowano częściej w radiu i w Internecie.
Poziom beneficjentów. Beneficjenci realizujący projekty konkursowe w swoich
projektach najczęściej wykorzystywali proste formy promocji, ograniczając się do
podstawowych narzędzi komunikacji. Najczęściej realizowanym działaniem było
zamieszczanie informacji na stronie internetowej (85% wskazań badanych beneficjentów).
Na drugim miejscu znalazły się takie narzędzia jak tablice informacyjne (69%), plakaty,
billboardy oraz ulotki, broszury (po 67%), a także artykuły w prasie (64%). Najrzadziej
sięgano po kampanie lub audycje prowadzone w radiu lub telewizji (odpowiednio 12% i
7%).
Wybór podstawowych narzędzi komunikacji podyktowany był kilkoma czynnikami, m.in.
posiadaniem ograniczonego budżetu na informację i promocję, brakiem specjalistycznej
wiedzy i kompetencji u beneficjentów odnośnie prowadzenia bardziej wyszukanych działań
komunikacyjnych, umniejszaniem wagi działań komunikacyjnych na korzyść właściwej
realizacji projektu (osiągnięcie celów i wskaźników projektu), jak również realizacją przede
wszystkim celu polegającego na zrekrutowaniu uczestników, a rzadko kiedy na
promowaniu rezultatów projektów.
Czego dotyczyła najczęściej treść komunikatów o PO KL?
Przeważającą grupę komunikatów w ramach działań informacyjno – promocyjnych
stanowiły te, które jednocześnie przekazywały kilka tematów - tzw. mix informacji na
temat PO KL (33%). Większość takich zintegrowanych, wielowątkowych komunikatów
związana była z ogólną promocją PO KL, a ich celem było upowszechnianie świadomości
istnienia programu w świadomości odbiorców.
☺
Analiza skojarzeń wśród uczestników projektów pokazuje, że respondenci mieli nieco
mniej formalne odczucia o samym PO KL. Pojawiały się skojarzenia związane z
„pomocą” oraz kierowaniem wsparcia do zróżnicowanych grup społecznych, w tym
do grup zagrożonych wykluczeniem.
Skojarzenia z Programem Operacyjnym Kapitał Ludzki wśród uczestników projektów
Źródło: Opracowanie własne na podstawie badania CATI
Wśród 530 analizowanych komunikatów bardzo często pojawiały się słowa związane z
nazwą programu PO KL, EFS, a także słowa związane z formalnymi aspektami („w
ramach”, „wdrażania”, „komponentu”). Frekwencja stosowanych słów przywołuje
nieco na myśl język formalny, nie zawsze przystępny, budzący skojarzenia z
procesami urzędowymi.
Chmura najpopularniejszych słów wykorzystanych w komunikatach PO KL w latach 2008-2013
Źródło: Opracowanie własne
Jakie są efekty działań komunikacyjnych?
Beneficjenci i potencjalni beneficjenci
☺
Beneficjenci i wnioskodawcy czują się
dobrze poinformowani na temat zasad
przygotowania
wniosku
o
dofinansowanie
(88%
wskazań
badanych
beneficjentów),
jaki
wymogów związanych z realizacją i
rozliczaniem projektu (86,5%).
Nadal
jednak wskazywane są pewne
luki informacyjne.
Dla mniej doświadczonych dużym
obciążeniem pozostaje mnogość i
poziom skomplikowania dokumentów i
wytycznych programowe, jak również
obecność
niezrozumiałego,
urzędniczego języka.
Najczęściej wybieranym i najbardziej wartościowym źródłem informacji dla
beneficjentów są przede wszystkim strony internetowe IP oraz IPII (84% wskazań
badanych beneficjentów w przypadku źródeł informacji wybieranych na etapie aplikowania
oraz 72% - na etapie realizacji projektów). Mniej doświadczeni beneficjenci cenią sobie
również możliwość pogłębienia wiedzy – w tym przypadku najcenniejsze były indywidualne
kontakty z pracownikami RO EFS (na etapie aplikowania 14% wskazań, na etapie realizacji
projektu – 22%). W dalszej kolejności były to szkolenia i warsztaty (na etapie aplikowania
11% wskazań i na etapie realizacji projektu – 21%) oraz indywidualny kontakt z opiekunami
projektów (odpowiednio 5% i 22% wskazań).
Najczęściej wskazywane źródła informacji na temat zasad realizacji projektu (8 najczęściej
wymienianych źródeł)
Źródło: opracowanie własne na podstawie CATI (n=400)
Ogół społeczeństwa
☺
W okresie 2007-2013 nie tylko zwiększała się znajomość samej nazwy PO KL, ale też
stopniowo pogłębiała się wiedza Polaków na temat Programu. Polacy na ogół dobrze
rozumieją przedmiot działalności PO KL i potrafią go odróżnić od obszarów właściwych
innym programom operacyjnym. Najczęściej wykorzystywanymi źródłami informacji nt.
PO KL były media tradycyjne, internet, a także materiały informacyjne, takie jak ulotki
czy broszury.
Spontaniczna i wspomagana znajomość EFS i wybranych Programów Operacyjnych
Źródło: opracowanie własne na podstawie badania CATI i CAWI wśród mieszkańców (n =1100)
☺
W całym okresie realizacji PO KL znajomość znaku graficznego PO KL i EFS stale
rośnie. Logotypy są konsekwentnie wykorzystywane zarówno w spotach reklamowych
zrealizowanych w ramach szeroko-zasięgowych kampanii w mediach, jak i we wszelkich
materiałach powstałych przy współfinansowaniu z PO KL.
Znajomość logo EFS i PO KL
Źródło: opracowanie własne na podstawie badania CATI i CAWI wśród mieszkańców (n =1100)
Uczestnicy projektów
☺
Stan wiedzy uczestników projektów na temat EFS i PO KL jest dość wysoki, a skojarzenia
na ogół poprawne. Niemal wszyscy badani uczestnicy projektów potwierdzają
znajomość PO KL w pytaniu wspomaganym (94%), a także znają jego logotyp (80%).
Niemniej jednak nazwy programów nie są silnie utrwalone, na co wskazuje stosunkowo
niski wskaźnik znajomości spontanicznej (19%).
PROPOZYCJE USPRAWNIEŃ SYSTEMU
Udoskonalenie
systemu
monitoringu
działań
informacyjno-promocyjnych
dotyczących EFS m.in. poprzez usprawnienie sposobu pozyskiwania informacji zwrotnej
od odbiorców na temat komunikatów.
Udoskonalenie systemu ewaluacji działań informacyjno-promocyjnych dotyczących
EFS m.in. poprzez wspólne, IZ i IP, planowanie badań ewaluacyjnych, prowadzenie ich
w sposób cykliczny, jak również wykorzystywanie narzędzia umożliwiającego
porównywanie wyników między badaniami.
Systematyczne, oparte na danych planowanie działań komunikacyjnych polegające na
wprowadzeniu do Poradnika zapisu sugerującego beneficjentom tworzenie założeń do
działań informacyjno-promocyjnych.
Zwrócenie uwagi instytucjom systemu na angażowanie w działania komunikacyjne
odpowiedniej liczby pracowników o wysokich kompetencjach w tej dziedzinie. Warto
byłoby angażować przynajmniej jedną osobę, dla której działania informacyjnopromocyjne stanowiłyby rdzeń obowiązków.
Podjęcie działań zapobiegających marginalizacji treści związanych z EFS w nowych,
dwufunduszowych programach regionalnych. Warto animować dyskusję np. w trakcie
prac Grupy Sterującej koordynowanej przez IK UP i grup roboczych ds. informacji i
promocji na poziomie każdego PO, tak aby wykluczyć problem kładzenia
nierównomiernego nacisku w działaniach komunikacyjnych na elementy wsparcia
związane z EFRR lub z EFS.
Usprawnienie systemu informacyjnego poprzez bieżące upowszechnianie do ogólnej
wiadomości informacji na temat pojawiających się aktualizacji dokumentów,
wytycznych oraz ich interpretacji, obowiązujących potencjalnych i faktycznych
beneficjentów EFS.
Uproszczenie języka dokumentacji konkursowej obowiązującej wnioskodawców. W
tym celu sugeruje się odpowiednie przygotowanie pracowników IZ i IP do
opracowywania poradników/wytycznych dla wnioskodawców/beneficjentów w sposób
prostu i zrozumiały. Proces przygotowania personelu może opierać się na szkoleniach
oraz bieżącym doradztwie w zakresie lingwistyki.
Wzmocnienie roli opiekunów projektów jako kluczowego źródła informacji dla
beneficjentów poprzez umieszczenie ich w Strategii komunikacji PO WER oraz
Strategiach komunikacji RPO 2014-2020 oraz poprzez ustalenie maksymalnej liczby
projektów, które mogą nadzorować.