Procedura certyfikacji ISO

Raport z pilotażowego testowania
procedury egzaminacyjnej/ ISO 17024
1
Raport z pilotażowego testowania procedury egzaminacyjnej/ ISO 17024
Projekt LLP-LDV-TOI-12-AT-0015
Koordynator Projektu:
Schulungszentrum Fohnsdorf
Instytucje Partnerskie:
University of Gothenburg
Municipality of Tjörns
MMC Management Centre Ltd
Instytut Technologii Eksploatacji – PIB
Dimitra Institute
Vocational Rehabilitation Consultants Ltd
Projekt finansowany przy wsparciu Komisji Europejskiej. Niniejsza publikacja stanowi jedynie odzwierciedlenie
opinii autora, a Komisja nie ponosi odpowiedzialności za informacje w niej zawarte.
2
Wstęp
Jednym z głównych założeń i celów realizacji projektu Certi.MenTu „Certyfikacja Mentorów i Tutorów” było
opracowanie możliwości certyfikacji mentorów i tutorów zgodnie z wymogami normy ISO 17024.
Wyniki wielu prac realizowanych przez Partnerstwo w ramach poszczególnych pakietów roboczych miało
wpływ na proces certyfikacji i jest bezpośrednio związanych z “końcową” weryfikacją kompetencji w certyfikacji
normatywnej. Wynikami projektu bezpośrednio związanymi z procesem certyfikacji są:
♦
♦
♦
♦
Europejska matryca kompetencji dla mentorów i tutorów
(w oparciu o krajowe matryce kompetencji)
Europejski raport o tutorach i mentorach – wyzwania i trendy
Schemat certyfikacji kompetencji dla mentorów i tutorów
(w oparciu o wkład wszystkich partnerów krajowych)
Zestaw dokumentów egzaminacyjnych i certyfikacyjnych obejmujący:
a) wniosek o certyfikację dla mentorów i tutorów
b) kartę danych osobowych
c) listę kontrolną dopuszczenia do pełnienia roli egzaminatora
d) kartę oceny mentorów i tutorów odbywających egzamin
e) załącznik do karty oceny (wytyczne)
f) dokumentację egzaminacyjną
g) zlecenie dla egzaminatora
h) szablon certyfikatu dla mentorów i tutorów
i) szablon przygotowania pisemnego studium przypadku
j) standardowy kwestionariusz dla testu wielokrotnego wyboru
k) standardowe tematy dla studium przypadku
l) standardowe tematy dla scenek z podziałem na role
Zgromadzone informacje zwrotne oraz doświadczenia z różnych etapów pilotażu w instytucjach partnerskich
(na podstawie szczegółowego formularza ewaluacji) dały podstawę do weryfikacji i lepszego dostosowania
opracowanych materiałów i dokumentów.
Faza pilotażowa została oparta na uprzednio uzyskanych wynikach projektu. SystemCERT jako podwykonawca
udzielił wszystkim partnerom szczegółowych instrukcji na temat sposobu realizacji tej istotnej i niezbędnej
części projektu. Instrukcje te zostały udzielone podczas międzynarodowych spotkań partnerów oraz za pomocą
innych środków komunikacji. Najważniejszymi rezultatami projektu wykorzystanymi podczas fazy pilotażowej
są dokumenty zgodne z wymogami ISO 17024, które zostały sporządzone we wszystkich wersjach językowych.
Celem fazy pilotażowej było sprawdzenie, czy opracowane dokumenty i zdefiniowane procesy są zrozumiałe,
możliwe do wdrożenia i użyteczne w praktyce.
Wszystkie instytucje partnerskie zorganizowały pilotaże w celu weryfikacji opracowanych dokumentów
certyfikacyjnych i innych rezultatów projektu oraz zebrały informacje zwrotne od uczestników (mentorów
i tutorów), egzaminatorów, jak również osób zaangażowanych z ramienia instytucji szkoleniowych.
3
Ramy czasowe fazy pilotażowej
Każda z instytucji partnerskich była odpowiedzialna za samodzielne znalezienie i pozyskanie ośrodków
szkoleniowych, egzaminatorów jak i uczestników procesu egzaminowania i certyfikowania (czyli mentorów i
tutorów). Daty egzaminów również nie były ustalane odgórnie przez koordynatora projektu, ale elastycznie –
stosownie do oczekiwań wszystkich stron procesu.
Egzaminy mentorów i tutorów uczestniczących w pilotażach w poszczególnych krajach partnerskich odbyły się
w następujących terminach:
♦
Schulungszentrum Fohnsdorf
25 kwietnia 2014
17 uczestników
♦
Instytut Technologii Eksploatacji PIB
18 kwietnia 2014
09 uczestników
♦
Dimitra Institute
3 maja 2014
15 uczestników
♦
MMC Management Centre Ltd
28 kwietnia 2014
17 uczestników
♦
Municipality of Tjörns
19 – 22 maja 2014
05 uczestników
♦
Vocational Rehabilitation Consultants
11 – 13 sierpnia 2014
03 uczestników
===========
Łącznie:
66 uczestników
Egzaminowane grupy docelowe
Do egzaminów oraz ewaluacji fazy pilotażowej zostały zdefiniowane różne grupy docelowe. Dlatego
opracowane zostały również trzy różne karty ewaluacyjne pozwalające na zebranie dużej ilości wiarygodnych
odpowiedzi.
Pierwsza grupa składała się z uczestników egzaminu.
Z łącznej liczby wszystkich uczestników przeanalizowano 66 kart ewaluacyjnych.
Drugą grupę docelową ewaluacji stanowiły ośrodki szkoleniowe, z pomocą których przeprowadzono egzaminy.
Łącznie, w tej grupie uzyskano 9 kart ewaluacyjnych.
Trzecią grupę docelową stanowili egzaminatorzy.
Niniejszy raport obejmuje 6 kart ewaluacyjnych.
4
Wyniki ewaluacji
1) Wyniki ewaluacji uczestników (mentorów i tutorów)
Przeanalizowaliśmy 66 kart ewaluacyjnych. Celem ewaluacji było zdobycie informacji zwrotnej na temat
testowanego procesu egzaminowania i certyfikacji. Zdefiniowano osiem różnych pytań a wszyscy uczestnicy
zostali poproszeni o udzielenie odpowiedzi w skali od 1 = bardzo dobrze do 5 = niedostatecznie.
Pytania i wyniki ewaluacji na podstawie tych 66 kart ewaluacyjnych prezentują się następująco:
♦
Informacja na temat znaczenia certyfikacji zgodnie z ISO 17024
Wynik: 1,82
♦
Wsparcie (komunikacyjne) odnośnie procedury testowania
Wynik: 1,79
♦
Zrozumiałość pytań testu wielokrotnego wyboru
Wynik: 2,12
♦
Stopień trudności testu wielokrotnego wyboru (1=zbyt łatwy/5=zbyt trudny)
Wynik: 2,74
♦
Zdolności / specjalistyczne kwalifikacje egzaminatora
Wynik: 1,55
♦
Zrozumiałość dokumentacji egzaminacyjnej (karta danych, wniosek o certyfikację…)
Wynik: 1,97
♦
Ramy czasowe egzaminu (1=za długie/5=za krótkie)
Wynik: 2,83
♦
Ogólna ocena procesu egzaminowania
Wynik: 1,88
2,5
2
2,83
2,74
3
2,12
1,82
1,79
1,97
1,88
1,55
1,5
1
0,5
0
Rys.1: Ewaluacja wszystkich uczestników
5
2) Wyniki ewaluacji egzaminatorów
Kolejną grupą celową procesu ewaluacji była grupa egzaminatorów. Prezentowana przez nich opinia stanowi
dużą wartość, ponieważ reprezentowali oni grupę wysoce wykwalifikowanych specjalistów o dużym
doświadczeniu w praktyce mentoringu i tutoringu.
Przeanalizowaliśmy 6 kart ewaluacyjnych. Celem ewaluacji było zdobycie informacji zwrotnej na temat
testowanego procesu egzaminowania i certyfikacji. Zdefiniowano osiem pytań (bardzo podobnych do pytań
zadanych uczestnikom, co umożliwi porównywalność wyników), a wszyscy egzaminatorzy zostali poproszeni o
odpowiedź w skali od 1 = bardzo dobrze do 5 = niedostatecznie.
Pytania i wyniki ewaluacji na podstawie tych 6 kart ewaluacyjnych prezentują się następująco:
♦
Informacja na temat znaczenia certyfikacji zgodnie z ISO 17024
Wynik: 2,17
♦
Wsparcie (komunikacyjne) odnośnie procedury testowania
Wynik: 2,83
♦
Zrozumiałość pytań testu wielokrotnego wyboru
Wynik: 2,50
♦
Stopień trudności testu wielokrotnego wyboru (1=zbyt łatwy/5=zbyt trudny)
Wynik: 2,67
♦
Akceptacja procedury testowania wśród uczestników
Wynik: 1,83
♦
Zrozumiałość dokumentacji egzaminacyjnej (karta danych, wniosek o certyfikację…)
Wynik: 2,00
♦
Ramy czasowe egzaminu (1=za długie/5=za krótkie)
Wynik: 2,83
♦
Ogólna ocena procesu egzaminowania
Wynik: 2,50
2,83
3
2,5
2,5
2,83
2,67
2,5
2,17
2
1,83
2,0
1,5
1
0,5
0
Rys. 2: Wyniki ewaluacji w grupie egzaminatorów
6
3) Wyniki ewaluacji ośrodków szkoleniowych
Ostatnią grupę uczestników ewaluacji stanowili przedstawiciele instytucji szkoleniowych organizujących pilotaż.
Przeanalizowano 9 kart ewaluacyjnych. Celem ewaluacji było uzyskanie informacji zwrotnej na temat procesu
egzaminowania i certyfikacji. Zdefiniowano pięć pytań, a wszystkie firmy organizujące pilotażowy egzamin
zostały poproszone o udzielenie odpowiedzi w skali od 1 = bardzo dobrze, 5 = niedostatecznie.
Pytania i wyniki ewaluacji na podstawie tych 9 kart ewaluacyjnych prezentują się następująco:
♦
Informacja na temat znaczenia certyfikacji zgodnie z ISO 17024
Wynik: 2,89
♦
Wsparcie (komunikacyjne) odnośnie procedury testowania
Wynik: 3,22
♦
Znaczenie certyfikacji personelu zgodnie z ISO 17024
Wynik: 2,56
♦
Czy certyfikacja zgodnie z ISO 17024 oznacza większe możliwości na rynku pracy?
Wynik: 3,11
♦
Ogólna ocena procesu egzaminowania
Wynik: 2,67
3,22
3,5
3
3,11
2,89
2,67
2,56
2,5
2
1,5
1
0,5
0
Informacja na
temat znaczenia
certyfikacji
Wspacie
informacyjne
Znaczenie
certyfikacji
personelu
Czy ISO 17024
zwiększa szanse
na rynku pracy
Ogólna ocena
egzaminu
Rys. 3: Wyniki ewaluacji w grupie przedstawicieli instytucji szkoleniowych organizujących pilotaż
7
4) Średni poziom zadowolenia wśród wszystkich grup uczestników pilotażu
W celu stworzenia pełnego obrazu oceny procesu egzaminowania, zestawiono opinie wszystkich trzech grup
dotyczące ogólnej oceny pilotażu.
3
2,5
2,5
2
2,67
2,35
1,88
1,5
1
0,5
0
Rys. 4: Poziom zadowolenia wśród różnych grup uczestników pilotażowego egzaminowania
Według powyższego wykresu, ogólne zadowolenie z pilotażowej fazy testującej proces egzaminacyjny w skali
od 1 (bardzo dobre) do 5 (niedostatecznie) wyniosło 2,35. Wyniki wskazują na dobrą jakość testowanych
rezultatów projektu uzyskanych w ramach dwuletniej współpracy w ramach projektu Certi.MenTu.
Ogólne podsumowanie
W celu podsumowania spostrzeżeń z analizy ewaluacji, poniżej przedstawiono krótką interpretację pytań
powtarzających się w kwestionariuszach ewaluacyjnych dla różnych grup docelowych:
Pokrywające się Pytanie 1
Informacje na temat znaczenia certyfikacji zgodnie z ISO 17024:
Otrzymana wartość z kwestionariuszy związana z tym pytaniem to 1,82 (uczestnicy), 2,17 (egzaminatorzy) i 2,89
(instytucje szkoleniowe). Średnia na poziomie 2,29 uprawnia nas do stwierdzenia, że udzielanie i przekazywanie
informacji o znaczeniu i wadze certyfikacji zgodnie z ISO 17024 odbyło się w sposób właściwy. Mając na
względzie kompleksowość standardów normatywnych ISO 17024 oraz trudności różnych krajowych systemów
edukacji, osiągnięta wartość jest wynikiem bardzo dobrym.
Pokrywające się Pytanie 2
Udzielone wsparcie (komunikacyjne) odnośnie procedury testowania:
Otrzymana wartość z kwestionariuszy związana z tym pytaniem to 1,79 (uczestnicy), 2,83 (egzaminatorzy) i 3,22
(instytucje szkoleniowe). Średnia na poziomie 2,61 w naszej opinii oznacza, że punkty styczne komunikacji
pomiędzy instytucjami szkoleniowymi, podwykonawcą (jednostką certyfikującą), partnerstwem projektu oraz
grupami docelowymi pilotażu (egzaminatorami, uczestnikami, ośrodkami szkoleniowymi) funkcjonowały
efektywnie. W szczególności otwartość dyskusji i współpraca podczas międzynarodowych spotkań Partnerstwa
Projektu oraz płynna komunikacja w okresach pomiędzy spotkaniami pozwoliła na przekazanie wszelkich
8
niezbędnych informacji i wyjaśnień. Przyjmując wartość 2,50 jako krytyczną, osiągnięta wielkość 2,61 jest nadal
zadowalającym wynikiem.
Pokrywające się Pytania 3 i 4
Zrozumiałość oraz stopień trudności Pytań Testu Wielokrotnego Wyboru:
Otrzymana wartość z kwestionariuszy związana z tym pytaniem to 2,12 (uczestnicy) i 2,50 (egzaminatorzy).
Średnia na poziomie 2,31 wydaje się być realistyczna i w szczególności odzwierciedla zróżnicowanie związane z
praktycznym doświadczeniem w mentoringu i/lub tutoringu uczestników wynoszącym od 4 miesięcy do 9 lat.
Otrzymane wyniki należy również połączyć z pytaniem o stopień trudności pytań testu wielokrotnego wyboru.
Wartość otrzymana z kwestionariuszy związana z tym pytaniem wynosi 2,74 (uczestnicy) oraz 2,67
(egzaminatorzy). Biorąc pod uwagę uzyskaną średnią 2,71 warto zaznaczyć, że wartość ta znajduje się prawie w
środku skali (wynik optymalny wskazujący na fakt, że poziom trudności nie jest ani zbyt wysoki ani zbyt niski).
Pokrywające się Pytanie 5
Zrozumiałość dokumentów (karta danych, wniosek o certyfikację…)
Otrzymana wartość z kwestionariuszy związana z tym pytaniem to 1,97 (uczestnicy) i 2,00 (egzaminatorzy).
Średnia na poziomie 1,99 wydaje się być realistyczna i zgodna z oczekiwaniami partnerów / w szczególności
jednostki certyfikującej. Mnogość różnych dokumentów niezbędnych do wdrożenia certyfikacji zgodnie z ISO
17024 i spełnienia wymogów normatywnych, powoduje dezorientację i niejasności. Doświadczenie instytucji
certyfikującej wskazuje, iż częste użytkowanie dokumentów dodaje użytkownikom pewności.
Pokrywające się Pytanie 6
Ramy czasowe procedury egzaminowania
Otrzymana wartość z kwestionariuszy związana z tym pytaniem to 2,83 (uczestnicy) i 2,83 (egzaminatorzy).
Średnia na poziomie 2,83 wskazuje, że ramy czasowe egzaminów są odpowiednie. Skala dla tego pytania to 1
(zbyt długi) do 5 (zbyt krótki). Nie trzeba dodawać, że dla uczestników czas trwania egzaminu jest często zbyt
krótki.
Poniższy wykres przedstawia wyniki pokrywających się pytań:
3,5
3
2,5
2,71
2,61
2,31
2,29
1,99
Uczestnicy
2
Egzaminatorzy
1,5
Instytucje
Średnio
1
0,5
0
Informacja na
temat znaczenia
certyfikacji
Wsparcie
(kominkacyjne)
Zrozumałość
pytań w teście
Trudność Pytań w
teście
Zrozumiałóść
dokumentów
egzam.
Wykres podsumowujący 1: Pytania pokrywające się w kwestionariuszach ewaluacyjnych różnych grup
uczestników testowania procedury egzaminowania
9
WNIOSKI
Analiza wyników ewaluacji fazy pilotażowego egzaminowania mentorów i tutorów nie dała uzasadnienia dla
wprowadzania zmian opracowanych rezultatów lub dokumentów egzaminacyjnych. Niemniej jednak
przedstawiciele instytucji partnerskich przedyskutują szczegółowo wszystkie wyniki podczas ostatniego
spotkania Partnerstwa (Gothengurg, wrzesień 2014) i połączą spostrzeżenia z niniejszej analizy z innymi
spostrzeżeniami podczas realizacji projektu. Dostrzeżono między innymi pewne niejasności w odniesieniu do
kompatybilności niektórych dokumentów z zakresu procesu certyfikacji.
Dlatego też wnioski wynikające z niniejszej analizy oraz wszelkie informacje zwrotne dostarczone przez
partnerów projektu będą miały wpływ na proces adaptacji dokumentów certyfikacyjnych podczas końcowego
spotkania w Szwecji.
Oczekiwane dostosowania można jednak zdefiniować, jako drobne/ marginalne zmiany związane z formatem
i opracowaniem dokumentów. Jak pokazuje analiza, istotą wszystkich opracowanych dokumentów jest ich
wysoki stopień praktycznego zastosowania, co potwierdza profesjonalną pracę i dobrą współpracę partnerów
projektu.
10