Opowieść o SEVAQ+, europejskiej inicjatywie

Konferencja
NOWE MEDIA W EDUKACJI
25 października 2010
Hotel Kyriad Prestige
Warszawa
Adam Chmielewski
Opowieść o SEVAQ+,
europejskiej inicjatywie samooceny, jakości
szkoleń wykorzystujących nowoczesne
technologie
Dlaczego? Po co? dokonywać ewaluacji?
Co daje nam ewaluacja ?
Jakość vs ewaluacja?
Proste scenariusze
Kontekst:
szkolnictwo wyższe
Typ szkolenia:
blended
Opis:
Uczę prawa międzynarodowego na uniwersytecie i chciałbym
wiedzieć co powinienem usprawnić podczas realizacji swojego
przedmiotu
Zainteresowany : wykładowca, studenci
Kontekst:
szkolnictwo wyższe
Typ szkolenia:
blended
Opis:
Pracuję na uniwersytecie gdzie odpowiadam za centrum
multimedialne wspomagające nauczycieli akademickich.
Chciałbym wiedzieć jak moi pracownicy oceniają
współpracę z wykładowcami podczas tworzenia materiałów
multimedialnych do poszczególnych przedmiotów, zarówno w
aspekcie organizacyjnym, pedagogicznym jak i merytorycznym.
Zainteresowany : kierownik projektu, zespół tworzący szkolenia
Kontekst:
firma szkoleniowa
Typ szkolenia:
blended
Opis:
Jestem odpowiedzialny za zapewnienie efektywnych
szkoleń w organizacji, jestem zaangażowany w prasce
szkoleniowy od analizy potrze do ewaluacji efektywności.
Ostatnio rozpocząłem proces szkoleń dla wykwalifikowanych
pracowników technicznych. Jestem zainteresowany
efektywnością tych szkoleń.
Zainteresowany : kierownik odpowiedzialny za szkolenia, wykwalifikowani
specjaliści techniczni
Dlaczego, po co
oceniać?
Trzy elementy oceny
• Zrozumienie
cognitive purpose
• Porównanie /ocena
Normative purpose
• Dostarczenie wskazówek
Instrumental purpose
Co się stało?
Jak dobrze zostało to wykonane?
Co usprawnić?
Odpowiedź zwrotna
Czym jest ewaluacja?
Organizacja
Kontekst
Potrzeby
Żądanie
Zasoby
Produkt
Rezultat/
Wpływ
Klienci
Ewaluacja:
- dostarczenie jednoznacznej odpowiedzi na pytanie jaka wiedza jest mi
potrzebna i dlaczego
- dostarczenie subiektywnego punktu odniesienia uzależnionego od kontekstu
- uwzględnienie wielu punktów widzenia
Co oceniać?
Punkty widzenia
Klient
Wpływ
Kontekst
Potrzeby
Zagadnienia
Rezultat
Cele
Zasoby
Organizacja
Osiągnięcia
Wydajność
Związek
Skuteczność
Ex-ante
Użyteczność
w trakcie
Ex- post
Kroki i aktorzy
Punkty widzenia ewaluacji
Sponsor
(w organizacji)
Oceniający
Zapytanie
Upoważnienie
Struktura projektu
Specyfikacja
Realizacja
Waloryzacja
Plan działań
Narzędzia, procedury
Analiza wyników
Rekomendacje
Raport po ewaluacji
Z takiej perspektywy,
jak rozumieć
samoocenę?
Pierwszy model:
Model Kirkpatricka
Koncepcje, narzędzia
Poziom 5: ROI - pomiar efektów finansowych
szkolenia , wpływu na wyniki globalne, motywację
Poziom 4: Pomiar wyników biznesowych - wzrost
produktywności, nowe produkty itp.
Poziom 3: Transfer efektów szkolenia w miejscu
pracy – pomiar po tygodniu po ok. po ukończeniu
szkolenia. Ankiety, przegląd przez kierownika
osoby uczącej się, współpracowników
Poziom 2: Ocena nauki - testy, egzaminy. Pomiar
wiedzy, umiejętności i kompetencji
Poziom 1: Reakcja - badanie satysfakcji, ankiety
wśród uczących się
Drugi model:
Model EFQM
Koncepcje, narzędzia
© EFQM European Foundation for Quality Management
Model Doskonałości EFQM dostarcza ram organizacyjnych systemu zarządzania,
promowanych przez Europejską Fundację Zarządzania Jakością (EFQM) oraz
mających pomóc organizacji w dążeniu do bycia bardziej konkurencyjnym.
Główny aktor wersji 1 narzędzia Cadre de l’outil
SEVAQ
SEVAQ : uczący się
EFQM i Kirkpatrick
Uczący się
3 obszary ewaluacji:
 Zasoby wykorzystywane przez uczącego się w procesie nauczania
 Poziom interaktywności i proces nauczania
Wynik: cele osiągnięte przez uczącego się, transfer w miejscu
pracy
Główne cechy nowego podejścia w SEVAQ+
Szerszy zakres procesów: procesu nauczania
+
procesy dostawcy
Cele
Tworzenie
e-learningu
Proces
nauczania
Nauczyciel
trener
Użytkownik
Firmy
Szkoleniowe
Uczelnie
Kontekst
Dwa obszary (dotychczas
firmy szkoleniowe)
+ szkolnictwo wyższe
Kierownik
Grupy
Szersza grupa docelowa:
uczący się
+ pozostali interesariusze
w procesie dostarczania
szkoleń
Uczący się
Kierownicy
Trenerzy
Dostawcy
+ udziałowcy
+ kontekst (uczelnie, firmy)
+ obszary EFQM
+ model Kirkpatricka
Struktura ankiet w SEVAQ +
Podkryteria
a
Zasoby
Kryteria 1
Podkryteria
b
Stwierdzenia
Aktywności
Rezultaty
SEVAQ 1
SEVAQ +
Kryteria 2
Podkryteria
c
Kryteria 3
Podkryteria
d
Kryteria 4
17 Kryteriów
22 Kryteria
Podkryteria
e
38 Podkryteriów
99 Podkryteria
208 Stwierdzeń
723 Stwierdzenia
Proste scenariusze użycia narzędzia SEVAQ+
Kontekst:
szkolnictwo wyższe
Typ szkolenia:
blended
Opis:
Uczę prawa międzynarodowego na uniwersytecie i
chciałbym wiedzieć co powinienem usprawnić
podczas realizacji swojego przedmiotu
Projektant
ankiety
wykładowcy
Respondenci:
studenci
Ewaluacja:
na koniec kursu
Kontekst:
szkolnictwo wyższe
Typ szkolenia:
blended
Opis:
Pracuję na uniwersytecie gdzie odpowiadam za
centrum multimedialne wspomagające nauczycieli
akademickich. Chciałbym wiedzieć jak moi
pracownicy oceniają współpracę z wykładowcami
podczas tworzenia materiałów multimedialnych do
poszczególnych przedmiotów, zarówno w aspekcie
organizacyjnym, pedagogicznym jak i erytorycznym.
Projektant
ankiety
kierownik projektu
Respondents:
zespół tworzący szkolenia
Ewaluacja:
na koniec procesu tworzenia szkolenia lub podczas
kroków milowych
Kontekst:
firma szkoleniowa
Typ szkolenia:
blended
Opis:
Jestem odpowiedzialny za zapewnienie efektywnych
szkoleń w organizacji, jestem zaangażowany w prasce
szkoleniowy od analizy potrze do ewaluacji
efektywności. Ostatnio rozpocząłem proces szkoleń
dla wykwalifikowanych pracowników technicznych.
Jestem zainteresowany efektywnością tych szkoleń.
Projektant
ankiety
kierownik odpowiedzialny za szkolenia
Respondents:
wykwalifikowani specjaliści techniczni
Ewaluacja:
kilka tygodni po zakończeniu szkolenia
Kontakt
[email protected]
[email protected]
Dziękuję za uwagę 
Pytania, refleksje!
Instrukcja
Krok pierwszy: stwórz swoją pierwszą ankietę jako projektant
• Adres narzędzia SEVAQ+ : http://www.sevaq-plus.preau.ccip.fr
• Prześlij zapytanie o konto na adres [email protected]
• Otrzymasz dostęp do narzędzia - ASAP
• Stwórz swoją ankietę
Krok drugi: udostępnij ankietę respondentom
(anonimowym lub nazwanym
Krok trzeci: wyraportuj wyniki i porównaj z innymi