docAudyt kompetencji - testy
download 
Reklamacja Transkrypt
Audyt kompetencji - testy
Grzegorz Filipowicz Audyt kompetencji - testy Wprowadzenie Chcąc wdrożyć systemy zarządzania zasobami ludzkimi, oparte na myśleniu kompetencyjnym, należy uwzględnić zagadnienie pomiaru kompetencji. Inaczej mówiąc — wszędzie tam, gdzie chcemy podejmować działania gwarantujące odpowiedni poziom rozwoju kompetencji wśród pracowników, musimy zadać sobie trud ich pomiaru. Każda próba pominięcia tego zagadnienia powoduje, że system kompetencyjny sprowadza się do mniej lub bardziej interesującego opracowania, funkcjonującego w wąskim gronie specjalistów ds. ZZL. Oto kilka typowych przykładów sytuacji, które spotykają działy HR wielu organizacji. Sytuacja 1. Dyrektor zarządzający w polskim przedstawicielstwie międzynarodowej firmy produkcyjnej otrzymał informację, że w perspektywie kilku miesięcy obejmie stanowisko prezesa nowo powstających zakładów. W korporacji zdecydowanie preferowano wewnętrzną selekcję w odniesieniu do stanowisk menedżerskich. Jak sprawdzić, kto spośród kadry menedżerskiej jest najlepszym kandydatem do zastąpienia obecnego dyrektora na dotychczasowym stanowisku? Sytuacja 2. Zespół ds. obsługi strategicznych klientów — key account managers — w trakcie realizacji programu restrukturyzacyjnego ma zostać podzielony na dwa podzespoły: na kilkuosobową, elitarną grupę pracującą z bardzo dużymi klientami korporacyjnymi oraz na grupę osób obsługujących resztę klientów. Komu zaproponować uczestnictwo w grupie elitarnej? Sytuacja 3. Doświadczony zespół przedstawicieli handlowych — około 100 osób — domaga się szkoleń adekwatnych do obecnej sytuacji rynkowej. Dotychczasowe programy, najprościej mówiąc, okazują się przestarzałe. Co należy zrobić, aby przyszłe szkolenia rozwijały te kompetencje, które są niezbędne w nowych uwarunkowaniach rynkowych? Sytuacja 4. Polskie przedstawicielstwo zachodniego banku rozbudowuje sieć własnych przedstawicielstw przez przejęcie kilku mniejszych banków. Nieuniknione są redukcje, zwłaszcza w pionach administracyjnych. Co zrobić, aby w trakcie redukcji nie rozstać się z osobami o największym potencjale? We wszystkich tych sytuacjach niezbędne jest odpowiedzenie sobie na co najmniej dwa pytania. 1. Jakie kompetencje są wymagane w tej sytuacji? 2. Jaki jest poziom ich przyswojenia wśród członków grup docelowych? Pierwsze z tych pytań odnosi się do metod opisywania potrzeb kadrowych w ujęciu kompetencji, natomiast drugie wiąże się wprost z problematyką oceny kompetencji. Co tak naprawdę mierzymy? Wymóg mierzalności ma kluczowe znaczenie przy wszelkich próbach praktycznego zastosowania kompetencji. Musimy być w stanie określić, na jakim poziomie dana kompetencja obecnie się kształtuje (w odniesieniu zarówno do poszczególnych osób, jaki i całych zespołów) oraz jaki jest jej pożądany stan. To, czego zmierzyć nie można, najczęściej jest niewiele znaczącym (choć często dobrze brzmiącym) sloganem. Dokonywanie jakichkolwiek pomiarów wymaga stosowania skali. Audyt kompetencyjny - testy Grzegorz Filipowicz Wzrost mierzymy min. w centymetrach, temperaturę w stopniach Celsjusza lub Kelwina, inteligencję w jednostkach IQ, dlatego także kompetencje muszą mieć swoją miarę. Kierując się zatem wyłącznie pragmatycznymi przesłankami, proponuje się, aby dla każdej z kompetencji wyróżniać pięć poziomów mających taką samą, podstawową charakterystykę. Niezależnie więc od tego, czy mówimy o umiejętnościach technicznych, czy o inteligencji emocjonalnej lub prowadzeniu negocjacji, poziom drugi we wszystkich przypadkach oznacza to samo. Opis poziomów przedstawiałem już wcześniej. Wprowadzenie jednolitej skali opisu kompetencji ma jeszcze jedną zaletę — pozwala w prostej graficznej formie przedstawić stan zarówno faktyczny, jak i oczekiwany. Na rysunku poniżej ukazano autentyczne dane z audytu kompetencji. Linia ciągła oznacza wymagania, jakie określono dla stanowiska przedstawiciela handlowego w jednej z polskich firm. Linia przerywana to ocena poziomu tych kompetencji u jednego z pracowników kandydującego na to stanowisko. Doskonale widać wszelkie dysproporcje. Możliwość tworzenia takich wykresów z wielu praktycznych względów okazuje się bardzo cenna. Mając taką skalę, możemy już zacząć myśleć o organizacji działań skierowanych na pomiar dowolnej kompetencji. Ryc. profil stanowiska przedstawiciela handlowego Handlowiec Orientacja na klienta 5 Samodzielność 4 3 Orientacja w biznesie 2 1 Budowanie relacji Dążenie do rezultatów /przedsiębior… Identyfikacja z firmą oczekiwania ocena Komunikatywn ość Negocjowanie Źródło: opracowanie własne na podstawie praktyki doradczej Metody pomiaru Myśląc o metodach oceny kompetencji warto od razu zaznaczyć, że niezależnie od szczegółowych, technicznych rozwiązań zawsze mamy do czynienia z jednym z trzech podejść: 1. Samoocena – każdy z nas może samodzielnie ocenić własne kompetencje. Ludzie myśląc o własnych cechach – takich jak kompetencje – nie dokonują oceny na podstawie konkretnych zachowań lecz ogólnego obrazu własnej osoby. Obraz ten jest kształtowany przez wiele czynników takich jak przekonania, nastawienie do życia (np. pesymizm vs optymizm) czy też generalizowane doświadczenia. Audyt kompetencyjny - testy Grzegorz Filipowicz 2. Obserwacja zachowań i poziomu wykonania. Na podstawie poszczególnych obserwacji wyciągamy ogólne wnioski na temat cech obserwowanej osoby. Psycholodzy nazywają ten proces przypisywaniem cech czyli atrybucją. Szczególnie istotne w tym procesie są takie aspekty jak powtarzalność i niezmienność zachowań obserwowanej osoby. Inaczej mówiąc jeśli dana osoba zachowuje się podobnie w szeregu różnych sytuacji to zakładamy, że wynika to z jakiejś jej cechy. Różne sposoby obserwacji prowadzą do rozwoju różnych metodologii oceny. 3. Testy. Wymagają odniesienia do jakiegoś modelu, koncepcji zakładającej, że określone rozwiązanie testu jest wskaźnikiem przyswojenia danej kompetencji. Modelem tym zwykle są opisy zachowań zamieszczone w skalach obserwacyjnych co oznacza, że test powinien w jakiś sposób nawiązywać do tych zachowań. Oczywiście testy powinny być konstruowane zgodnie z zasadami psychometrii. Jeśli przypomnimy sobie pokrótce przedstawione na początku rozdziału sytuacje, szybko zapewne zgodzimy się z tezą, że niezależnie od tego, jakie kompetencje będziemy mierzyć, warto tego dokonać za pomocą różnych metod. Zanim zdecydujemy, którą z nich w danym przypadku wykorzystamy, trzeba chwilę się zastanowić. Zwykle należy rozważyć co najmniej dwie kwestie: dokładność uzyskanych danych oraz niezbędny nakład pracy. Im bardziej zależy nam na szczegółowej i pewnej ocenie kompetencji badanych osób, z tym większym nakładem pracy i finansów musimy się liczyć. Dwie pierwsze z przedstawionych sytuacji wiążą się z niezwykłą precyzją dokonywanych ocen u poszczególnych osób, zwłaszcza w pierwszej z nich pomyłka może być niezwykle kosztowna i groźna. Sytuacja 3 również wymaga precyzji, lecz niekoniecznie w odniesieniu do osób, ale do całej grupy — najważniejsze będą średnie i rozkłady wyników. W sytuacji 4 potrzebujemy narzędzia pełniącego funkcję „sita do wyławiania pereł”, a jednocześnie stosunkowo niewiele kosztującego w aspekcie zarówno nakładu pracy, jak i pieniędzy. Na szczęście możemy spełnić tak różnorodne wymagania w tych sytuacjach dzięki wykorzystaniu w różnych kombinacjach kilku podstawowych metod pomiaru kompetencji. Przedstawmy je w dużym skrócie. Audyt kompetencyjny - testy Grzegorz Filipowicz Testy kompetencyjne To zdecydowanie najpopularniejsza metoda przeprowadzania audytu kompetencyjnego często w tym przypadku określanego mianem diagnozy. Popularność tej metody ma odzwierciedlenie zarówno w ilości powstających i wykorzystywanych testów jak i w zakresie dostępnej literatury. W większości przypadków mamy jednak do czynienia z tzw. testami introspekcyjnymi. Warto przypomnieć, że ten rodzaj testów nie nadaje się do przeprowadzenia rzetelnego audytu kompetencyjnego. Testy takie mogą służyć wyłącznie jako metoda wstępnej autodiagnozy oraz sposób na lepsze zrozumienie samej kompetencji. Na uwagę zasługują natomiast testy zupełnie innej konstrukcji - tzw. testy wykonania. Osoba badana musi zwykle określać, jakiego rodzaju zachowania są optymalne w przedstawionych krótkich sytuacjach. Odpowiednio przygotowany test tego rodzaju pozwala osiągać stosunkowo rzetelne dane. Test kompetencyjny pozwala oszacować poziom badanych kompetencji zawodowych, a dokładniej, wiedzy na temat tego, jak należy się zachować w danej sytuacji zadaniowej. Prezentowane narzędzie w przeciwieństwie do kwestionariuszy osobowościowych nie opiera się na samoocenie osób badanych, a na posiadanych umiejętnościach, wiedzy i postawie wymaganych do prawidłowego rozwiązania zadań (pytań) zawartych w teście. Wady i zalety Każde narzędzie audytu kompetencyjnego – także testy – ma swoje wady i zalety. Do zalet testów możemy zaliczyć kilka czynników: 1. Są proste w użyciu. Zwykle sprowadzają się do wypełnienia kilku stron pytań bądź zadań. Niezależnie od tego czy są wykonywane w wersji papierowej czy w komputerze - zajmuje to od 30 do 90 minut. 2. Analizę najczęściej wykonują specjaliści (lub coraz częściej komputery). Strona zainteresowana otrzymuje już gotowe opracowania wyników łącznie z ich interpretacją. 3. Jeśli są dobrze przygotowane i przystosowane do systemu kompetencji funkcjonującego w firmie, to uzyskane wyniki można uznać za dość wiarygodne. Testy mają też kilka wad, o których należy pamiętać: 1. Zwykle mają ściśle określony zakres badania - od kilku do kilkudziesięciu sztywno określonych obszarów kompetencyjnych. Jeśli nasz zbiór kompetencji jest zróżnicowany to często trzeba wykorzystać dwa, trzy a czasem cztery testy. W takiej sytuacji samo badanie nie jest już ani takie krótkie ani przyjemne. 2. Budowane są w oparciu o konkretne modele teoretyczne każdej z ocenianych kompetencji. Niestety nie ma uniwersalnych modeli kompetencyjnych, przez co różne ich odmiany funkcjonujące w wielu firmach. Testy w swojej konstrukcji bazują na najbardziej zewnętrznych – widocznych wskaźnikach kompetencji, toteż może zdarzać się, że test dobrze diagnozujący kompetencje funkcjonujące w jednej firmie w innej jest kompletnie bezużyteczny mimo podobnych definicji mierzonych kompetencji. 3. Mimo znaczących postępów w dziedzinie konstrukcji testów uzyskane na ich podstawie dane nadal mają ograniczony poziom wiarygodności. Zwykle wyniki oceny kompetencji są nieco lepsze od tych, które zdobywamy przez wykorzystanie innych metod. Oznacza to po pierwsze, że testy można w pewnym stopniu oszukać. Po drugie łatwiej jest wykazać się wiedzą z obszaru kompetencji niż praktycznym ich przyswojeniem. Audyt kompetencyjny - testy Grzegorz Filipowicz Testy wykonania W praktyce znacznie lepiej jest wykorzystywać tzw. testy wykonania, pozwalające określić, jak pracownik będzie się zachowywał w określonych sytuacjach. Z reguły testy te mają formę krótkiego opisu z kilkoma możliwymi wyborami, w tym najlepszego i najgorszego w danej sytuacji zachowania. Znacznie poszerza to zakres możliwych analiz i uzyskiwanych wyników. Oto przykłady dwóch tak skonstruowanych pytań z zaznaczonymi, prawidłowymi wyborami (najlepszy wybór to kolumna „Dobrze”, a najgorszy — kolumna „Źle”). PRZYKŁAD PYTAŃ Z TESTU WYKONANIA 1. W zespole dochodzi do konfliktu na tle zawodowym, podczas dyskusji nad tym trudnym problemem. „Źle” „Dobrze” Starasz się otwarcie mówić o wszelkich wątpliwościach i potrzebach Przede wszystkim starasz się uniknąć zatargów i zachować dobrą atmosferę między dwoma stronami Przemilczasz najbardziej kłopotliwe i kontro-wersyjne kwestie — ich poruszenie przyniosłoby pewnie więcej strat niż korzyści 2. Twój współpracownik przychodzi do Ciebie z problemem dotyczącym projektu, nad którym pracuje, ale jesteś bardzo zajęty. „Źle” „Dobrze” Mówisz mu stanowczo, żeby zwrócił się z tym do kogoś innego — jako usprawiedliwienie pokazujesz mu stos dokumentów leżących na biurku Rozmawiasz z nim o jego wątpliwościach w sposób maksymalnie rzeczowy Prosisz go, aby przyszedł za pół godziny Źródło: opracowanie własne na podstawie praktyki doradczej Jak widać, testy takie nie tylko są bardziej wiarygodne, lecz także dostarczają bogatszego materiału do analizy. Nawet w prostej analizie ilościowej mamy do czynienia z większym zróżnicowaniem punktów uzyskiwanych za każde z pytań (0, jeśli badany nie trafił z żadną odpowiedzią, 1 przy jednym trafieniu i 2 przy całkowitym dopasowaniu do wzorca), co powoduje, że test staje się bardziej precyzyjny. Oczywiste jest, że diagnoza poziomu danej kompetencji nie może się opierać na jednym czy dwóch pytaniach. Analiza wykorzystywanych przez Competency Institute testów wykazuje, że optymalna liczba to 5-8 pytań na każdą z kompetencji. Czytelnicy zauważą zapewne, że daje to możliwość odniesienia pytań do poszczególnych obszarów zachowań związanych z daną kompetencją. Jest to zdecydowanie najlepsze rozwiązanie. Otrzymujemy wówczas gwarancję, że test jest spójny z innymi narzędziami oceny oraz że odpowiada znaczeniu danej kompetencji. Oznacza to również, że w przypadku badania 10 kompetencji cały test składa się z zestawu 50-80 pytań. Test kompetencyjny jest narzędziem badającym kompetencje w zakresie: wiedzy - w tym wiedzy o tym, jak należy się zachowywać (jest to jeden z podstawowych warunków nabycia umiejętności) Audyt kompetencyjny - testy Grzegorz Filipowicz postaw – mówiących o stosunku pracownika wobec wymaganych zachowań Test kompetencyjny pozwala oszacować poziom badanych kompetencji zawodowych, a dokładniej, wiedzy na temat tego, jak należy się zachować w danej sytuacji zadaniowej oraz postawy określającej gotować do praktycznego wykorzystania tej wiedzy. Zakres wykorzystania Testy kompetencyjne mają swoje zastosowanie przede wszystkim w sytuacjach, w których potrzebujemy informacji na temat kompetencji wielu osób w ograniczonym czasie, np. w przypadku selekcji kandydatów podczas rekrutacji. Wypełnienie testu, szczególnie w warunkach grupowych, nie wymaga dużego zaangażowania osób przeprowadzających badanie kompetencji. Na podstawie wyników testów szybko dysponujemy wiedzą o prezentowanym przez kandydatów poziomie kompetencji. Pozwala to nam zaprosić do dalszego etapu te osoby, które najlepiej wypełniły test oraz spełniły minimalne wymagania pod tym względem. Kolejnym obszarem zastosowania testów jest diagnoza potrzeb rozwojowych. Przebadanie testem wszystkich pracowników z danej jednostki organizacyjnej jest źródłem informacji (poprzez obliczenie odpowiednich statystyk: średnia, odchylenie standardowe itd.) na temat słabych i mocnych stron w zakresie kompetencji całego zespołu. Na tej podstawie możemy wnioskować, czy danym działaniem rozwojowym warto objąć wszystkich pracowników, czy jedynie poszczególne osoby. Testy kompetencyjne można również wykorzystywać jako narzędzie wspierające w indywidualnej ocenie pracowników. Wynik z testu jest wtedy dodatkowym źródłem informacji na temat kompetencji pracownika, – co zawsze podwyższa rzetelność oceny, a także umożliwia bardziej trafną interpretację wyników ocen z pozostałych źródeł. Wynik testu dotyczącego danej kompetencji dostarcza nam informacji, czy badana osoba wie, jak powinna się zachowywać w sytuacjach zadaniowych, wymagających konkretnej kompetencji. Natomiast oceny pracownika dokonywane przez inne osoby, które wynikają z ich obserwacji (oceny przełożonego, współpracowników, czy też podwładnych), dostarczają nam informacji, jak oceniany pracownik zachowuje się w trakcie realizacji zadań. Zestawienie wyników z obu metod umożliwia nam uzyskanie odpowiedzi m.in. na pytanie, czy oceniany pracownik nie przejawia pożądanego poziomu kompetencji, ponieważ nie wie, jakie zachowania są bardziej efektywne, czy też istnieją inne przyczyny takiej sytuacji. Ryc. Wnioskowanie na podstawie wyników testów kompetencyjnych wynik z oceny opartej na obserwacji Prawdopodobne zakłócenia w przebiegu oceny lub testu Badany wie, jak należy się zachować i wiedzę tę wykorzystuje w praktyce Zachowanie wskazuje na niski poziom kompetencji. Badany nie wie, jak należy się zachować Badany wie, jak należy się zachowywać, lecz wiedzy tej nie wykorzystuje w praktyce wyniki w teście kompetencyjnym Audyt kompetencyjny - testy Grzegorz Filipowicz Źródło: Opracowanie własne Warto w tym miejscu jednak pamiętać, że testy (także kompetencyjne) pełnią funkcję wspierającą diagnozę potencjału pracowników i informacje uzyskane na ich podstawie powinny być potwierdzane w dalszym etapie procesu oceny. Jak przeprowadzamy badanie? Test składa się z pozycji (zadań) opisujących sytuacje interpersonalne lub zadaniowe oraz trzy możliwe sposoby postępowania. Zadaniem badanego jest wskazanie, które z proponowanych działań lub postaw jest najbardziej efektywne, a które najmniej efektywne. Wyboru dokonuje poprzez zaznaczenie odpowiedzi min (opcja najgorsza) i jednej odpowiedzi max (opcja najlepsza). Pytania są tak przygotowane, że wymagają od badanego określonego poziomu badanych kompetencji, pozwalającego na zrozumienie opisywanych sytuacji oraz przewidzenie konsekwencji proponowanych rozwiązań. Ryc. Przykładowe pytanie testowe: Pytanie Twoja ocena możliwych odpowiedzi Min Pewne okoliczności zmuszają cię do pozostania w firmie, podczas gdy masz zaplanowane spotkanie z stałym klientem. Wysyłasz, więc swojego pracownika, który również zajmuje się tym klientem. W takiej sytuacji: Odpowiedzi Max Przekazujesz mu dodatkowe uprawnienia i umawiasz się na okresowe sprawozdanie. 1 Przekazujesz dodatkowe uprawnienia, ale instruujesz go, aby za każdym razem w przypadku podejmowania ważnych decyzji, konsultował się z Tobą. Instruujesz go, aby wszelkie decyzje wymagające uprawnień przekraczających jego zakres obowiązków odroczył do kolejnego spotkania, na które zjawisz się osobiście. Źródło: Opracowanie własne Osoba badana odpowiadając tak na wyżej zamieszczone pytanie (dotyczące kompetencji delegowania) sądzi, że najlepszym rozwiązaniem w sytuacji doświadczonego pracownika sprawdzającego się w realizacji dotychczasowych zadań jest zwiększenie zakresu jego samodzielności i wpływu na podejmowanie kluczowych decyzji. Za najgorsze rozwiązanie uważa natomiast brak zmian w zakresie delegowania uprawnień, taka odpowiedź świadczy o tym, że osoba wypełniającą test posiada kompetencję delegowania w określonym obszarze, na co najmniej dobrym poziomie. W zależności od profilu kompetencyjnego pytania dobierane są tak, aby test badał odpowiednie kompetencje. Prezentowane narzędzie w przeciwieństwie do kwestionariuszy osobowościowych nie opiera się na samoocenie osób badanych, a na posiadanych umiejętnościach, wiedzy i postawie wymaganych do prawidłowego rozwiązania zadań (pytań) zawartych w teście. Audyt kompetencyjny - testy Grzegorz Filipowicz Każda tworzona wersja testu zawiera zestaw pytań diagnozujących wybrane kompetencje. Tak stworzony test zostaje poddany procedurze standaryzacyjnej. Warunki wypełniania testów Test kompetencyjny można stosować zarówno grupowo jak i indywidualnie. W tym celu należy zapewnić badanym odpowiednie miejsce (pomieszczenie biurowe, sala konferencyjna itp.), w którym bez zakłóceń będą mogli wypełnić test. Testów nie można wypełniać poza miejscem rekrutacji lub oceny. Przed przystąpieniem do rozwiązywania testu powinno się zapoznać badanych z instrukcją oraz celem badania. Należy również poinformować, że osoby badane mają w zależności od wersji testu od ok. 30 do 45 minut na wypełnienie testu. Jednakże (co ważne!) po upływie tego czasu, należy pozwolić dokończyć rozwiązywanie tak, aby kandydat odpowiedział na wszystkie pytania testowe. Osobą przeprowadzającą badanie za pomocą testów kompetencyjnych może być pracownik działu personalnego, który wcześniej zapoznał się z metodologią opisywanego narzędzia Jaki jest wynik badania? Każda z kompetencji badana jest co najmniej 5 pytaniami. Za każdą odpowiedź udzieloną na pytania osoba badana może otrzymać od 0 do 3 punktów (w zależności od tego, na ile odpowiedź jest zgodna z kluczem). Za odpowiedź całkowicie zgodną z kluczem wypełniający test otrzymuje maksymalna ilość 3 punktów. Natomiast w przypadku innych kombinacji otrzymuje, w zależności od popełnionego błędu, coraz mniejszą liczbę punktów. I tak w podanym, przykładzie, jeżeli najbardziej trafną odpowiedzią jest pierwsza opcja najlepsza (max), zaś trzecia najgorsza (min), to kolejnym kombinacjom przydzielone są następujące punkty: Ryc. Przykładowa macierz odpowiedzi i przyznawanych punktów. Min max min Max 3 punkty - za odpowiedź dokładnie zgodną z kluczem, Min max 0 punktów – za odpowiedź dokładnie odwrotną niż podana w kluczu, 2 punkty – za jedną trafioną opcje zgodnie z Audyt kompetencyjny - testy min max 2 punkty – za jedną trafioną opcje zgodnie z kluczem (w tym przypadku poprawnie została zaznaczona odpowiedź max) oraz jedną nie zgodnie, ale również nie odwrotnie z kluczem, 1 punkt – za brak zgodności odpowiedzi z kluczem, jednakże nie dokładnie odwrotne niż w kluczu (jak o odpowiedź najgorsza została uznana odpowiedź średnia wg klucza), 1 punkt – za brak zgodności odpowiedzi z kluczem, Grzegorz Filipowicz Min max kluczem (w tym przypadku poprawnie została zaznaczona odpowiedź max) oraz jedną nie zgodnie, ale również nie odwrotnie z kluczem, min max jednakże nie dokładnie odwrotne niż w kluczu (jak o odpowiedź najlepsza została uznana odpowiedź średnia wg klucza). Podany przykład odnosi się jedynie do jednej z 6 kombinacji odpowiedzi – ma on jedynie przedstawić zasadę przyznawania punktów za odpowiedzi udzielone w teście. Osoba sprawdzająca testy oczywiście nie przyznaje punktów z pamięci - tę operację przeprowadza bądź program informatyczny zawierający gotowe klucze bądź przygotowany w formie elektronicznej arkusz do wpisywania odpowiedzi. Odpowiednio przygotowany program informatyczny (lub klucz w postaci arkusza np. w programie Excel) automatycznie oblicza wyniki surowe oraz wyniki przeliczone - o tym w dalszej części rozdziału. W wyniku przeprowadzonego poprawnie badania uzyskujemy: Wynik surowy - jest to suma uzyskanych punktów w zakresie badanej kompetencji; wynik mieści się w przedziale od, 0 do 15 (gdy każda kompetencja badana jest za pomocą 5 pytań) lub od, 0 do 21 (gdy każda kompetencja badana jest za pomocą 7 pytań). Wynik surowy jest przydatny w przypadku szczegółowego porównywania osoby badanej z innymi kandydatami (pracownikami) oraz w przypadku analiz, w których interesuje nas zależność uzyskanego w teście kompetencji wyniku z innymi zmiennymi (np. stażem pracy, efektywnością sprzedaży itp.). Wynik surowy natomiast nie informuje nas bezpośrednio o poziomie, jaki prezentuje osoba badana w zakresie konkretnej kompetencji na pięciostopniowej skali. Wynik przeliczony - jest to wynik na skali od 1 do 5 (odpowiadającej 5-cio stopniowej skali rozwoju kompetencji) przeliczony w oparciu o normy opracowane na uśrednionych wynikach przetestowanej w badaniach pilotażowych reprezentatywnej grupy pracowników. Jak interpretować uzyskany wynik? Wynik (wynik przeliczony) uzyskany w teście wskazuje (z określonym prawdopodobieństwem), że w sytuacji zadaniowej osoba badana zachowa się w sposób opisany dla danego poziomu rozwoju kompetencji. Jeżeli osoba badana uzyskała wysoki wynik (np. 4), to prawdopodobnie, gdy będzie w sytuacji wymagającej wykorzystania badanej kompetencji, to bardzo dobrze z sytuacją taką sobie poradzi. Prawdopodobieństwo to uzależnione jest od trafności i rzetelności wykorzystywanego narzędzia. Interpretacji wyniku testu dokonujemy w oparciu o skale rozwoju kompetencji zawierającą opisy konkretnych zachowań. Wynik w teście pozwala nam przewidzieć, że osoba badana będzie przejawiać zachowania (opisywane w skali kompetencyjnej) charakterystyczne dla danego poziomu. Interpretując wyniki testów, należy przede wszystkim pamiętać, że test mierzy wiedzę na temat tego jak zachować się w sytuacjach zawodowych wymagających konkretnych kompetencji. Nic mówi nam jednak, czy badana osoba faktycznie tak się zachowuje. Na wykorzystywanie badanej testem kompetencyjnym wiedzy może wpływać wiele czynników, takich jak motywacja, warunki pracy, wymagania proceduralne w całej firmie lub na zajmowanym stanowisku. Tak, więc nic dysponując Audyt kompetencyjny - testy Grzegorz Filipowicz dodatkowymi informacjami na temat skuteczności podejmowanych przez osobę wypełniającą test działań podczas realizacji zadań, możemy jedynie wnioskować o jej wiedzy w tym zakresie. Wspominaliśmy już, że wyniki przeliczone uzyskuje się na podstawie norm. Odniesienie wyniku uzyskanego w teście do norm to nic innego jak porównanie uzyskanego przez osobę badaną wyniku z notami uzyskanymi przez inne osoby reprezentujące określoną grupę. Normy opracowujemy na podstawie badań odpowiedniej liczby osób należących do grupy, w jakiej docelowo chcemy stosować test (np. grupie pracowników). Każda wersja testu (różniąca się ilością i kolejnością pytań, zakresem badanych kompetencji itd.) powinna mieć opracowane własne normy. Natomiast interpretacja wyników testów dla poszczególnych kompetencji z wykorzystaniem gotowych norm wymaga uwzględnienia faktu, iż zostały one opracowywane na pracownikach z różnych organizacji i reprezentujących różne stanowiska. Ryc. Obliczanie wyników testu Przykład Osoba A i B zajmujące kierownicze stanowiska wypełniały test badający 3 kompetencje menedżerskie (delegowanie, motywowanie innych oraz odwaga kierownicza). Badane osoby uzyskały następujące wyniki (w przypadku każdej badanej kompetencji maksymalny wynik wynosi 15 pkt.): Wynik surowy osoby A Wynik surowy osoby B Delegowanie 10 11 Motywowaie innych 12 9 Odwaga kierownicza 9 12 Testowana kompetencja Dla tego testu zostały obliczone następujące normy: Skala testu (kompetencja) Wyniki surowe odpowiadające miejscu na 5 - stopniowej skali A1 B2 C3 D4 E5 Delegowanie 0–7 8 - 10 11 - 12 13 - 14 15 Motywowaie innych 0–8 9 - 10 11 - 12 13 - 14 15 Odwaga kierownicza 0–6 7-9 10 -11 12 - 14 15 W oparciu o opracowane normy dla wykorzystanego testy przeliczamy wyniki surowe uzyskane przez osoby badane: Wynik przeliczony osoby A Wynik przeliczony osoby B Delegowanie B2 C3 Motywowanie innych C3 B2 Odwaga kierownicza B2 D4 Testowana kompetencja Źródło: Opracowanie własne Audyt kompetencyjny - testy Grzegorz Filipowicz Oprogramowanie Niezależnie od tego, czy sami zbudowaliśmy test kompetencyjny, czy korzystamy z gotowego narzędzia, warto pomyśleć o wykorzystaniu jego komputerowej wersji. Wiąże się to z kilkoma poważnymi zaletami: 1. Łatwość generowania testów dla dowolnych zestawów kompetencji. 2. Testy w wersji elektronicznej są łatwiejsze w dystrybucji arkuszy i zbieraniu wyników. 3. Prostsze jest obliczenie wyników - podstawowe dane obliczeniowe są uzyskiwane automatycznie. Dodatkowo w wielu przypadkach uzyskane dane można przenosić do zaawansowanych programów statystycznych, które umożliwiają tworzenie wszelkiego rodzaju zestawień oraz bardziej złożoną analizę. Nawet w przypadku, gdy przeprowadzamy badanie tradycyjną wersją testów („papier - ołówek”) zdecydowanie łatwiejsze jest wprowadzenie odpowiedzi do programu i uzyskanie przeliczonych już wyników. Program informatyczny obsługujący testy pozwala również na przechowywanie wyników pojedynczych badań. Poza oczywistą korzyścią płynącą z tego faktu, w dalszej perspektywie mamy możliwość zbudowania bazy wyników, które posłużą jako uaktualnione normy. Interpretacja wyników Interpretując wyniki testów, należy przede wszystkim pamiętać, że test mierzy wiedzę na temat tego, jak zachować się w sytuacjach zawodowych wymagających konkretnych kompetencji. Nie mówi nam jednak, czy badana osoba faktycznie tak się zachowuje. Na wykorzystywanie badanej testem kompetencyjnym wiedzy może wpływać wiele czynników, takich jak motywacja, warunki pracy, wymagania proceduralne w całej firmie lub na zajmowanym stanowisku. Tak, więc nie dysponując dodatkowymi informacjami na temat skuteczności podejmowanych przez osobę wypełniającą test działań podczas realizacji zadań, możemy jedynie wnioskować o jej wiedzy w tym zakresie. Wynik testu każdej kompetencji interpretujemy w oparciu o skalę kompetencyjną. Narzędzia te zawierają opisy zachowań na każdym z pięciu poziomów przyswojenia kompetencji. Przeliczony wynik na skalę od 1 do 5 pozwala nam wnioskować, że badany prezentuje odpowiadający wynikowi poziom danej kompetencji. I tak osoba uzyskująca w teście na kompetencję delegowanie wynik przeliczony 2 lub 2,5 charakteryzuje się następującym opisem: „Deleguje pracownikom zadania, jednak trudniejsze woli wykonywać osobiście. Na ogół jasno formułuje cel zdania, nie zawsze jednak precyzyjnie określa rezultaty. Zna kompetencje swoich pracowników, jednak nie zawsze wie, komu przydzielić określone zadanie. Nie zawsze też przekazuje pracownikom niezbędne informacje na temat krytycznych wskaźników sukcesu. Czasami nie przekazuje uprawnień pozwalających na skuteczną realizację zadań.” Osoba wypełniająca test zdaje sobie sprawę z pozytywnych aspektów delegowania zadań, jednak ważniejsze i bardziej złożone woli wykonywać osobiście. Raczej zna kompetencje swoich pracowników, jednak nie zawsze wie, komu delegować konkretne zadania. Badany może mieć tendencję do nadmiernej ostrożności w przekazywaniu podwładnym większego zakresu samodzielności i odpowiedzialności. Stara się przekazywać swoim pracownikom informacje na temat delegowanych zadań, jednak może zdarzyć się, że pracownicy będą niedoinformowani. Badany również może czasami nie przekazywać wystarczającego zakresu uprawnień pozwalającego na realizacje wyznaczonych pracownikom zadań. Audyt kompetencyjny - testy Grzegorz Filipowicz Uwagi praktyczne! Na rynku polskim coraz więcej jest atrakcyjnie wyglądających kwestionariuszowych narzędzi przedstawianych jako technika pomiaru kompetencji. Tak czy inaczej zachęcamy do dużej uważności przy ich wykorzystaniu. Po pierwsze - sprawdźmy, dla jakich kompetencji zostały one skonstruowane. Jeśli ktoś twierdzi, że dane narzędzie "mierzy" wszystkie kompetencje menedżerskie lub handlowe to z pewnością mówi bzdury. Pamiętajmy, że interesują nas precyzyjne narzędzia badające właśnie te kompetencje, które są dla nas ważne ze względu na stworzone wcześniej opisy stanowisk. Często zdarza się też, że mamy do czynienia z typowymi testami osobowościowymi lub motywacyjnymi. Używanie takich narzędzi to nie tylko błąd w sztuce, lecz także zwykłe nadużycie. Łatwo jest stwierdzić, że potrzeba osiągnięć to też kompetencja, gorzej, jeśli próbujemy z tego wywnioskować na ile dana osoba potrafi np. motywować innych. Mimo, że racjonalnie da się połączyć te dwa obszary, ich związek jest - delikatnie mówiąc - bardzo wątpliwy. Po drugie - dowiedzmy się jak autorzy definiują poszczególne kompetencje. Jak wiemy za podobną nazwą mogą się kryć zupełnie różne znaczenia. Zdarza się również, że za pewnymi określeniami nie kryje się nic. Spotkaliśmy się z przypadkiem, gdy głównym wnioskiem z przeprowadzonego audytu kadry menedżerskiej było wskazanie pięciu kompetencji, które trzeba rozwijać (m.in. komunikatywność, nastawienie na zmiany oraz przywództwo). Firma chcąc przygotować działania rozwojowe - za naszą namową - poprosiła o rozwinięcie opisu tych kompetencji. Odpowiedź brzmiała: "Kompetencje te należy przyjąć w ich szerokim znaczeniu przyjętym w literaturze fachowej". Po trzecie - zbadajmy, czy narzędzia te zostały zaadoptowane do warunków firmy. Większość z nich została zbudowana gdzieś tam i nie uwzględnia naszych uwarunkowań ani biznesowych ani kulturowych. Stosując testy należy pamiętać także o trzech podstawowych ograniczeniach: 1. Każda wersja testu ma ściśle określony zakres badania - od kilku do kilkudziesięciu sztywno określonych obszarów kompetencyjnych. Jeśli nasz zbiór kompetencji jest zróżnicowany, to często trzeba wykorzystać więcej niż jeden test. W takiej sytuacji samo badanie przedłuża się w czasie oraz narażone jest na zniekształcenie poprzez zmęczenie osoby biorącej w nim udział (ta ostatnia uwaga odnosi się również do wersji testów badających więcej niż 10 kompetencji). 2. Uzyskane na podstawie wyników testów dane obarczone są pewnym błędem pomiaru. Na błąd ten mogą wpływać różnice indywidualne w zakresie poziomu inteligencji czy też umiejętności rozwiązywania testów. Oznacza to, że wysoki wynik w teście nie do końca musi stanowić o wysokim poziomie danej kompetencji, może być również spowodowany zdolnością abstrakcyjnego myślenia. Ponadto łatwiej jest wykazać się wiedzą z obszaru kompetencji niż praktycznym ich przyswojeniem. 3. Coraz większe rozpowszechnienie metod testowych w różnych obszarach funkcjonowania człowieka (np. edukacja, rekrutacja, praca) sprawia, że osoby mające większe doświadczenie w tym zakresie łatwiej rozwiązują kolejne testy. Istnieje również możliwość, że osoby, które testujemy, wcześniej były badane danym narzędziem. W tej sytuacji na wyniki testów może mieć wpływ proces uczenia się. Audyt kompetencyjny - testy
