Profil Wartości Hartmana - Success Insights Polska

KOMPENDIUM BADAŃ NAD TRAFNOŚCIĄ
Dr. Robert Kinsel Smith
Profil Wartości Hartmana
To kompendium jest podsumowaniem dwudziestu badań przeprowadzonych na
grupach respondentów, którzy wypełnili kwestionariusz Profilu Wartości Hartmana.
Stworzenie tego kompendium było możliwe dzięki niezliczonym godzinom pracy
i oddaniu badaczy oraz współpracy ich pracowników. Kompendium ma służyć jako
ogólne wprowadzenie i przewodnik po badaniach potwierdzających trafność i rzetelność
Profilu Wartości Hartmana. Pełne wersje tych raportów są dostępne na wniosek albo od
poszczególnych autorów albo od Kinsel Enterprises, Inc.
To kompendium podsumowuje badania dotyczące szesnastu różnych aspektów
Profilu Wartości Hartmana. Badania te wyraźnie i obiektywnie udowadniają, że Profil
Wartości Hartmana to rzetelne i trafne narzędzie, użyteczne w biznesie, psychologii
i rozwoju personalnym.
Copyright 1998, by Kinsel Enterprises, Inc. Wszystkie prawa zastrzeżone. Żadna z
części tego kompendium nie może być użyta w żaden sposób bez pisemnej zgody
autora.
2
PROFIL WARTOŚCI HARTMANA
Profil Wartości Hartmana został stworzony przez doktora Roberta S. Hartmana
i jest własnością Instytutu Roberta S. Hartmana, Uniwersytet Tennessee. To badania
wykorzystujące papier i ołówek (firma InnerMetrix, Inc. opracowała program
komputerowy w celu zautomatyzowania oryginalnego narzędzia wykorzystującego papier
i ołówek) polega na uszeregowaniu przez respondenta osiemnastu różnych stwierdzeń
w dwóch oddzielnych listach. Ten wymuszony ranking wymaga, żeby respondent ocenił
każde stwierdzenie i porównał je do wszystkich pozostałych fraz. Rankingi respondenta
pokazują różne kompetencje i tendencje w ocenianiu. Profil Wartości Hartmana opiera się
na nauce formalnej aksjologii. Teoria doktora Hartmana w zakresie formalnej aksjologii
jest dokładnie opisana w jego książce The Structure of Value: Foundations of Scientific
Axiology (Southern Illinois University Press, 1967).
Aksjologia to formalny system identyfikowania i mierzenia wartości. Profil
Wartości Hartmana jest jednym ze sposób pozwalających zmierzyć indywidualne
skłonności i umiejętności wartościowania. Ta osobista struktura wartości (mapa drogowa
i system filtrowania, który dana osoba wykorzystuje do myślenia, oceniania
i podejmowania decyzji) determinuje osobowość, indywidualne postrzeganie i decyzje.
Mówiąc prościej, personalna struktura wartości to sposób, w jaki dana osoba myśli.
Możliwość prostego i obiektywnego zmierzenia indywidualnej struktury wartości
ma znaczące konsekwencje dla zdrowia psychicznego i biznesu. Profil Wartości Hartmana
eliminuje w dużym stopniu potrzebę przeprowadzania żmudnych i kosztownych badań
psychologicznych dla celów klinicznych i biznesowych. Dostarcza prostego w użyciu,
obiektywnego, dedukcyjnego narzędzia, które może być (i jest) wykorzystywane
w doradztwie, szkoleniach i rozwoju. Biznes wykorzystuje Profil Wartości Hartmana przy
selekcji kandydatów, projektowaniu szkolenia i mierzeniu skuteczności szkoleń
i programów rozwoju (mierzenie wzrostu, zmiany i poprawionych umiejętności przed
i po).
Najbardziej wyczerpującą książką w zakresie formalnej aksjologii doktora
Hartmana i wykorzystania aksjologii jest książka doktora Rema B. Edwardsa i Johna
W. Davisa Forms of Values and Valuation (University Press of America, 1991).
3
TRAFNOŚĆ
Weryfikacja testów to złożona dyscyplina badająca precyzyjność, niezawodność
i spójność narzędzia z teoriami naukowymi je wspierającymi. Weryfikacja mierzy jak
wiernie wyniki badania odzwierciedlają mierzalne zachowania lub cechy. Wyznacza
również rzetelność narzędzia, gwarantując, że natura narzędzie nie wpływa znacząco na
wyniki. Proces weryfikacji narzędzia jest podzielony – każdy proces mierzy inne aspekty
narzędzia.
Ten raport jest kompilacją podsumowań dwudziestu badań weryfikujących Profil
Wartości Hartmana. Te podsumowania jasno wskazują na realne, powtarzalne,
obiektywne i godne zaufania wyniki Profilu Wartości Hartmana. Wskazują również, że
Profil Wartości Hartmana spełnia wymagania EEOC. (Komisja ds. Równych Szans
w Zatrudnieniu). Wszystkie badania opisane w tym raporcie są zgodne z wytycznymi
Amerykańskiego Stowarzyszenia Psychologicznego w zakresie analizy narzędzi
psychometrycznych i spełniają standardy branżowe w zakresie analiz statystycznych.
WYMAGANIA EEOC
Komisja ds. Równych Szans w Zatrudnieniu (EEOC.) ustaliła, że wszystkie
narzędzia psychometryczne, testy psychologiczne, testy osobowości i wszystkie inne
procedury ewaluacji używane w branży muszą być zgodne z Uniwersalnymi
Wytycznymi w zakresie procedur zatrudniania (1978).
„Polityki i praktyki pracodawcy, którzy w niekorzystny sposób wpływają na
możliwości zatrudnienia w kontekście wieku, rasy, płci czy przynależności do grupy
etnicznej są nielegalne….
Decyzje pracodawcy obejmują, ale nie są ograniczone do zatrudniania,
awansowania, degradacji, skierowania, licencjonowania i certyfikacji.”
[Federal Registry, Vol. 43, No. 166, 8/25/78]
Konkluzja z tych badań jest taka, że Profil Wartości Hartmana spełnia
wymagania EEOC. i nie dyskryminuje nikogo ze względu na różne pochodzenie
rasowe, płeć czy wiek.
4
DYSKRYMINACJA ZE WZGLĘDU NA WIEK
Dokument w zakresie dyskryminacji ze względu na wiek (The Age
Discrimination in Employment Act) z 1967 roku stwierdza, że pracodawcy nie mogą
dyskryminować pracowników i kandydatów powyżej 40 roku życia w zakresie
zatrudnienia i awansowania. Żeby test był legalny, nie może reprezentować żadnych
statystycznych rozróżnień pomiędzy osobami powyżej 40 roku życia i poniżej 40 roku
życia.
Wiek: Przypadek A
To badanie zostało przeprowadzone przez Value, Inc. (W. Carpenter i Edward
Martin). Dwie oddzielne próby liczące po 200 osób zostały wyselekcjonowane z ponad 6 000
osób w przypadkowy sposób. Grupy reprezentowały dorosłych poniżej 30 roku życia
i dorosłych powyżej 40 roku życia. Wykorzystano T-test dla danych parametrycznych dwóch
prób do zmierzenia znaczenia statystycznego.
Profil Wartości Hartmana wygenerował 54 różnych wyników dla każdego uczestnika.
Wartość T-testu musiałaby przewyższyć 1.282, żeby wykazać istnienie dyskryminacji ze
względu na wiek (p>.2). Dla wszystkich 54 elementów p<.01, udowadniając tym samym, że
Profil Wartości Hartmana nie dyskryminuje żadnych osób w danej grupie wiekowej lub grup
wiekowych.
Wiek: Przypadek B
To badanie zostało przeprowadzone przez The Institute for the Study of Human
Values (doktor Charles McDonald, Wayne Carpenter, Edward Martin, William Panak
i Gary McDonald), sfinansowano je z grantu the Dollar General Corporation (1987).
Losowa próba objęła 1075 osób, które były albo zatrudnione albo poszukiwały
pracy w dużej korporacji. Uczestnicy w wieku od poniżej 18 lat do powyżej 70 lat zostali
podzieleni na grupy <30 (421 osób), 30-39 (298 osób), 40-49 (200 osób) i >49 (156 osób).
Analizy rezultatów zostały przeanalizowane zarówno w kontekście indywidualnego
wieku, jak i grup wiekowych.
Wykorzystano hipotezę zerową; “średnia dla osób w różnym wieku w tych
elementach normatywnych nie będzie statystycznie znacząco się różniła kiedy zastosuje
się Profil Wartości Hartmana.”
Wyniki udowodniły, że Profil Wartości Hartmana nie dyskryminuje ludzi
w różnym wieku, ten wniosek dotyczy analizy pojedynczych osób w różnym wieku i grupy
wiekowej. Wszystkie wyniki nie różniły się znacząco - .0395>p<.0005.
5
DYSKRYMINACJA ZE WZGLĘDU NA PŁEĆ
Rozdział VII Ustawy o prawach obywatelskich (Civil Rights Act) z 1964 roku
zastrzega, że pracodawca nie może dyskryminować w zatrudnianiu, promowaniu lub
w kontekście warunków zatrudnienia ze względu na płeć danej osoby.
Płeć: Przypadek A
Ten test został przeprowadzony przez Value Inc. (Wayne Carpenter i Edward
Martin) w 1987 roku.
Stworzono dwie oddzielne próby losowe składające się z 200 osób wybrane
w sposób przypadkowy z grupy ponad 6 000 osób. Jedna grupa składała się wyłącznie
z mężczyzn, druga z kobiet. Wykorzystano T-test dla danych parametrycznych dwóch
prób do zmierzenia znaczenia statystycznego.
Zmierzono i porównano pięćdziesiąt cztery wyniki dla profilu każdego
uczestnika. Okazało się, że wszystkie 54 wyników osiągnęło p<.01 przy użyciu T-testu.
Wniosek jest następujący: „zgodnie z regulacjami EEOC, H0 (hipoteza zerowa) mówi,
że średnia dla kobiet i mężczyzn w tych elementach normatywnych nie będzie
statystycznie znacząco się różniła kiedy zastosuje się Profil Wartości Hartmana.”
Badanie potwierdza, że Profil Wartości Hartmana nie dyskryminuje kobiet
ani mężczyzn.
Płeć: Przypadek B
To badanie zostało przeprowadzone przez The Institute for the Study of Human
Value (doktor Charles McDonald, Waygne Carpenter, Edward Martin, William Panak
i Gary McDonald), sfinansowane z grantu the Dollar General Corporation w 1987 roku.
Próba losowa objęła 1 075 osób, które były zatrudnione lub poszukiwały pracy
w dużej korporacji. W badaniu wzięło udział 92 mężczyzn i 983 kobiety. Analiza
wyników została przeprowadzona w oparciu o F ratio między grupami i E ta², który
mierzy proporcje wariancji w zmiennych, które mogą zostać wyjaśnione przy
wykorzystaniu wiedzy o wartościach niezależnych zmiennych.
Wykorzystano następującą hipotezę zerową: “średnia dla kobiet i mężczyzn w tych
elementach normatywnych nie będzie statystycznie znacząco się różniła kiedy zastosuje się
Profil Wartości Hartmana.”
Wyniki udowadniają, że Profil Wartości Hartmana nie dyskryminuje
osób różnej płci. Z 36 przebadanych elementów, 29 nie miało żadnej istotności
statystycznej, pozostałe 7, w przypadku których wyniki dla mężczyzn i kobiet
znacznie się różniły, E ta² wskazał, że mniej niż 1% różnic wynikało z płci (ze
statystycznie istotnymi wartościami p od <.0490 do <.0086.
6
DISCRYMINACJA ZE WZGLĘDU NA RASĘ
Rozdział VII Ustawy o prawach obywatelskich (Civil Rights Act) z 1964 roku
określa, że pracodawca nie może może dyskryminować w zatrudnianiu, promowaniu
lub w kontekście warunków zatrudnienia ze względu na rasę danej osoby.
Rasa: Przypadek A
Ten test został przeprowadzony przez Value Inc. (Wayne Carpenter i Edward Martin)
w 1987 roku.
Z grupy ponad 6 000 osób wyselekcjonowano w przypadkowy sposób dwie próby
losowe po 200 uczestników każda. Grupy reprezentowały dorosłych rasy białej
i Afroamerykanów. Wykorzystano T-test dla danych parametrycznych dwóch prób do
zmierzenia znaczenia statystycznego.
Zmierzono i porównano pięćdziesiąt cztery wyniki dla profilu każdego uczestnika.
Okazało się, że wszystkie 54 wyników osiągnęło p<.01 przy użyciu T-testu.
Ten statystycznie istotny wynik udowadnia, że Profil Wartości Hartmana nie
dyskryminuje żadnej z ras.
Rasa: Przypadek B
To badanie zostało przeprowadzone przez The Institute for the Study of Human
Value (doktor Charles McDonald, Waygne Carpenter, Edward Martin, William Panak i Gary
McDonald), sfinansowane z grantu the Dollar General Corporation w 1987 roku.
Próba losowa objęła 1 075 osób, które były zatrudnione lub szukały pracy w dużej
korporacji. Próba reprezentowała pięć grup rasowych: Azjatów, Afroamerykanów,
amerykańskich Indian, Latynosów i rasę białą. Analiza wyników została przeprowadzona
w oparciu o F ratio między grupami i E ta², który mierzy proporcje wariancji w zmiennych,
które mogą zostać wyjaśnione przy wykorzystaniu wiedzy o wartościach niezależnych
zmiennych.
Przyjęto hipotezę zerową mówiącą, że „średnia dla respondentów różnego
pochodzenia rasowego w tych elementach normatywnych nie będzie statystycznie
znacząco się różniła kiedy zastosuje się Profil Wartości Hartmana.”
Wyniki udowadniają, że Profil Wartości Hartmana nie dyskryminuje osób
różnej płci. Z 36 przebadanych elementów, 31 nie miało żadnej istotności statystycznej,
pozostałe 5, w przypadku których wyniki znacznie się różniły, E ta² wskazał, że mniej niż
1% różnic wynikało z przynależności do danej rasy (ze statystycznie istotnymi wartościami p
od <.0144 do <.0001.)
7
TRAFNOŚĆ FASADOWA
Trafność fasadowa mierzy na ile struktura i treść każdego stwierdzenia w Profilu
Wartości Hartmana jest spójna z naukową teorią aksjologiczną. W przeciwieństwie do
pozostałych badań trafności, to badanie skupia się raczej na tym czy dane stwierdzenie
precyzyjnie wyraża wartości zdefiniowane przez doktora Roberta S. Hartmana w nauce
formalnej aksjologii.
Badanie zostało przeprowadzone przez The Institute for the Study of Human
Value (doktor Charles McDonald, Wayne Carpenter, Edward Martin, William Panak,
Gary McDonald) i sfinansowane z grantu the Dollar General Corporation w 1987 roku.
Procedura badania polegała na tym, że każde stwierdzenie było oceniane przez
aksjologa wedle następujących kryteriów:
1.
2.
3.
4.
5.
6.
koncepcja
wymiar wartości
ocena
czy koncepcja jest prawidłowa
czy wymiar wartości jest prawidłowy
czy ocena jest prawidłowa
Po przeprowadzeniu tych analiz dla każdego z 36 stwierdzeń, zespół zbadał
analizę doktora Hartmana w zakresie tych samych stwierdzeń, żeby znaleźć
potwierdzenie. W każdym przypadku, analiza zespołu badawczego doszła do wniosku,
że każde stwierdzenie jest precyzyjnym wyrażeniem wartości i oceny dla każdej
ze zamierzonych kombinacji. Badacze doszli również do wniosku, że w każdym
przypadku ich konkluzje były zbieżne z wnioskami doktora Hartmana.
Ta niezależna analiza razem ze zbieżnymi z doktorem Hartmanem wnioskami
pozwala ufać, że struktura i treść każdego ze stwierdzeń w Profilu Wartości Hartmana
jest aksjologicznie uzasadniona.
8
R ZETELNOŚĆ
Rzetelność mierzy czy rezultaty lub ocena wywodząca się z narzędzia są wynikiem
przypadku. Kiedy narzędzie zostaje uznane za rzetelne, może być użyte wiele razy,
w różnym kontekście z dużą dozą pewności, że zmieniające się warunki nie wpływają na
wyniki badania w istotny sposób. Rzetelność jest zazwyczaj potwierdzana przy
wykorzystaniu procedury test/retest z 10-dniową przerwą. Im dłuższa przerwa, tym
bardziej rzetelne narzędzie.
Rzetelność: Przypadek A
To badanie zostało przeprowadzone przez następujące osoby: doktor John Davis,
doktor Glenn Graber i doktor Leon Pomeroy.
Zbadano grupę 86 studentów Uniwersytetu Tennessee za pomocą Profilu
Wartości Hartmana. Dziesięć tygodni później przeprowadzono to samo badanie na tej
samej grupie. Ocena rzetelności Profilu Wartości Hartmana była tym bardziej
rygorystyczna, że w ciągu tych dziesięciu tygodni przerwy respondenci wzięli udział
w kursie medycznej etyki.
Wyniki badania potwierdziły rzetelność i stabilność Profilu Wartości
Hartmana. Wszystkie czterdzieści mierzonych wymiarów statystycznie były takie same
pomiędzy pierwszym a drugim badaniem. „Rzetelność Profilu Wartości Hartmana była
szczególnie godna zauważenia w bardziej złożonych wymiarach: iloraz wartości, iloraz
bilansu, niezależne wskaźniki, wyniki integracji i zróżnicowania.” Wszystkie te bardziej
złożone wymiary zanotowały wskaźnik zaufania powyżej 99% z p<.01.
Rzetelność: Przypadek B
Ten test został przeprowadzony przez Value Inc. (Wayne Carpenter i Edward
Martin) w 1987 roku.
Próba obejmująca 200 dorosłych została wybrana spośród osób, które albo
pracowały albo starały się o pracę w the Dollar General Corporation. Uczestnicy
badania poddali się testowi z użyciem Profilu Wartości Hartmana w czasie trzech lat.
Ten długi okres czasu dla procedury test/retest potwierdza nadrzędną stabilność. Firma
Value, Inc. przeprowadziła dwie analizy rezultatów:
1. Surowe wyniki
2. Wyniki po ewaluacji za pomocą skali Hartmana
Wyniki obu analiz potwierdziły bardzo wysoki poziom zaufania: p<.001. Wyniki
po ewaluacji zostały poddane analizie za pomocą współczynnika korelacji rang
Spearmana. W tym badaniu współczynnik korelacji na poziomie >.549 wystarczyłby,
żeby zagwarantować p<.001. Ostateczny współczynnik korelacji rang osiągnął poziom
.947, wskazując „wyjątkowo wysoki poziom znaczenia i zaufania wobec rzetelności
narzędzia, które jest znacznie bardziej istotne niż to zapewniane przez p<.001.”
9
TRAFNOŚĆ KONSTRUKCJI
Trafność konstrukcji mierzy to, czy narzędzie zarówno w formie, jak i wynikach jest
spójne z teorią stojącą za tym narzędziem. W tym przypadku celem badania będzie
sprawdzenie czy wartości przypisane stwierdzeniom w Profilu Wartości Hartmana (które
według Hartmana mają stały, uniwersalny porządek wartości) potwierdza koncepcje
doktora Hartmana.
To badanie zostało przeprowadzone przez The Institute for the Study of Human
Value (doktor Charles McDonald, Wayne Carpenter, Edward Martin, William Panak
i Gary McDonald) i sfinansowane z grantu the Dollar General Corporation w 1987 roku.
Próba losowa objęła 6 354 osób. Analiza dotyczyła profile jako całości, elementów
kompozycyjnych (18), transpozycyjnych (18) i każdego elementu osobno. Hipoteza zerowa
mówiła, że „ranking wszystkich elementów będzie przypadkowy, że układ elementów
kompozycyjnych i transpozycyjnych będzie przypadkowy i że ranga normatywna i średnia
otrzymanych wyników dla każdego z elementów będzie równa zero.”
Rezultaty testu jako całości, przy użyciu testu ANOVA Friedmana, testu Page’a
i współczynnika zgodności Kendalla w 99% potwierdziły, że rankingi były zgodne
z teoretycznym porządkiem wartości. Współczynnik korelacji rang Spearmana dostarczył
statystycznie istotnego wskazania, że korelacje istnieją pomiędzy porządkiem rang modelu
i uzyskanym porządkiem.
“Uzyskane wyniki potwierdzają tezę, że Profil Wartości Hartmana dostarcza
trafnych opisów i wyjaśnia strukturę i dynamikę ludzkich wartości i oceny tych
wartości.”
10
ZGODNOŚĆ JEDNOCZESNYCH WSKAZAŃ
Zgodność jednoczesnych wskazań sprawdza czy dany instrument wykazuje
znaczące korelacje z innymi pomiarami. Ta weryfikacja stanowi alternatywny sposób
weryfikacji narzędzia poprzez zastosowanie metody piggy backing w weryfikacji narzędzia
psychometrycznego wcześniej poddanego benchmarkingowi.
To badanie zostało przeprowadzone przez doktora Leona Pomeroya i doktora Johna
Davisa w 1982 roku.
Badanie wykorzystało sześć różnych instrumentów psychologicznych jako narzędzi
pomiaru, żeby ustalić równoczesną weryfikację. Wśród narzędzi znalazły się MMPI, Cattell
16PF, CAQ, Ellis’s Personal Belief Inventory, Cornell Medical Index oraz Auto Lethality
Index. To badanie zostało przeprowadzone w dwóch fazach w ciągu ponad roku. Pierwsze
badanie objęło 68 dorosłych respondentów i polegało na porównaniu Profilu Wartości
Hartmana z MMPI, ALI, CMI i PBI. Druga faza badania objęła 72 dorosłych respondentów
i porównała Profil Wartości Hartmana do 16PF i CAQ.
Wyniki tego dwustopniowego badania są bardzo kompleksowe i mogą być
podsumowane następująco:
Część I: Profil Wartości Hartmana wykazał korelację o dużym znaczeniu
(.05>p<.0001) w trzydziestu sześciu różnych wymiarach z MMPI, CMI, ALI i PBI.
Część 2: Profil Wartości Hartmana wykazał korelację o dużym znaczeniu
(<.05p<.0001) w trzydziestu dwóch wymiarach z 16 PF i CAQ.
Doktor Pomeroy podsumował: “Te dane jasno pokazują zgodność jednoczesnych
wskazań Profilu Wartości Hartmana…potwierdzają też, że Profil Wartości Hartmana
umożliwia trafny pomiar różnego rodzaju stresujących stanów, które mogą generować
problemy w życiu.”
11
WERYFIKACJA KONSTRUKCYJNA I RÓWNOCZESNA
Weryfikacja konstrukcyjna i równoczesna decyduje zarówno o indywidualnej, jak
i komparatywnej trafności narzędzia. Profil Wartości Hartmana jest aksjologiczny z natury
i dlatego ma bardziej praktyczne i użyteczne zastosowanie niż narzędzia psychologiczne,
żeby stwierdzić jego aksjologiczną trafność konieczna jest jego weryfikacja w porównaniu ze
standardami narzędzi aksjologicznych.
To badanie zostało przeprowadzone przez dr. Johna Austina i dr. Barbarę Gardwood
w 1976 roku.
W badaniu wykorzystano trzy różne narzędzia w zakresie wartości jako punkty
odniesienia dla przeprowadzenia weryfikacji równoczesnej. Te narzędzia to Skala Wartości
Rokeacha (RVS), Badanie Wartości Allport-Lindzey (AVL) oraz Teoria rozwoju moralnego
Kohlberga (KMD). Grupa składała się z 65 studentów, średnia wieku wyniosła 23,5 roku.
Wyniki zostały uzyskanie przy wykorzystaniu nieparametrycznego testu średniej
znaczenia różnic między liczbą osób w dwóch podgrupach, które uzyskały wyniki powyżej
i poniżej średniej. Badanie wykazało, że oczekiwane i otrzymane rankingi średniej były
znaczące z korelacją na poziomie .95. Dla elementów kompozycyjnych vs.
transpozycyjnych zaufanie jest znaczące przy p<.001. Badanie poszczególnych elementów
wskazało, że nie ma znaczących różnic pomiędzy pojedynczymi elementami (p=.911)
Wyniki tego badania udowadniają, że Profil Wartości Hartmana mierzy to, co
twierdzi, że mierzy i że jest trafnym aksjologicznym narzędziem.
Dr. Austin i dr. Gardwood prezentowali to badania i jego wyniki na Narodowym
Konwencie Stowarzyszenia Szkolnych Psychologów w marcu 1977 roku.
12
BIZNESOWA KONIECZNOŚĆ
EEOC wymaga, żeby każde narzędzie wykorzystane w selekcji kandydatów było
„biznesową koniecznością” (business necessity):
Narzędzie mierzy te cechy i/lub umiejętności, które bezpośrednio wiążą się
z wymaganiami danego stanowiska pracy.
Jeżeli narzędzie charakteryzuje się trafnością prognostyczną lub kryterialną, spełnia
wymóg biznesowej konieczności.
TRAFNOŚĆ PROGNOSTYCZNA
Trafność prognostyczna określa precyzyjność narzędzia i jego użyteczność
w przewidywaniu czy dana osoba odniesie sukces przed tym jak ta osoba zacznie pracować
na danym stanowisku lub spełniać daną rolę. Następuje to po procesie przewidywania
przyszłego sukcesu danej osoby na danym stanowisku w oparciu o jego/jej wyniki testów.
Ta weryfikacja dostarcza podstaw do używania narzędzia zarówno w celu prześwietlenia
kandydata, jak i przewodnika jak zarządzać pracownikami na poszczególnych
stanowiskach.
TRAFNOŚĆ KRYTERIALNA
Trafność kryterialna określa na ile narzędzie odpowiada odpowiednim kryteriom lub
zachowaniom. Ten rodzaj weryfikacji porównuje grupy i analizuje różnice między nimi.
Kiedy analiza jest statystycznie znacząca, narzędzie jest trafnym narzędziem służącym do
charakteryzowania poszczególnych członków tych dwóch grup.
13
TRAFNOŚĆ PROGNOSTYCZNA
To badanie zostało przeprowadzone przez dr. Roberta K. Smitha i dr. Virginię
G. Harvey w 1996 roku.
Próba badania składała się z 78 osób poszukujących pracy na stanowiskach
związanych z niezależnymi punktami sprzedaży detalicznej. Z 78 kandydatów 51 zostało
zatrudnionych i obsadzonych na stanowiskach kierowniczych. Żaden z 78 kandydatów nie
został wykluczony, ale wszystkich podzielono na kategorie według stopnia ryzyka na
stanowisku kierowniczym: niski, średni, wysoki.
Pod koniec trzyletniego badania, sukces oznaczał, że menadżerowie byli w stanie
skutecznie rozpocząć i prowadzić działalność swojego sklepu. Porażką była
nieskuteczność w prowadzeniu zyskownego sklepu, zwolnienie z uzasadnionych powodów
lub bycie zmuszonym do odejścia z jakiegokolwiek powodu.
Poziom ryzyka
NISKI
Ś ŚREDNI
WYSOKI
Liczba zatrudnionych
20
26
5
% Sukcesu
90
65
0
Wyniki udowadniają, że “ogólny poziom ryzyka wyznaczony przez Profil Wartości
Hartmana okazał się wyraźnie prognostyczny w kontekście sukcesu zatrudnienia, osiągając
poziom p<.0035”.
Profil Wartości Hartmana jest trafnym i użytecznym narzędziem przy
wyznaczaniu prognostycznych wskaźników sukcesu w aplikacjach biznesowych. Ta
prognostyczna weryfikacja udowadnia, że Profil Wartości Hartmana spełnia
wymagania EEOC w zakresie konieczności biznesowej.
14
TRAFNOŚĆ KRYTERIALNA
Obsługa klienta
W badaniu dotyczącym obsługi klienta wszyscy członkowie prób losowych byli
zatrudnieni w sektorze obsługi klienta. Rozróżniono wśród nich tych, którzy odnieśli sukces
od tych, którzy sukcesu nie odnieśli w zakresie obsługi klienta. Obiektywnym kryterium
rozróżnienia były listy pochwalne od zadowolonych klientów i uznanie sukcesu danej osoby
na tym stanowisku przez kierownictwo.
Sprzedaż
W przypadku badania w zakresie sprzedaży próba została podzielona na trzy grupy,
osoby niebędące sprzedawcami, umiarkowanie efektywni sprzedawcy i sprzedawcy
odnoszący sukcesu. Obiektywnym kryterium podziału tych grup były prowizje uzyskane
w ciągu ostatnich trzech lat.
Zarządzanie
Pierwsze badanie w zakresie zarządzania porównało menadżerów, którzy odnieśli
sukces z tymi, którzy ponieśli porażkę z sklepach Sara Lee Corporation. Drugie i trzecie
badania porównywało tych, którzy awansowali na stanowiska kierownicze z tymi, którzy
takiego awansu nie otrzymali.
15
Trafność kryterialna w zakresie obsługi klienta
To badanie zostało przeprowadzone przez dr. Roberta K. Smitha i dr. Virginię
Harvey na zlecenie James River Corporation w 1990 roku.
Próba w badaniu składała się z 41 pracowników James River Corporation
zajmujących się obsługą klienta. Kryterium podziału na dwie grupy był sukces odniesiony
w roli pracownika obsługi klienta. Próba została podzielona na dwie grupy: tych, którzy
uzyskali zarówno uznanie klientów, jak i kolegów z firmy za przykładową obsługę klienta
i na tych, którzy nie zdobyli uznania ani klientów ani swoich współpracowników.
Rynek konsekwentnie rozróżnia dobrych pracowników od tych przeciętnych
i słabych. Badanie mierzyło różnice między tymi dwoma grupami w zakresie ich
wypełniania ról jako personel obsługi klienta. Ogólne spostrzeżenia prowadzą do wniosku,
że ci, którzy pracują przykładowo są w stanie znaleźć praktyczne rozwiązania,
komunikować się z innymi, wzbudzić zaufanie wobec ich umiejętności działania i być
wytrwałymi bez jednoczesnego upartego narzucania się. W celu potwierdzenia trafności
Profilu Wartości Hartmana, te umiejętności musiałyby być wyróżnione za pomocą
statystycznie znaczących różnic w wymiarach wyników pomiaru rozsądku, kompetencje
personalne i osobiste obowiązki (E1, E2 i S2).
Wyniki potwierdziły, że ci, którzy odnosili suckesy w sektorze obsługi klienta
wykazali się większymi umiejętnościami w wymiarach mierzonych przez Profil Wartości
Hartmana i statystycznie większymi umiejętnościami rozumowania w trzech wymiarach
wymienionych powyżej (zaznaczone * w poniższej tabeli).
Empatia
Rozsądek
Logiczne rozwiązania
Samoocena
Kompetencje personalne
Osobiste obowiązki
Wyższy %
17%
21%
15%
13%
30%
17%
Wartość p
.19
.02*
.18
.26
.05*
.07*
To badanie udowadnia, że wyniki Profilu Wartości Hartmana odnoszą się
bezpośrednio do zachowań, umiejętności i postaw wymaganych dla doskonałej pracy
w zakresie obsługi klienta.
16
Trafność kryterialna w zakresie sprzedaży
To badanie zostało przeprowadzone przez firmę Value, Inc. (Wayne Carpenter,
Edward Martin) oraz Tim Garton & Associates w 1987 roku.
Próba objęła 237 osoby, z czego 137 osoby to sprzedawcy z sektora ubezpieczeń
i nieruchomości. Kryterium podziału tych osób na trzy grupy było następujące:
• 100 osób niebędących sprzedawcami zostało losowo wybranych z bazy
danych ponad 5 000 osób szukających pracy.
• 87 sprzedawców otrzymujących prowizje w wysokości $50-100K/rocznie.
Okres ostatnich trzech lat: określeni jako umiarkowanie skuteczni.
• 50 sprzedawców otrzymujących prowizje w wysokości $100-500K/rocznie.
Okres ostatnich trzech lat: określeni jako skuteczni sprzedawcy odnoszący
sukces.
Metodologia analizy opierała się na teście wariancji wynikającym z proporcji F
z powodu trzech badanych grup. W interpretacji proporcji F kluczowe były wartości 2.00
i powyżej dla poziomu istotności .05 i 4.00 i powyżej dla poziomu istotności .01. Dla
zmiennych, które nie były znaczące według testu ANOVA, zastosowano test Kruskal-Wallis.
Hipoteza zakładała, że ci, którzy odnosili sukcesy statystycznie będą mieli wyższy
wskaźnik „motywacji przez ego”, „empatii” i umiejętności w sześciu innych wymiarach
mierzonych przez Profil Wartości Hartmana.
Mierzony obszar
Poziom istotności
Intuicyjny wgląd (DimI1)
p<.01
Rozsądek (DimE1)
p<.01
Realistyczne stawianie celów (DimS1)
p<.01
Samoocena (DimI2)
p<.01
p<.01
Pewność siebie (DimE2)
Samokontrola (DimS2)
p<.01
“Motywacja przez ego” (I2/E2/S2 Val & Dims) p<.01
“Empatia” (I1Dim & Valence)
p<.01
To badanie potwierdziło, że Profil Wartości Hartmana wyróżnia zachowania
niezbędne dla odniesienia sukcesu w sprzedaży.
17
Trafność kryterialna w zakresie zarządzania
To badanie zostało przeprowadzone przez dr. Roberta K. Smitha we współpracy
z the Sara Lee Corporation w latach 1990-92.
Jesienią 1990 roku za pomocą Profilu Wartości Hartmana przebadano próbę 150
menadżerów ze sklepów Sary Lee. Wszystkich uczestników badania uznano za
wykwalifikowanych do pracy na stanowisku menadżerskim, byli menadżerami
poszczególnych sklepów przez mniej niż dwa lata. Profil Wartości Hartmana stanowił część
procesu szkolenia.
Dwa lata później, jesienią 1992 roku, szef oddziału Sary Lee podzielił listę
nazwisk na trzy grupy (doskonałe, dobre i nieskuteczne). Kryteria, jakimi się posłużył przy
rozróżnieniu między doskonałymi a dobrymi menadżerami to „działanie, sprzedaż, obroty
i umiejętność nieprzekraczania budżetu. W tym samym czasie Sara Lee przeprowadziła
coroczny program oceny zarządzania (obejmujący współpracowników, podwładnych
i kadry kierownicze), który oceniał wszystkich menadżerów według numerycznej skali. Te
wyniki dostarczyły kolejnych podstaw do rozróżnienia doskonałych menadżerów (28) od
dobrych menadżerów (79). Menadżerowie, którzy zostali zidentyfikowani jako
nieskuteczni (43) zostali usunięci lub sami zrezygnowali ze stanowiska przed jesienią 1992
roku.
Ponieśli porażkę z różnych przyczyn – niezdolność do skutecznego przewodzenia
i zarządzania ludźmi, nieumiejętność skutecznego nadzorowania działań, niezdolność do
planowania i realizowania tych planów.
Wyniki tego badania opierają się na różnicach między doskonałymi menadżerami
i tymi, którzy ponoszą porażkę. W tym konkretnym przypadku niezwykłą cechą wspólną
wszystkich uczestników (doskonałych, dobrych i nieskutecznych) jest to, że w 1990 roku
zostali wybrani przez kierownictwo jako zdolni menadżerowie sklepów. Wyniki profilu,
które były porównywane to te pochodzące z testów przeprowadzonych przed jesienią 1990
roku.
Ostateczne wniosku oparto na porównaniu wyników dwóch grup. Poprzednie
badania pokazały, że różne typy osobowości są w stanie efektywnie spełniać role
kierownicze. Zostało to potwierdzone również przez to badania w tym sensie, że
zaobserwowano różnice między dwoma grupami to nie tyle różnice w cechach charakteru, co
różnice w funkcjonalności:
Lepsza umiejętność pracy z ludźmi i większa cierpliwość (doskonali menadżerowie
byli o 18% bardziej empatyczni przy wartości I1 – 54% pozytywnych vs. 54% negatywnych)
Tendencja do pracy z innymi, a nie robienia wszystkiego samemu (doskonali byli w
53% bardziej skłonni do delegowania obowiązków, z E1 na poziomie 28% vs. 43%
pozytywnych)
Większa tendencja do bycia proaktywnym, a nie reakcyjnym (doskonali byli w 17%
bardziej nastawieni na planowanie w S2 Dim 11 vs. 13)
18
Większa osobista odwaga (ograniczona postawa defensywna) (doskonali mieli 42%
zdrowszą samoocenę – I2 na poziomie 25% vs. 16% pozytywnych)
Większa odporność na stres (doskonali byli w stanie w 50% lepiej funkcjonować
w sytuacjach stresujących, BQRs 1.1 vs. 1.65)
Wszystkie powyższe różnice są statystycznie istotne z p<.05.
To badanie potwierdza, że wyniki Profilu Wartości Hartmana odnoszą się
bezpośrednio do zachowań, umiejętności i postaw, które jak potwierdził rynek
wyznaczają równice między tymi, którzy odnoszą sukces w zarządzaniu sklepem od
tych, którym się to nie udaje.
19
Trafność kryterialna w zakresie zarządzania (przypadek B)
To badanie zostało przeprowadzone przez dr. Roberta K. Smitha w 1993 roku.
W latach 1988-1993 na próbie 257 menadżerów z ośmiu różnych firm
przeprowadzono badanie za pomocą Profilu Wartości Hartmana. Wszyscy uczestnicy
badania zajmowali stanowiska kierownicze, kiedy poddali się testowi, Profil Wartości
Hartmana stanowił część ich ciągłego procesu rozwoju.
Próbę podzielono na trzy grupy: menadżerów doskonałych, dobrych i słabych. Dla
rozróżnienia doskonałych menadżerów od słabych zastosowano następujące kryteria:
wybitne osiągnięcia w danej dziedzinie, skuteczność w relacjach z ludźmi, obroty,
umiejętność nieprzekraczania budżetu. Wszyscy zostali ocenieni przez swoich
współpracowników, podwładnych i zwierzchników, którzy ocenili ich jako doskonałych
(70), dobrych (100) lub słabych (87). Żeby menadżer został uznany za słabego, muszą
istnieć bieżące nierozwiązane problemy, musi wykazać się rażącym brakiem efektywności
lub porażkami w obszarze, w którym inni odnosili sukcesy.
Wyniki tego badania opierają się na różnicach między doskonałymi a słabymi
menadżerami. Ostateczne wnioski opierają się na porównaniu wymiarowych wyników tych
dwóch grup. Poprzednie badania w obszarze zarządzania pokazały, że różne typy
osobowości mogą się sprawdzić na stanowiskach menadżerskich. To badanie potwierdziło
tę tezę, różnice między badanymi grupami dotyczyły raczej zdolności funkcjonowania,
a nie osobistych cech. Słabi menadżerowie nie uzyskali wyższych wyników niż doskonali
menadżerowie w żadnym z wymiarów. Doskonali menadżerowie statystycznie
przewyższali słabych menadżerów w następujących obszarach:
Lepsza umiejętność pracy z ludźmi i większa cierpliwość (doskonali menadżerowie byli
o 26% bardziej empatyczni przy wartości I1 – 59% pozytywnych vs. 43% negatywnych)
Tendencja do pracy z innymi, a nie robienia wszystkiego samemu (doskonali byli w 25%
bardziej skłonni do delegowania obowiązków, z E1 na poziomie 32% vs. 44%
pozytywnych)
Większa osobista odwaga (ograniczona postawa defensywna) (doskonali mieli 13%
zdrowszą samoocenę – I2 dim na poziomie 11 vs. 13)
Większa doza rozsądku przy konfrontacji (doskonali byli o 18% bardziej rozsądni i mniej
uparci niż słabi menadżerowie, S2 dim i 12 vs. 14)
Wszystkie powyższe różnice są statystycznie istotne z p<.05.
To badanie potwierdza, że wyniki Profilu Wartości Hartmana odnoszą się bezpośrednio
do zachowań, umiejętności i postaw, które jak potwierdził rynek wyznaczają równice
między tymi, którzy odnoszą sukces w zarządzaniu sklepem od tych, którym się to nie
udaje.
20
Trafność kryterialna w zakresie zarządzania (Przypadek C)
To badanie zostało przeprowadzone przez Kinsel Enterprises, Inc. (dr. Robert K.
Smith i Ken Bandy) w roku 1996.
W latach 1987-1991 120 kobiet pracujących w biznesie wzięło udział w badaniu za
pomocą Profilu Wartości Hartmana w ramach ciągłego szkolenia się i rozwoju.
Uczestniczki pochodziły z 20 różnych firm w 6 stanach, były w wieku od dwudziestu-kilku
do pięćdziesięciu-kilku lat.
Próbę podzielono na dwie grupy, pierwsza objęła kobiety na stanowiskach
kierowniczych w swoich firmach (20), druga te, które nie pełniły funkcji kierowniczych
(100).
Wyniki tego badania opierają się na różnicach między menadżerami i niemenadżerami. Ostateczne wnioski zostały wyciągnięte na podstawie porównania wyników
obydwu grup w poszczególnych wymiarach. Badanie potwierdziło, że różnice między
dwoma grupami są znaczące w pięciu obszarach. Kobiety z grupy nie-menadżerów nie
uzyskały wyników wyższych niż kobiety z grupy menadżerskiej w żadnej z kategorii.
Lepsze umiejętności w zakresie podejmowania decyzji i stosowania rozsądnego myślenia
(kobiety z grupy menadżerów w 23% lepiej podejmowały decyzje i stosowały rozsądek,
Dim E1 7.25 vs. 8.9)
Większa osobista odwaga (ograniczona postawa defensywna) (kobiety z grupy
menadżerów miały o 20% zdrowszą samoocenę z I2 na poziomie 22% vs. 19% i Dim –
10.1 vs 12.5)
Lepsza umiejętność dokonania precyzyjnej samooceny w zakresie mocnych stron,
ograniczeń i kompetencji (kobiety z grupy menadżerów były o 12.5% bardziej precyzyjne
w ocenie swoich umiejętności i ról z Dim E2 na poziomie 12.75 vs 14.25)
Większa swoboda popełniania błędów, ryzykowania strat i zmian własnych priorytetów
(kobiety z grupy menadżerów były o 13% bardziej rozsądne i mniej dogmatyczne z Dim
S2 na poziomie 11.5 vs. 13.8)
Wszystkie powyższe różnice są statystycznie istotne z p<.05.
To badanie potwierdza, że wyniki Profilu Wartości Hartmana odnoszą się
bezpośrednio do zachowań, umiejętności i postaw, które jak potwierdza rynek
stanowią różnice między kobietami, które zdobywają stanowiska kierownicze i tymi,
którym się to nie udaje.
21
Badanie przestępcy vs. pozostali
Weryfikacja kryminaliści vs. pozostali porównuje skazanych przestępców z resztą
populacji i analizuje różnice między tymi dwiema grupami. Kiedy analiza jest statystycznie
istotna, narzędzie jest trafne w rozpoznawaniu cech, które odróżniają przestępców od
pozostałych.
Na potrzeby tego badania zakładamy, że system sądowniczy stanu Tennessee
w sposób rozsądny rozróżnia groźnych przestępców od reszty społeczeństwa. Ogólnie
mówiąc kryminaliści to ludzie, których zachowanie wywodzi się z niezdolności
wykorzystania swojej siły, żeby pokonać własne słabości. Pozostałe osoby to ci, którzy
mogą i polegają na własnej sile, żeby panować nad swoimi słabościami. Żeby udowodnić
trafność Profilu Wartości Hartmana analiza profilu przestępców i pozostałych powinna
ujawnić znaczące różnice w ich zdolności rozumowania i efektywnego funkcjonowania
w stresujących sytuacjach.
To badanie zostało przeprowadzone przez dr. Marka Moore’a oraz dr. Phila Kinga
w 1994 roku.
Badanie objęło 44 skazanych przestępców odsiadujących wyroki w stanowym
więzieniu Brushy Mountain, więzieniu o zaostrzonym rygorze w stanie Tennessee.
Przestępcy poddali się badaniu za pomocą Profilu Wartości Hartmana odsiadując wyroki za
morderstwo lub brutalny gwałt. Profile reszty społeczeństwa zostały wybrane z bazy
danych dr. Moore’a, zawierającej profile 500 osób z różnych środowisk w Stanach
Zjednoczonych. Hipoteza zerowa mówiła, że nie ma znaczącej różnicy między skazanymi
przestępcami a ogółem populacji.
Podsumowanie wyników dla sześciu kluczowych obszarów Profilu Wartości
Hartmana (z zastosowaniem metody dr. Hartmana – im niższy wynik, tym większa
zdolność rozumowania i funkcjonowania w stresujących sytuacjach):
Zdolność do
Przestępcy
Empatii (I1)
11.85
Praktycznego rozumowania (E1)
14.76
Logicznego rozumowania (S1)
17.43
Cenienia samego siebie(I2)
18.26
Porównywania samego siebie (E2) 19.02
Definiowania samego siebie (S2)
17.80
Pozostali
8.42
9.08
13.63
11.45
14.30
13.49
Podsumowanie wyników dla sześciu kluczowych obszarów Profilu Wartości
Hartmana przy użyciu metody dr. Moore’a (analiza wektorowa – im wyższy wynik tym
większa umiejętność rozumowania i funkcjonowania w stresujących sytuacjach):
22
Zdolność do
Przestępcy
Empatii (I1)
4.86
Praktycznego rozumowania (E1)
2.68
0.67
Logicznego rozumowania (S1)
Cenienia samego siebie(I2)
0.05
Porównywania samego siebie (E2) -0.52
Definiowania samego siebie (S2)
0.40
Pozostali
7.44
6.94
3.53
5.16
3.03
3.63
Dla obu metod, różnice są statystycznie istotne p<.05.
To badanie jest znaczące, bo wykazuje duże statystyczne różncie między
ludźmi, którzy są w stanie normalnie funkcjonować w społeczeństwie i tymi, którzy nie
są w stanie tego zrobić. Dostarcza obiektywnego, behawioralnego kryterium, wobec którego
wyniki są porównywane. Mimo, że rzadko jest powód do tego, żeby spotkać lub tworzyć
profil morderców czy gwałcicieli, badanie potwierdza, że Profil Wartości Hartmana
precyzyjnie mierzy zdolność do wartościowania przez ocenę ludzi na tym najbardziej
dysfunkcyjnym końcu behawioralnego spektrum.
23
PODSUMOWANIE
Teoria, na której opiera się Profil Wartości Hartmana jest przedmiotem kontroli
i testów, tak jak wszystkie naukowe teorie. W oparciu o obserwacje natury naszego świata
naukowcy proponują reguły, które definiują i kategoryzują te zaobserwowane zachowania
lub cechy. Następnie system matematyczny z takimi samymi właściwościami jest
przyłączany do tego systemu. Ten system matematyczny modeluje świat bez konieczności
obecności naukowców w tym świecie. Dlatego naukowcy na Ziemi są w stanie
zaprojektować drabinę, która będzie użyteczna na księżycu. Opracowanie teorii
i znalezienie matematycznego systemu, który ma izomorficzny związek z tą teorią – to
właśnie robił doktor Robert S. Hartman w latach 1945-1973 przy odkrywaniu formalnej
aksjologii. Jednym z praktycznych wyników tej pracy był Profil Wartości Hartmana. Dr.
Hartman był nominowany do Pokojowej Nagrody Nobla w 1973 roku dzięki wnioskom, do
jakich doszedł przy wykorzystaniu formalnej aksjologii.
Kiedy teoria naukowa jest zdefiniowana, dowody tej teorii opierają się na spójności
i możliwości zastosowania w odpowiednich aspektach oraz zgodności z wcześniej
udowodnionymi założeniami. Dlatego fizyk nie musi latać samolotem ani ich obserwować,
żeby być w stanie zaprojektować taki, który będzie latał. Matematycznie modeluje lot
dużych samolotów wykorzystując wcześniej udowodnioną formułę lotu, żeby
zaprojektować nowy samolot. Następnie potwierdza swój projekt (a jednocześnie teorię),
kiedy samolot naprawdę wzbija się w powietrze.
Kamieniem węgielnym wśród narzędzi aksjologicznych jest Profil Wartości
Hartmana. Sformułowanie Profilu wyraża zgodność z wcześniej udowodnionymi
założeniami. Trzy środkowe badania w tym kompendium potwierdzają tę tezę. Ostatnie
osiem testów potwierdza trafność i rzetelność narzędzi aksjologicznych w prawdziwym
życiu. Te badania, przeprowadzone w ciągu 15 lat przez 19 osób, potwierdzają
założenia formalnej aksjologii i udowadniają, że Profil Wartości Hartmana jest
rzetelny, trafny, zgodny z wymogami EEOC i użyteczny w różnorodny sposób dla
przemysłu i nauk społecznych.
24