Profil Wartości Hartmana - Success Insights Polska
Transkrypt
Profil Wartości Hartmana - Success Insights Polska
KOMPENDIUM BADAŃ NAD TRAFNOŚCIĄ Dr. Robert Kinsel Smith Profil Wartości Hartmana To kompendium jest podsumowaniem dwudziestu badań przeprowadzonych na grupach respondentów, którzy wypełnili kwestionariusz Profilu Wartości Hartmana. Stworzenie tego kompendium było możliwe dzięki niezliczonym godzinom pracy i oddaniu badaczy oraz współpracy ich pracowników. Kompendium ma służyć jako ogólne wprowadzenie i przewodnik po badaniach potwierdzających trafność i rzetelność Profilu Wartości Hartmana. Pełne wersje tych raportów są dostępne na wniosek albo od poszczególnych autorów albo od Kinsel Enterprises, Inc. To kompendium podsumowuje badania dotyczące szesnastu różnych aspektów Profilu Wartości Hartmana. Badania te wyraźnie i obiektywnie udowadniają, że Profil Wartości Hartmana to rzetelne i trafne narzędzie, użyteczne w biznesie, psychologii i rozwoju personalnym. Copyright 1998, by Kinsel Enterprises, Inc. Wszystkie prawa zastrzeżone. Żadna z części tego kompendium nie może być użyta w żaden sposób bez pisemnej zgody autora. 2 PROFIL WARTOŚCI HARTMANA Profil Wartości Hartmana został stworzony przez doktora Roberta S. Hartmana i jest własnością Instytutu Roberta S. Hartmana, Uniwersytet Tennessee. To badania wykorzystujące papier i ołówek (firma InnerMetrix, Inc. opracowała program komputerowy w celu zautomatyzowania oryginalnego narzędzia wykorzystującego papier i ołówek) polega na uszeregowaniu przez respondenta osiemnastu różnych stwierdzeń w dwóch oddzielnych listach. Ten wymuszony ranking wymaga, żeby respondent ocenił każde stwierdzenie i porównał je do wszystkich pozostałych fraz. Rankingi respondenta pokazują różne kompetencje i tendencje w ocenianiu. Profil Wartości Hartmana opiera się na nauce formalnej aksjologii. Teoria doktora Hartmana w zakresie formalnej aksjologii jest dokładnie opisana w jego książce The Structure of Value: Foundations of Scientific Axiology (Southern Illinois University Press, 1967). Aksjologia to formalny system identyfikowania i mierzenia wartości. Profil Wartości Hartmana jest jednym ze sposób pozwalających zmierzyć indywidualne skłonności i umiejętności wartościowania. Ta osobista struktura wartości (mapa drogowa i system filtrowania, który dana osoba wykorzystuje do myślenia, oceniania i podejmowania decyzji) determinuje osobowość, indywidualne postrzeganie i decyzje. Mówiąc prościej, personalna struktura wartości to sposób, w jaki dana osoba myśli. Możliwość prostego i obiektywnego zmierzenia indywidualnej struktury wartości ma znaczące konsekwencje dla zdrowia psychicznego i biznesu. Profil Wartości Hartmana eliminuje w dużym stopniu potrzebę przeprowadzania żmudnych i kosztownych badań psychologicznych dla celów klinicznych i biznesowych. Dostarcza prostego w użyciu, obiektywnego, dedukcyjnego narzędzia, które może być (i jest) wykorzystywane w doradztwie, szkoleniach i rozwoju. Biznes wykorzystuje Profil Wartości Hartmana przy selekcji kandydatów, projektowaniu szkolenia i mierzeniu skuteczności szkoleń i programów rozwoju (mierzenie wzrostu, zmiany i poprawionych umiejętności przed i po). Najbardziej wyczerpującą książką w zakresie formalnej aksjologii doktora Hartmana i wykorzystania aksjologii jest książka doktora Rema B. Edwardsa i Johna W. Davisa Forms of Values and Valuation (University Press of America, 1991). 3 TRAFNOŚĆ Weryfikacja testów to złożona dyscyplina badająca precyzyjność, niezawodność i spójność narzędzia z teoriami naukowymi je wspierającymi. Weryfikacja mierzy jak wiernie wyniki badania odzwierciedlają mierzalne zachowania lub cechy. Wyznacza również rzetelność narzędzia, gwarantując, że natura narzędzie nie wpływa znacząco na wyniki. Proces weryfikacji narzędzia jest podzielony – każdy proces mierzy inne aspekty narzędzia. Ten raport jest kompilacją podsumowań dwudziestu badań weryfikujących Profil Wartości Hartmana. Te podsumowania jasno wskazują na realne, powtarzalne, obiektywne i godne zaufania wyniki Profilu Wartości Hartmana. Wskazują również, że Profil Wartości Hartmana spełnia wymagania EEOC. (Komisja ds. Równych Szans w Zatrudnieniu). Wszystkie badania opisane w tym raporcie są zgodne z wytycznymi Amerykańskiego Stowarzyszenia Psychologicznego w zakresie analizy narzędzi psychometrycznych i spełniają standardy branżowe w zakresie analiz statystycznych. WYMAGANIA EEOC Komisja ds. Równych Szans w Zatrudnieniu (EEOC.) ustaliła, że wszystkie narzędzia psychometryczne, testy psychologiczne, testy osobowości i wszystkie inne procedury ewaluacji używane w branży muszą być zgodne z Uniwersalnymi Wytycznymi w zakresie procedur zatrudniania (1978). „Polityki i praktyki pracodawcy, którzy w niekorzystny sposób wpływają na możliwości zatrudnienia w kontekście wieku, rasy, płci czy przynależności do grupy etnicznej są nielegalne…. Decyzje pracodawcy obejmują, ale nie są ograniczone do zatrudniania, awansowania, degradacji, skierowania, licencjonowania i certyfikacji.” [Federal Registry, Vol. 43, No. 166, 8/25/78] Konkluzja z tych badań jest taka, że Profil Wartości Hartmana spełnia wymagania EEOC. i nie dyskryminuje nikogo ze względu na różne pochodzenie rasowe, płeć czy wiek. 4 DYSKRYMINACJA ZE WZGLĘDU NA WIEK Dokument w zakresie dyskryminacji ze względu na wiek (The Age Discrimination in Employment Act) z 1967 roku stwierdza, że pracodawcy nie mogą dyskryminować pracowników i kandydatów powyżej 40 roku życia w zakresie zatrudnienia i awansowania. Żeby test był legalny, nie może reprezentować żadnych statystycznych rozróżnień pomiędzy osobami powyżej 40 roku życia i poniżej 40 roku życia. Wiek: Przypadek A To badanie zostało przeprowadzone przez Value, Inc. (W. Carpenter i Edward Martin). Dwie oddzielne próby liczące po 200 osób zostały wyselekcjonowane z ponad 6 000 osób w przypadkowy sposób. Grupy reprezentowały dorosłych poniżej 30 roku życia i dorosłych powyżej 40 roku życia. Wykorzystano T-test dla danych parametrycznych dwóch prób do zmierzenia znaczenia statystycznego. Profil Wartości Hartmana wygenerował 54 różnych wyników dla każdego uczestnika. Wartość T-testu musiałaby przewyższyć 1.282, żeby wykazać istnienie dyskryminacji ze względu na wiek (p>.2). Dla wszystkich 54 elementów p<.01, udowadniając tym samym, że Profil Wartości Hartmana nie dyskryminuje żadnych osób w danej grupie wiekowej lub grup wiekowych. Wiek: Przypadek B To badanie zostało przeprowadzone przez The Institute for the Study of Human Values (doktor Charles McDonald, Wayne Carpenter, Edward Martin, William Panak i Gary McDonald), sfinansowano je z grantu the Dollar General Corporation (1987). Losowa próba objęła 1075 osób, które były albo zatrudnione albo poszukiwały pracy w dużej korporacji. Uczestnicy w wieku od poniżej 18 lat do powyżej 70 lat zostali podzieleni na grupy <30 (421 osób), 30-39 (298 osób), 40-49 (200 osób) i >49 (156 osób). Analizy rezultatów zostały przeanalizowane zarówno w kontekście indywidualnego wieku, jak i grup wiekowych. Wykorzystano hipotezę zerową; “średnia dla osób w różnym wieku w tych elementach normatywnych nie będzie statystycznie znacząco się różniła kiedy zastosuje się Profil Wartości Hartmana.” Wyniki udowodniły, że Profil Wartości Hartmana nie dyskryminuje ludzi w różnym wieku, ten wniosek dotyczy analizy pojedynczych osób w różnym wieku i grupy wiekowej. Wszystkie wyniki nie różniły się znacząco - .0395>p<.0005. 5 DYSKRYMINACJA ZE WZGLĘDU NA PŁEĆ Rozdział VII Ustawy o prawach obywatelskich (Civil Rights Act) z 1964 roku zastrzega, że pracodawca nie może dyskryminować w zatrudnianiu, promowaniu lub w kontekście warunków zatrudnienia ze względu na płeć danej osoby. Płeć: Przypadek A Ten test został przeprowadzony przez Value Inc. (Wayne Carpenter i Edward Martin) w 1987 roku. Stworzono dwie oddzielne próby losowe składające się z 200 osób wybrane w sposób przypadkowy z grupy ponad 6 000 osób. Jedna grupa składała się wyłącznie z mężczyzn, druga z kobiet. Wykorzystano T-test dla danych parametrycznych dwóch prób do zmierzenia znaczenia statystycznego. Zmierzono i porównano pięćdziesiąt cztery wyniki dla profilu każdego uczestnika. Okazało się, że wszystkie 54 wyników osiągnęło p<.01 przy użyciu T-testu. Wniosek jest następujący: „zgodnie z regulacjami EEOC, H0 (hipoteza zerowa) mówi, że średnia dla kobiet i mężczyzn w tych elementach normatywnych nie będzie statystycznie znacząco się różniła kiedy zastosuje się Profil Wartości Hartmana.” Badanie potwierdza, że Profil Wartości Hartmana nie dyskryminuje kobiet ani mężczyzn. Płeć: Przypadek B To badanie zostało przeprowadzone przez The Institute for the Study of Human Value (doktor Charles McDonald, Waygne Carpenter, Edward Martin, William Panak i Gary McDonald), sfinansowane z grantu the Dollar General Corporation w 1987 roku. Próba losowa objęła 1 075 osób, które były zatrudnione lub poszukiwały pracy w dużej korporacji. W badaniu wzięło udział 92 mężczyzn i 983 kobiety. Analiza wyników została przeprowadzona w oparciu o F ratio między grupami i E ta², który mierzy proporcje wariancji w zmiennych, które mogą zostać wyjaśnione przy wykorzystaniu wiedzy o wartościach niezależnych zmiennych. Wykorzystano następującą hipotezę zerową: “średnia dla kobiet i mężczyzn w tych elementach normatywnych nie będzie statystycznie znacząco się różniła kiedy zastosuje się Profil Wartości Hartmana.” Wyniki udowadniają, że Profil Wartości Hartmana nie dyskryminuje osób różnej płci. Z 36 przebadanych elementów, 29 nie miało żadnej istotności statystycznej, pozostałe 7, w przypadku których wyniki dla mężczyzn i kobiet znacznie się różniły, E ta² wskazał, że mniej niż 1% różnic wynikało z płci (ze statystycznie istotnymi wartościami p od <.0490 do <.0086. 6 DISCRYMINACJA ZE WZGLĘDU NA RASĘ Rozdział VII Ustawy o prawach obywatelskich (Civil Rights Act) z 1964 roku określa, że pracodawca nie może może dyskryminować w zatrudnianiu, promowaniu lub w kontekście warunków zatrudnienia ze względu na rasę danej osoby. Rasa: Przypadek A Ten test został przeprowadzony przez Value Inc. (Wayne Carpenter i Edward Martin) w 1987 roku. Z grupy ponad 6 000 osób wyselekcjonowano w przypadkowy sposób dwie próby losowe po 200 uczestników każda. Grupy reprezentowały dorosłych rasy białej i Afroamerykanów. Wykorzystano T-test dla danych parametrycznych dwóch prób do zmierzenia znaczenia statystycznego. Zmierzono i porównano pięćdziesiąt cztery wyniki dla profilu każdego uczestnika. Okazało się, że wszystkie 54 wyników osiągnęło p<.01 przy użyciu T-testu. Ten statystycznie istotny wynik udowadnia, że Profil Wartości Hartmana nie dyskryminuje żadnej z ras. Rasa: Przypadek B To badanie zostało przeprowadzone przez The Institute for the Study of Human Value (doktor Charles McDonald, Waygne Carpenter, Edward Martin, William Panak i Gary McDonald), sfinansowane z grantu the Dollar General Corporation w 1987 roku. Próba losowa objęła 1 075 osób, które były zatrudnione lub szukały pracy w dużej korporacji. Próba reprezentowała pięć grup rasowych: Azjatów, Afroamerykanów, amerykańskich Indian, Latynosów i rasę białą. Analiza wyników została przeprowadzona w oparciu o F ratio między grupami i E ta², który mierzy proporcje wariancji w zmiennych, które mogą zostać wyjaśnione przy wykorzystaniu wiedzy o wartościach niezależnych zmiennych. Przyjęto hipotezę zerową mówiącą, że „średnia dla respondentów różnego pochodzenia rasowego w tych elementach normatywnych nie będzie statystycznie znacząco się różniła kiedy zastosuje się Profil Wartości Hartmana.” Wyniki udowadniają, że Profil Wartości Hartmana nie dyskryminuje osób różnej płci. Z 36 przebadanych elementów, 31 nie miało żadnej istotności statystycznej, pozostałe 5, w przypadku których wyniki znacznie się różniły, E ta² wskazał, że mniej niż 1% różnic wynikało z przynależności do danej rasy (ze statystycznie istotnymi wartościami p od <.0144 do <.0001.) 7 TRAFNOŚĆ FASADOWA Trafność fasadowa mierzy na ile struktura i treść każdego stwierdzenia w Profilu Wartości Hartmana jest spójna z naukową teorią aksjologiczną. W przeciwieństwie do pozostałych badań trafności, to badanie skupia się raczej na tym czy dane stwierdzenie precyzyjnie wyraża wartości zdefiniowane przez doktora Roberta S. Hartmana w nauce formalnej aksjologii. Badanie zostało przeprowadzone przez The Institute for the Study of Human Value (doktor Charles McDonald, Wayne Carpenter, Edward Martin, William Panak, Gary McDonald) i sfinansowane z grantu the Dollar General Corporation w 1987 roku. Procedura badania polegała na tym, że każde stwierdzenie było oceniane przez aksjologa wedle następujących kryteriów: 1. 2. 3. 4. 5. 6. koncepcja wymiar wartości ocena czy koncepcja jest prawidłowa czy wymiar wartości jest prawidłowy czy ocena jest prawidłowa Po przeprowadzeniu tych analiz dla każdego z 36 stwierdzeń, zespół zbadał analizę doktora Hartmana w zakresie tych samych stwierdzeń, żeby znaleźć potwierdzenie. W każdym przypadku, analiza zespołu badawczego doszła do wniosku, że każde stwierdzenie jest precyzyjnym wyrażeniem wartości i oceny dla każdej ze zamierzonych kombinacji. Badacze doszli również do wniosku, że w każdym przypadku ich konkluzje były zbieżne z wnioskami doktora Hartmana. Ta niezależna analiza razem ze zbieżnymi z doktorem Hartmanem wnioskami pozwala ufać, że struktura i treść każdego ze stwierdzeń w Profilu Wartości Hartmana jest aksjologicznie uzasadniona. 8 R ZETELNOŚĆ Rzetelność mierzy czy rezultaty lub ocena wywodząca się z narzędzia są wynikiem przypadku. Kiedy narzędzie zostaje uznane za rzetelne, może być użyte wiele razy, w różnym kontekście z dużą dozą pewności, że zmieniające się warunki nie wpływają na wyniki badania w istotny sposób. Rzetelność jest zazwyczaj potwierdzana przy wykorzystaniu procedury test/retest z 10-dniową przerwą. Im dłuższa przerwa, tym bardziej rzetelne narzędzie. Rzetelność: Przypadek A To badanie zostało przeprowadzone przez następujące osoby: doktor John Davis, doktor Glenn Graber i doktor Leon Pomeroy. Zbadano grupę 86 studentów Uniwersytetu Tennessee za pomocą Profilu Wartości Hartmana. Dziesięć tygodni później przeprowadzono to samo badanie na tej samej grupie. Ocena rzetelności Profilu Wartości Hartmana była tym bardziej rygorystyczna, że w ciągu tych dziesięciu tygodni przerwy respondenci wzięli udział w kursie medycznej etyki. Wyniki badania potwierdziły rzetelność i stabilność Profilu Wartości Hartmana. Wszystkie czterdzieści mierzonych wymiarów statystycznie były takie same pomiędzy pierwszym a drugim badaniem. „Rzetelność Profilu Wartości Hartmana była szczególnie godna zauważenia w bardziej złożonych wymiarach: iloraz wartości, iloraz bilansu, niezależne wskaźniki, wyniki integracji i zróżnicowania.” Wszystkie te bardziej złożone wymiary zanotowały wskaźnik zaufania powyżej 99% z p<.01. Rzetelność: Przypadek B Ten test został przeprowadzony przez Value Inc. (Wayne Carpenter i Edward Martin) w 1987 roku. Próba obejmująca 200 dorosłych została wybrana spośród osób, które albo pracowały albo starały się o pracę w the Dollar General Corporation. Uczestnicy badania poddali się testowi z użyciem Profilu Wartości Hartmana w czasie trzech lat. Ten długi okres czasu dla procedury test/retest potwierdza nadrzędną stabilność. Firma Value, Inc. przeprowadziła dwie analizy rezultatów: 1. Surowe wyniki 2. Wyniki po ewaluacji za pomocą skali Hartmana Wyniki obu analiz potwierdziły bardzo wysoki poziom zaufania: p<.001. Wyniki po ewaluacji zostały poddane analizie za pomocą współczynnika korelacji rang Spearmana. W tym badaniu współczynnik korelacji na poziomie >.549 wystarczyłby, żeby zagwarantować p<.001. Ostateczny współczynnik korelacji rang osiągnął poziom .947, wskazując „wyjątkowo wysoki poziom znaczenia i zaufania wobec rzetelności narzędzia, które jest znacznie bardziej istotne niż to zapewniane przez p<.001.” 9 TRAFNOŚĆ KONSTRUKCJI Trafność konstrukcji mierzy to, czy narzędzie zarówno w formie, jak i wynikach jest spójne z teorią stojącą za tym narzędziem. W tym przypadku celem badania będzie sprawdzenie czy wartości przypisane stwierdzeniom w Profilu Wartości Hartmana (które według Hartmana mają stały, uniwersalny porządek wartości) potwierdza koncepcje doktora Hartmana. To badanie zostało przeprowadzone przez The Institute for the Study of Human Value (doktor Charles McDonald, Wayne Carpenter, Edward Martin, William Panak i Gary McDonald) i sfinansowane z grantu the Dollar General Corporation w 1987 roku. Próba losowa objęła 6 354 osób. Analiza dotyczyła profile jako całości, elementów kompozycyjnych (18), transpozycyjnych (18) i każdego elementu osobno. Hipoteza zerowa mówiła, że „ranking wszystkich elementów będzie przypadkowy, że układ elementów kompozycyjnych i transpozycyjnych będzie przypadkowy i że ranga normatywna i średnia otrzymanych wyników dla każdego z elementów będzie równa zero.” Rezultaty testu jako całości, przy użyciu testu ANOVA Friedmana, testu Page’a i współczynnika zgodności Kendalla w 99% potwierdziły, że rankingi były zgodne z teoretycznym porządkiem wartości. Współczynnik korelacji rang Spearmana dostarczył statystycznie istotnego wskazania, że korelacje istnieją pomiędzy porządkiem rang modelu i uzyskanym porządkiem. “Uzyskane wyniki potwierdzają tezę, że Profil Wartości Hartmana dostarcza trafnych opisów i wyjaśnia strukturę i dynamikę ludzkich wartości i oceny tych wartości.” 10 ZGODNOŚĆ JEDNOCZESNYCH WSKAZAŃ Zgodność jednoczesnych wskazań sprawdza czy dany instrument wykazuje znaczące korelacje z innymi pomiarami. Ta weryfikacja stanowi alternatywny sposób weryfikacji narzędzia poprzez zastosowanie metody piggy backing w weryfikacji narzędzia psychometrycznego wcześniej poddanego benchmarkingowi. To badanie zostało przeprowadzone przez doktora Leona Pomeroya i doktora Johna Davisa w 1982 roku. Badanie wykorzystało sześć różnych instrumentów psychologicznych jako narzędzi pomiaru, żeby ustalić równoczesną weryfikację. Wśród narzędzi znalazły się MMPI, Cattell 16PF, CAQ, Ellis’s Personal Belief Inventory, Cornell Medical Index oraz Auto Lethality Index. To badanie zostało przeprowadzone w dwóch fazach w ciągu ponad roku. Pierwsze badanie objęło 68 dorosłych respondentów i polegało na porównaniu Profilu Wartości Hartmana z MMPI, ALI, CMI i PBI. Druga faza badania objęła 72 dorosłych respondentów i porównała Profil Wartości Hartmana do 16PF i CAQ. Wyniki tego dwustopniowego badania są bardzo kompleksowe i mogą być podsumowane następująco: Część I: Profil Wartości Hartmana wykazał korelację o dużym znaczeniu (.05>p<.0001) w trzydziestu sześciu różnych wymiarach z MMPI, CMI, ALI i PBI. Część 2: Profil Wartości Hartmana wykazał korelację o dużym znaczeniu (<.05p<.0001) w trzydziestu dwóch wymiarach z 16 PF i CAQ. Doktor Pomeroy podsumował: “Te dane jasno pokazują zgodność jednoczesnych wskazań Profilu Wartości Hartmana…potwierdzają też, że Profil Wartości Hartmana umożliwia trafny pomiar różnego rodzaju stresujących stanów, które mogą generować problemy w życiu.” 11 WERYFIKACJA KONSTRUKCYJNA I RÓWNOCZESNA Weryfikacja konstrukcyjna i równoczesna decyduje zarówno o indywidualnej, jak i komparatywnej trafności narzędzia. Profil Wartości Hartmana jest aksjologiczny z natury i dlatego ma bardziej praktyczne i użyteczne zastosowanie niż narzędzia psychologiczne, żeby stwierdzić jego aksjologiczną trafność konieczna jest jego weryfikacja w porównaniu ze standardami narzędzi aksjologicznych. To badanie zostało przeprowadzone przez dr. Johna Austina i dr. Barbarę Gardwood w 1976 roku. W badaniu wykorzystano trzy różne narzędzia w zakresie wartości jako punkty odniesienia dla przeprowadzenia weryfikacji równoczesnej. Te narzędzia to Skala Wartości Rokeacha (RVS), Badanie Wartości Allport-Lindzey (AVL) oraz Teoria rozwoju moralnego Kohlberga (KMD). Grupa składała się z 65 studentów, średnia wieku wyniosła 23,5 roku. Wyniki zostały uzyskanie przy wykorzystaniu nieparametrycznego testu średniej znaczenia różnic między liczbą osób w dwóch podgrupach, które uzyskały wyniki powyżej i poniżej średniej. Badanie wykazało, że oczekiwane i otrzymane rankingi średniej były znaczące z korelacją na poziomie .95. Dla elementów kompozycyjnych vs. transpozycyjnych zaufanie jest znaczące przy p<.001. Badanie poszczególnych elementów wskazało, że nie ma znaczących różnic pomiędzy pojedynczymi elementami (p=.911) Wyniki tego badania udowadniają, że Profil Wartości Hartmana mierzy to, co twierdzi, że mierzy i że jest trafnym aksjologicznym narzędziem. Dr. Austin i dr. Gardwood prezentowali to badania i jego wyniki na Narodowym Konwencie Stowarzyszenia Szkolnych Psychologów w marcu 1977 roku. 12 BIZNESOWA KONIECZNOŚĆ EEOC wymaga, żeby każde narzędzie wykorzystane w selekcji kandydatów było „biznesową koniecznością” (business necessity): Narzędzie mierzy te cechy i/lub umiejętności, które bezpośrednio wiążą się z wymaganiami danego stanowiska pracy. Jeżeli narzędzie charakteryzuje się trafnością prognostyczną lub kryterialną, spełnia wymóg biznesowej konieczności. TRAFNOŚĆ PROGNOSTYCZNA Trafność prognostyczna określa precyzyjność narzędzia i jego użyteczność w przewidywaniu czy dana osoba odniesie sukces przed tym jak ta osoba zacznie pracować na danym stanowisku lub spełniać daną rolę. Następuje to po procesie przewidywania przyszłego sukcesu danej osoby na danym stanowisku w oparciu o jego/jej wyniki testów. Ta weryfikacja dostarcza podstaw do używania narzędzia zarówno w celu prześwietlenia kandydata, jak i przewodnika jak zarządzać pracownikami na poszczególnych stanowiskach. TRAFNOŚĆ KRYTERIALNA Trafność kryterialna określa na ile narzędzie odpowiada odpowiednim kryteriom lub zachowaniom. Ten rodzaj weryfikacji porównuje grupy i analizuje różnice między nimi. Kiedy analiza jest statystycznie znacząca, narzędzie jest trafnym narzędziem służącym do charakteryzowania poszczególnych członków tych dwóch grup. 13 TRAFNOŚĆ PROGNOSTYCZNA To badanie zostało przeprowadzone przez dr. Roberta K. Smitha i dr. Virginię G. Harvey w 1996 roku. Próba badania składała się z 78 osób poszukujących pracy na stanowiskach związanych z niezależnymi punktami sprzedaży detalicznej. Z 78 kandydatów 51 zostało zatrudnionych i obsadzonych na stanowiskach kierowniczych. Żaden z 78 kandydatów nie został wykluczony, ale wszystkich podzielono na kategorie według stopnia ryzyka na stanowisku kierowniczym: niski, średni, wysoki. Pod koniec trzyletniego badania, sukces oznaczał, że menadżerowie byli w stanie skutecznie rozpocząć i prowadzić działalność swojego sklepu. Porażką była nieskuteczność w prowadzeniu zyskownego sklepu, zwolnienie z uzasadnionych powodów lub bycie zmuszonym do odejścia z jakiegokolwiek powodu. Poziom ryzyka NISKI Ś ŚREDNI WYSOKI Liczba zatrudnionych 20 26 5 % Sukcesu 90 65 0 Wyniki udowadniają, że “ogólny poziom ryzyka wyznaczony przez Profil Wartości Hartmana okazał się wyraźnie prognostyczny w kontekście sukcesu zatrudnienia, osiągając poziom p<.0035”. Profil Wartości Hartmana jest trafnym i użytecznym narzędziem przy wyznaczaniu prognostycznych wskaźników sukcesu w aplikacjach biznesowych. Ta prognostyczna weryfikacja udowadnia, że Profil Wartości Hartmana spełnia wymagania EEOC w zakresie konieczności biznesowej. 14 TRAFNOŚĆ KRYTERIALNA Obsługa klienta W badaniu dotyczącym obsługi klienta wszyscy członkowie prób losowych byli zatrudnieni w sektorze obsługi klienta. Rozróżniono wśród nich tych, którzy odnieśli sukces od tych, którzy sukcesu nie odnieśli w zakresie obsługi klienta. Obiektywnym kryterium rozróżnienia były listy pochwalne od zadowolonych klientów i uznanie sukcesu danej osoby na tym stanowisku przez kierownictwo. Sprzedaż W przypadku badania w zakresie sprzedaży próba została podzielona na trzy grupy, osoby niebędące sprzedawcami, umiarkowanie efektywni sprzedawcy i sprzedawcy odnoszący sukcesu. Obiektywnym kryterium podziału tych grup były prowizje uzyskane w ciągu ostatnich trzech lat. Zarządzanie Pierwsze badanie w zakresie zarządzania porównało menadżerów, którzy odnieśli sukces z tymi, którzy ponieśli porażkę z sklepach Sara Lee Corporation. Drugie i trzecie badania porównywało tych, którzy awansowali na stanowiska kierownicze z tymi, którzy takiego awansu nie otrzymali. 15 Trafność kryterialna w zakresie obsługi klienta To badanie zostało przeprowadzone przez dr. Roberta K. Smitha i dr. Virginię Harvey na zlecenie James River Corporation w 1990 roku. Próba w badaniu składała się z 41 pracowników James River Corporation zajmujących się obsługą klienta. Kryterium podziału na dwie grupy był sukces odniesiony w roli pracownika obsługi klienta. Próba została podzielona na dwie grupy: tych, którzy uzyskali zarówno uznanie klientów, jak i kolegów z firmy za przykładową obsługę klienta i na tych, którzy nie zdobyli uznania ani klientów ani swoich współpracowników. Rynek konsekwentnie rozróżnia dobrych pracowników od tych przeciętnych i słabych. Badanie mierzyło różnice między tymi dwoma grupami w zakresie ich wypełniania ról jako personel obsługi klienta. Ogólne spostrzeżenia prowadzą do wniosku, że ci, którzy pracują przykładowo są w stanie znaleźć praktyczne rozwiązania, komunikować się z innymi, wzbudzić zaufanie wobec ich umiejętności działania i być wytrwałymi bez jednoczesnego upartego narzucania się. W celu potwierdzenia trafności Profilu Wartości Hartmana, te umiejętności musiałyby być wyróżnione za pomocą statystycznie znaczących różnic w wymiarach wyników pomiaru rozsądku, kompetencje personalne i osobiste obowiązki (E1, E2 i S2). Wyniki potwierdziły, że ci, którzy odnosili suckesy w sektorze obsługi klienta wykazali się większymi umiejętnościami w wymiarach mierzonych przez Profil Wartości Hartmana i statystycznie większymi umiejętnościami rozumowania w trzech wymiarach wymienionych powyżej (zaznaczone * w poniższej tabeli). Empatia Rozsądek Logiczne rozwiązania Samoocena Kompetencje personalne Osobiste obowiązki Wyższy % 17% 21% 15% 13% 30% 17% Wartość p .19 .02* .18 .26 .05* .07* To badanie udowadnia, że wyniki Profilu Wartości Hartmana odnoszą się bezpośrednio do zachowań, umiejętności i postaw wymaganych dla doskonałej pracy w zakresie obsługi klienta. 16 Trafność kryterialna w zakresie sprzedaży To badanie zostało przeprowadzone przez firmę Value, Inc. (Wayne Carpenter, Edward Martin) oraz Tim Garton & Associates w 1987 roku. Próba objęła 237 osoby, z czego 137 osoby to sprzedawcy z sektora ubezpieczeń i nieruchomości. Kryterium podziału tych osób na trzy grupy było następujące: • 100 osób niebędących sprzedawcami zostało losowo wybranych z bazy danych ponad 5 000 osób szukających pracy. • 87 sprzedawców otrzymujących prowizje w wysokości $50-100K/rocznie. Okres ostatnich trzech lat: określeni jako umiarkowanie skuteczni. • 50 sprzedawców otrzymujących prowizje w wysokości $100-500K/rocznie. Okres ostatnich trzech lat: określeni jako skuteczni sprzedawcy odnoszący sukces. Metodologia analizy opierała się na teście wariancji wynikającym z proporcji F z powodu trzech badanych grup. W interpretacji proporcji F kluczowe były wartości 2.00 i powyżej dla poziomu istotności .05 i 4.00 i powyżej dla poziomu istotności .01. Dla zmiennych, które nie były znaczące według testu ANOVA, zastosowano test Kruskal-Wallis. Hipoteza zakładała, że ci, którzy odnosili sukcesy statystycznie będą mieli wyższy wskaźnik „motywacji przez ego”, „empatii” i umiejętności w sześciu innych wymiarach mierzonych przez Profil Wartości Hartmana. Mierzony obszar Poziom istotności Intuicyjny wgląd (DimI1) p<.01 Rozsądek (DimE1) p<.01 Realistyczne stawianie celów (DimS1) p<.01 Samoocena (DimI2) p<.01 p<.01 Pewność siebie (DimE2) Samokontrola (DimS2) p<.01 “Motywacja przez ego” (I2/E2/S2 Val & Dims) p<.01 “Empatia” (I1Dim & Valence) p<.01 To badanie potwierdziło, że Profil Wartości Hartmana wyróżnia zachowania niezbędne dla odniesienia sukcesu w sprzedaży. 17 Trafność kryterialna w zakresie zarządzania To badanie zostało przeprowadzone przez dr. Roberta K. Smitha we współpracy z the Sara Lee Corporation w latach 1990-92. Jesienią 1990 roku za pomocą Profilu Wartości Hartmana przebadano próbę 150 menadżerów ze sklepów Sary Lee. Wszystkich uczestników badania uznano za wykwalifikowanych do pracy na stanowisku menadżerskim, byli menadżerami poszczególnych sklepów przez mniej niż dwa lata. Profil Wartości Hartmana stanowił część procesu szkolenia. Dwa lata później, jesienią 1992 roku, szef oddziału Sary Lee podzielił listę nazwisk na trzy grupy (doskonałe, dobre i nieskuteczne). Kryteria, jakimi się posłużył przy rozróżnieniu między doskonałymi a dobrymi menadżerami to „działanie, sprzedaż, obroty i umiejętność nieprzekraczania budżetu. W tym samym czasie Sara Lee przeprowadziła coroczny program oceny zarządzania (obejmujący współpracowników, podwładnych i kadry kierownicze), który oceniał wszystkich menadżerów według numerycznej skali. Te wyniki dostarczyły kolejnych podstaw do rozróżnienia doskonałych menadżerów (28) od dobrych menadżerów (79). Menadżerowie, którzy zostali zidentyfikowani jako nieskuteczni (43) zostali usunięci lub sami zrezygnowali ze stanowiska przed jesienią 1992 roku. Ponieśli porażkę z różnych przyczyn – niezdolność do skutecznego przewodzenia i zarządzania ludźmi, nieumiejętność skutecznego nadzorowania działań, niezdolność do planowania i realizowania tych planów. Wyniki tego badania opierają się na różnicach między doskonałymi menadżerami i tymi, którzy ponoszą porażkę. W tym konkretnym przypadku niezwykłą cechą wspólną wszystkich uczestników (doskonałych, dobrych i nieskutecznych) jest to, że w 1990 roku zostali wybrani przez kierownictwo jako zdolni menadżerowie sklepów. Wyniki profilu, które były porównywane to te pochodzące z testów przeprowadzonych przed jesienią 1990 roku. Ostateczne wniosku oparto na porównaniu wyników dwóch grup. Poprzednie badania pokazały, że różne typy osobowości są w stanie efektywnie spełniać role kierownicze. Zostało to potwierdzone również przez to badania w tym sensie, że zaobserwowano różnice między dwoma grupami to nie tyle różnice w cechach charakteru, co różnice w funkcjonalności: Lepsza umiejętność pracy z ludźmi i większa cierpliwość (doskonali menadżerowie byli o 18% bardziej empatyczni przy wartości I1 – 54% pozytywnych vs. 54% negatywnych) Tendencja do pracy z innymi, a nie robienia wszystkiego samemu (doskonali byli w 53% bardziej skłonni do delegowania obowiązków, z E1 na poziomie 28% vs. 43% pozytywnych) Większa tendencja do bycia proaktywnym, a nie reakcyjnym (doskonali byli w 17% bardziej nastawieni na planowanie w S2 Dim 11 vs. 13) 18 Większa osobista odwaga (ograniczona postawa defensywna) (doskonali mieli 42% zdrowszą samoocenę – I2 na poziomie 25% vs. 16% pozytywnych) Większa odporność na stres (doskonali byli w stanie w 50% lepiej funkcjonować w sytuacjach stresujących, BQRs 1.1 vs. 1.65) Wszystkie powyższe różnice są statystycznie istotne z p<.05. To badanie potwierdza, że wyniki Profilu Wartości Hartmana odnoszą się bezpośrednio do zachowań, umiejętności i postaw, które jak potwierdził rynek wyznaczają równice między tymi, którzy odnoszą sukces w zarządzaniu sklepem od tych, którym się to nie udaje. 19 Trafność kryterialna w zakresie zarządzania (przypadek B) To badanie zostało przeprowadzone przez dr. Roberta K. Smitha w 1993 roku. W latach 1988-1993 na próbie 257 menadżerów z ośmiu różnych firm przeprowadzono badanie za pomocą Profilu Wartości Hartmana. Wszyscy uczestnicy badania zajmowali stanowiska kierownicze, kiedy poddali się testowi, Profil Wartości Hartmana stanowił część ich ciągłego procesu rozwoju. Próbę podzielono na trzy grupy: menadżerów doskonałych, dobrych i słabych. Dla rozróżnienia doskonałych menadżerów od słabych zastosowano następujące kryteria: wybitne osiągnięcia w danej dziedzinie, skuteczność w relacjach z ludźmi, obroty, umiejętność nieprzekraczania budżetu. Wszyscy zostali ocenieni przez swoich współpracowników, podwładnych i zwierzchników, którzy ocenili ich jako doskonałych (70), dobrych (100) lub słabych (87). Żeby menadżer został uznany za słabego, muszą istnieć bieżące nierozwiązane problemy, musi wykazać się rażącym brakiem efektywności lub porażkami w obszarze, w którym inni odnosili sukcesy. Wyniki tego badania opierają się na różnicach między doskonałymi a słabymi menadżerami. Ostateczne wnioski opierają się na porównaniu wymiarowych wyników tych dwóch grup. Poprzednie badania w obszarze zarządzania pokazały, że różne typy osobowości mogą się sprawdzić na stanowiskach menadżerskich. To badanie potwierdziło tę tezę, różnice między badanymi grupami dotyczyły raczej zdolności funkcjonowania, a nie osobistych cech. Słabi menadżerowie nie uzyskali wyższych wyników niż doskonali menadżerowie w żadnym z wymiarów. Doskonali menadżerowie statystycznie przewyższali słabych menadżerów w następujących obszarach: Lepsza umiejętność pracy z ludźmi i większa cierpliwość (doskonali menadżerowie byli o 26% bardziej empatyczni przy wartości I1 – 59% pozytywnych vs. 43% negatywnych) Tendencja do pracy z innymi, a nie robienia wszystkiego samemu (doskonali byli w 25% bardziej skłonni do delegowania obowiązków, z E1 na poziomie 32% vs. 44% pozytywnych) Większa osobista odwaga (ograniczona postawa defensywna) (doskonali mieli 13% zdrowszą samoocenę – I2 dim na poziomie 11 vs. 13) Większa doza rozsądku przy konfrontacji (doskonali byli o 18% bardziej rozsądni i mniej uparci niż słabi menadżerowie, S2 dim i 12 vs. 14) Wszystkie powyższe różnice są statystycznie istotne z p<.05. To badanie potwierdza, że wyniki Profilu Wartości Hartmana odnoszą się bezpośrednio do zachowań, umiejętności i postaw, które jak potwierdził rynek wyznaczają równice między tymi, którzy odnoszą sukces w zarządzaniu sklepem od tych, którym się to nie udaje. 20 Trafność kryterialna w zakresie zarządzania (Przypadek C) To badanie zostało przeprowadzone przez Kinsel Enterprises, Inc. (dr. Robert K. Smith i Ken Bandy) w roku 1996. W latach 1987-1991 120 kobiet pracujących w biznesie wzięło udział w badaniu za pomocą Profilu Wartości Hartmana w ramach ciągłego szkolenia się i rozwoju. Uczestniczki pochodziły z 20 różnych firm w 6 stanach, były w wieku od dwudziestu-kilku do pięćdziesięciu-kilku lat. Próbę podzielono na dwie grupy, pierwsza objęła kobiety na stanowiskach kierowniczych w swoich firmach (20), druga te, które nie pełniły funkcji kierowniczych (100). Wyniki tego badania opierają się na różnicach między menadżerami i niemenadżerami. Ostateczne wnioski zostały wyciągnięte na podstawie porównania wyników obydwu grup w poszczególnych wymiarach. Badanie potwierdziło, że różnice między dwoma grupami są znaczące w pięciu obszarach. Kobiety z grupy nie-menadżerów nie uzyskały wyników wyższych niż kobiety z grupy menadżerskiej w żadnej z kategorii. Lepsze umiejętności w zakresie podejmowania decyzji i stosowania rozsądnego myślenia (kobiety z grupy menadżerów w 23% lepiej podejmowały decyzje i stosowały rozsądek, Dim E1 7.25 vs. 8.9) Większa osobista odwaga (ograniczona postawa defensywna) (kobiety z grupy menadżerów miały o 20% zdrowszą samoocenę z I2 na poziomie 22% vs. 19% i Dim – 10.1 vs 12.5) Lepsza umiejętność dokonania precyzyjnej samooceny w zakresie mocnych stron, ograniczeń i kompetencji (kobiety z grupy menadżerów były o 12.5% bardziej precyzyjne w ocenie swoich umiejętności i ról z Dim E2 na poziomie 12.75 vs 14.25) Większa swoboda popełniania błędów, ryzykowania strat i zmian własnych priorytetów (kobiety z grupy menadżerów były o 13% bardziej rozsądne i mniej dogmatyczne z Dim S2 na poziomie 11.5 vs. 13.8) Wszystkie powyższe różnice są statystycznie istotne z p<.05. To badanie potwierdza, że wyniki Profilu Wartości Hartmana odnoszą się bezpośrednio do zachowań, umiejętności i postaw, które jak potwierdza rynek stanowią różnice między kobietami, które zdobywają stanowiska kierownicze i tymi, którym się to nie udaje. 21 Badanie przestępcy vs. pozostali Weryfikacja kryminaliści vs. pozostali porównuje skazanych przestępców z resztą populacji i analizuje różnice między tymi dwiema grupami. Kiedy analiza jest statystycznie istotna, narzędzie jest trafne w rozpoznawaniu cech, które odróżniają przestępców od pozostałych. Na potrzeby tego badania zakładamy, że system sądowniczy stanu Tennessee w sposób rozsądny rozróżnia groźnych przestępców od reszty społeczeństwa. Ogólnie mówiąc kryminaliści to ludzie, których zachowanie wywodzi się z niezdolności wykorzystania swojej siły, żeby pokonać własne słabości. Pozostałe osoby to ci, którzy mogą i polegają na własnej sile, żeby panować nad swoimi słabościami. Żeby udowodnić trafność Profilu Wartości Hartmana analiza profilu przestępców i pozostałych powinna ujawnić znaczące różnice w ich zdolności rozumowania i efektywnego funkcjonowania w stresujących sytuacjach. To badanie zostało przeprowadzone przez dr. Marka Moore’a oraz dr. Phila Kinga w 1994 roku. Badanie objęło 44 skazanych przestępców odsiadujących wyroki w stanowym więzieniu Brushy Mountain, więzieniu o zaostrzonym rygorze w stanie Tennessee. Przestępcy poddali się badaniu za pomocą Profilu Wartości Hartmana odsiadując wyroki za morderstwo lub brutalny gwałt. Profile reszty społeczeństwa zostały wybrane z bazy danych dr. Moore’a, zawierającej profile 500 osób z różnych środowisk w Stanach Zjednoczonych. Hipoteza zerowa mówiła, że nie ma znaczącej różnicy między skazanymi przestępcami a ogółem populacji. Podsumowanie wyników dla sześciu kluczowych obszarów Profilu Wartości Hartmana (z zastosowaniem metody dr. Hartmana – im niższy wynik, tym większa zdolność rozumowania i funkcjonowania w stresujących sytuacjach): Zdolność do Przestępcy Empatii (I1) 11.85 Praktycznego rozumowania (E1) 14.76 Logicznego rozumowania (S1) 17.43 Cenienia samego siebie(I2) 18.26 Porównywania samego siebie (E2) 19.02 Definiowania samego siebie (S2) 17.80 Pozostali 8.42 9.08 13.63 11.45 14.30 13.49 Podsumowanie wyników dla sześciu kluczowych obszarów Profilu Wartości Hartmana przy użyciu metody dr. Moore’a (analiza wektorowa – im wyższy wynik tym większa umiejętność rozumowania i funkcjonowania w stresujących sytuacjach): 22 Zdolność do Przestępcy Empatii (I1) 4.86 Praktycznego rozumowania (E1) 2.68 0.67 Logicznego rozumowania (S1) Cenienia samego siebie(I2) 0.05 Porównywania samego siebie (E2) -0.52 Definiowania samego siebie (S2) 0.40 Pozostali 7.44 6.94 3.53 5.16 3.03 3.63 Dla obu metod, różnice są statystycznie istotne p<.05. To badanie jest znaczące, bo wykazuje duże statystyczne różncie między ludźmi, którzy są w stanie normalnie funkcjonować w społeczeństwie i tymi, którzy nie są w stanie tego zrobić. Dostarcza obiektywnego, behawioralnego kryterium, wobec którego wyniki są porównywane. Mimo, że rzadko jest powód do tego, żeby spotkać lub tworzyć profil morderców czy gwałcicieli, badanie potwierdza, że Profil Wartości Hartmana precyzyjnie mierzy zdolność do wartościowania przez ocenę ludzi na tym najbardziej dysfunkcyjnym końcu behawioralnego spektrum. 23 PODSUMOWANIE Teoria, na której opiera się Profil Wartości Hartmana jest przedmiotem kontroli i testów, tak jak wszystkie naukowe teorie. W oparciu o obserwacje natury naszego świata naukowcy proponują reguły, które definiują i kategoryzują te zaobserwowane zachowania lub cechy. Następnie system matematyczny z takimi samymi właściwościami jest przyłączany do tego systemu. Ten system matematyczny modeluje świat bez konieczności obecności naukowców w tym świecie. Dlatego naukowcy na Ziemi są w stanie zaprojektować drabinę, która będzie użyteczna na księżycu. Opracowanie teorii i znalezienie matematycznego systemu, który ma izomorficzny związek z tą teorią – to właśnie robił doktor Robert S. Hartman w latach 1945-1973 przy odkrywaniu formalnej aksjologii. Jednym z praktycznych wyników tej pracy był Profil Wartości Hartmana. Dr. Hartman był nominowany do Pokojowej Nagrody Nobla w 1973 roku dzięki wnioskom, do jakich doszedł przy wykorzystaniu formalnej aksjologii. Kiedy teoria naukowa jest zdefiniowana, dowody tej teorii opierają się na spójności i możliwości zastosowania w odpowiednich aspektach oraz zgodności z wcześniej udowodnionymi założeniami. Dlatego fizyk nie musi latać samolotem ani ich obserwować, żeby być w stanie zaprojektować taki, który będzie latał. Matematycznie modeluje lot dużych samolotów wykorzystując wcześniej udowodnioną formułę lotu, żeby zaprojektować nowy samolot. Następnie potwierdza swój projekt (a jednocześnie teorię), kiedy samolot naprawdę wzbija się w powietrze. Kamieniem węgielnym wśród narzędzi aksjologicznych jest Profil Wartości Hartmana. Sformułowanie Profilu wyraża zgodność z wcześniej udowodnionymi założeniami. Trzy środkowe badania w tym kompendium potwierdzają tę tezę. Ostatnie osiem testów potwierdza trafność i rzetelność narzędzi aksjologicznych w prawdziwym życiu. Te badania, przeprowadzone w ciągu 15 lat przez 19 osób, potwierdzają założenia formalnej aksjologii i udowadniają, że Profil Wartości Hartmana jest rzetelny, trafny, zgodny z wymogami EEOC i użyteczny w różnorodny sposób dla przemysłu i nauk społecznych. 24