Zastosowanie współczynnika konkordancji w pomiarze zgodności
Transkrypt
Zastosowanie współczynnika konkordancji w pomiarze zgodności
PRZEGLkD STATYSTYCZNY R. LVII – ZESZYT 2-3 – 2010 PAWE CABAA ZASTOSOWANIE WSPÓCZYNNIKA KONKORDANCJI W POMIARZE ZGODNO¥CI OCEN EKSPERTÓW 1. UWAGI WST}PNE Wedïug tzw. koherencyjnej teorii prawdy prawdziwe jest to, co jest wewnÚtrznie spójne, co do czego istnieje zgoda. ZgodnoĂÊ ocen wyraĝanych przez ekspertów jest podstawÈ formuïowania sÈdów ogólnych, które jednak – wbrew postulatom teorii koherencji – nie zawsze okazujÈ siÚ sÈdami prawdziwymi. Znane z historii biznesu przypadki pomyïek ekspertów doprowadzaïy do powaĝnych dysfunkcji wdraĝanych rozwiÈzañ, upadku przedsiÚbiorstw, a takĝe kosztujÈcych ĝycie ludzi katastrof przemysïowych. Mimo ryzyka bezkrytycznego polegania na opiniach ekspertów, bïÚdów jednomyĂlnoĂci i ich skutków spoïecznych, wydaje siÚ, ĝe nie ma lepszej alternatywy. Ryzyko wystawienia bïÚdnej oceny bywa jeszcze wiÚksze, gdy polegamy na jednej tylko opinii. Weryfikacja zgodnoĂci ocen odgrywa doniosïÈ rolÚ tak w zakresie badañ diagnostycznych jak i w studiach prospektywnych (np. foresighting). Rzetelna ocena zïoĝonych zjawisk spoïeczno-gospodarczych nie jest w praktyce moĝliwa bez odwoïywania siÚ do opinii ekspertów. W analizie i projektowaniu systemów zarzÈdzania przedsiÚbiorstwem ekspertami sÈ nie tylko konsultanci zewnÚtrzni, lecz przede wszystkim kadra menedĝerska, która jest odpowiedzialna za przygotowanie i wdraĝanie strategii. Jeĝeli zgodnoĂÊ wystawionych przez grupÚ ekspertów ocen jest na odpowiednio wysokim poziomie, to jesteĂmy uprawnieni do formuïowania sÈdów ogólnych. SÈd ogólny w tym przypadku jest ĂredniÈ (lub sumÈ) wystawionych ocen przez wszystkich ekspertów. Odnotowana rozbieĝnoĂÊ ocen nie uprawnia nas do wykonywania takich operacji. Stosowana praktyka odrzucania ocen skrajnych i przyjmowania Ăredniej pozostaïych ocen jest równieĝ niedopuszczalna z metodologicznego punktu widzenia. SprawÈ otwartÈ pozostaje odpowiedě na pytanie, jakie dziaïania naleĝy podjÈÊ w przypadku braku zgodnoĂci w ocenach. Generalnie istniejÈ trzy ěródïa braku zgodnoĂci w opiniach na temat danego obiektu. Pierwszym jest niska kompetencja grupy osób oceniajÈcych (nie chodzi tyle o niskie kompetencje poszczególnych osób, lecz o brak kompetencji caïej grupy oceniajÈcych). Drugi powód braku zgodnoĂci jest zwiÈzany z niewïaĂciwie zorganizowanym procesem oceny. Trzecim ěródïem niezgodnoĂci jest ěle zdefiniowany obiekt oceny. Zastosowanie wspóïczynnika konkordancji w pomiarze zgodnoĂci ocen ekspertów 37 Stwierdzenie braku zgodnoĂci w ocenach umoĝliwia podjÚcie dziaïañ majÈcych na celu eliminacjÚ przyczyn niezgodnoĂci bÈdě – gdy przyczyny sÈ niemoĝliwe do usuniÚcia – powstrzymanie siÚ od formuïowania oceny ogólnej. W praktyce badawczej do oceny zgodnoĂci ocen (preferencji) czÚsto wykorzystuje siÚ metody analizy korelacji rang. Proces oceny sprowadza siÚ wtedy do realizacji trzech faz badawczych. W fazie pierwszej ustalany jest stopnieñ wspóïzaleĝnoĂci miÚdzy ocenami ekspertów na temat wzglÚdnej pozycji badanych obiektów. W fazie drugiej przeprowadzane sÈ odpowiednie testy niezaleĝnoĂci. Faza trzecia polega na sporzÈdzeniu ostatecznego porzÈdku rangowego badanych obiektów. Artykuï niniejszy przedstawia zagadnienie analizy zgodnoĂci ocen z wykorzystaniem metod korelacji rang oraz dyskusjÚ nad zaletami i ograniczeniami stosowania tych metod. Zwrócono uwagÚ przede wszystkim na dwa zagadnienia: pomiar zgodnoĂci miÚdzy ocenami co najmniej trzech ekspertów oraz problematykÚ pomiaru zgodnoĂci w przypadkach wystÚpowania tzw. rang wiÈzanych. 2. POMIAR ZGODNO¥CI USZEREGOWA MOCNYCH Dwa czynniki majÈ rozstrzygajÈce znacznie w pomiarze zgodnoĂci ocen ekspertów. SÈ to: iloĂÊ szeregów preferencyjnych oraz rodzaj skali porzÈdkowej. Szereg preferencyjny odzwierciedla uporzÈdkowanie zbioru obiektów (elementów) dokonane przez danego eksperta (obserwatora, sÚdziego, jurora). Kaĝdemu obiektowi nadawana jest ranga okreĂlajÈca jego pozycjÚ wzglÚdem pozostaïych obiektów na skali porzÈdkowej. Rodzaj skali porzÈdkowej (mocna lub sïaba) ma natomiast wpïyw zarówno na sposób obliczeñ, jak i na dobór odpowiedniego testu istotnoĂci. Do pomiaru zgodnoĂci uporzÈdkowañ miÚdzy dwoma szeregami preferencyjnymi stosuje siÚ wspóïczynnik korelacji rang r Spearmana lub wspóïczynnik korelacji rang t Kendalla. Gdy mamy do czynienia z wiÚcej niĝ dwoma szeregami rangowymi, wówczas najczÚĂciej stosowanym miernikiem oceny zgodnoĂci preferencji jest wskaěnik konkordancji W Kendalla (concordance coefficient), zwany wspóïczynnikiem zgodnoĂci [1] lub precyzyjniej: wspóïczynnikiem zgodnoĂci uporzÈdkowañ wielokrotnych [5]. Poniĝej skoncentrujemy siÚ na problemie oceny zgodnoĂci miÚdzy wiÚcej niĝ dwoma uszeregowaniami (m > 2). RozwiniÚte zostanie równieĝ zagadnienie uszeregowañ sïabych (tzw. rang wiÈzanych – tied ranks), które mimo ĝe komplikuje obliczenia, ma niebagatelne znacznie praktyczne. Pomiar stopnia zgodnoĂci uporzÈdkowañ sprowadza siÚ do konstrukcji wspóïczynnika, w którym licznik wyraĝa wartoĂÊ odzwierciedlajÈcÈ stopieñ rzeczywistych powiÈzañ miÚdzy szeregami preferencyjnymi (S), a mianownik analogicznÈ wartoĂÊ, jednak dla sytuacji peïnej zgodnoĂci uporzÈdkowañ rangowych, czyli maksymalnie moĝliwÈ do uzyskania (Smax). RangÚ j-tego obiektu (gdzie j = 1, 2, …, n) nadanÈ przez i-tego eksperta (i = 1, 2, …, m) oznaczmy aij. W wyniku oceny n obiektów dokonanej przez m obserwatorów otrzymujemy macierz uporzÈdkowañ, której wiersze przedstawiajÈ szeregi preferencyjne, a kolumny rangi nadane obiektom przez kolejnych ekspertów: 38 Paweï Cabaïa a 11 a 12 a 21 a 22 . . a m1 a m 2 f a 1n f a 2n f . f a mn Wyróĝniamy dwa typy uporzÈdkowañ rangowych (czyli szeregów preferencyjnych): mocne i sïabe (o rangach niepowiÈzanych i rangach powiÈzanych). Najpierw omówimy pierwszy przypadek, czyli zagadnienie pomiaru zgodnoĂci miÚdzy szeregami o uporzÈdkowaniu mocnym. Rozwaĝmy przykïad podany w tabeli 1. PiÚciu obiektom A, B, C, D oraz E (n = 5) zostaïy nadane rangi przez trzech ekspertów (m = 3). Rangi te nie sÈ powiÈzane, co oznacza ĝe mamy do czynienia z uporzÈdkowaniem mocnym. Ta b e l a 1 Przykïad trzech szeregów preferencyjnych o uporzÈdkowaniu mocnym Wyszczególnienie A B C D E Suma szeregów ekspert 1 4 2 5 1 3 15 ekspert 2 3 1 4 2 5 15 ekspert 3 2 3 5 1 4 15 Suma rang (Rj) 9 6 14 4 12 45 ½ródïo: opracowanie wïasne. W uporzÈdkowaniu mocnym wszystkie liczby oznaczajÈce pozycje ocenianych obiektów sÈ róĝne. MówiÈc inaczej ekspert jest w stanie rozróĝniÊ waĝnoĂÊ ocenianych obiektów (uszeregowaÊ je w kolejnoĂci waĝnoĂci). Bez wzglÚdu na porzÈdek takiego uszeregowania, suma rang dla danego szeregu jest równa sumie n pierwszych liczb n (n + 1) . Jeĝeli wszystkie szeregi preferencyjne bÚdÈ miaïy porzÈdek naturalnych, czyli 2 mn (n + 1) mocny, to suma sum tych rang bÚdzie równa , a Ărednia arytmetyczna sum 2 m (n + 1) rang . W zapisie formalnym: 2 a) suma rang Rj dla j-tego obiektu: m Rj = / a ij, (1) i=1 b) suma sum rang wszystkich n obiektów: n / R j = mn (n2+ 1) , j=1 (2) Zastosowanie wspóïczynnika konkordancji w pomiarze zgodnoĂci ocen ekspertów 39 c) Ărednia arytmetyczna sum rang dla wszystkich n obiektów: n / R j = m (n2+ 1) . r = n1 R (3) j=1 r oznaczymy jako S, to: Jeĝeli sumÚ kwadratów odchyleñ Rj od Ăredniej R S= n n j=1 j=1 / _ R j - Rr i2 = / b R j - m (n2+ 1) l 2 (4) . WielkoĂÊ S osiÈga maksymalnÈ wartoĂÊ (którÈ oznaczymy Smax) tylko w przypadku peïnej zgodnoĂci rang miÚdzy szeregami preferencyjnymi. W takiej sytuacji sumy rang Rj dla kolejnych obiektów bÚdÈ równe: m, 2m, …, jm, …, nm (lub w dowolnym innym r moĝna porzÈdku). MaksymalnÈ wartoĂÊ sumy kwadratów odchyleñ Rj od Ăredniej R wyznaczyÊ w sposób nastÚpujÈcy: n S max = / b jm - m (n2+ 1) l 2 j=1 n = m2 / c j 2 - 2j (n +2 1) + (n +4 1) m, (5) j=1 a poniewaĝ suma kwadratów n pierwszych liczb naturalnych wynosi wiÚc S max = m 2 c 2 n (n + 1) (2n + 1) , 6 m2 ^n3 - nh n (n + 1) (2n + 1) n (n + 1) 2 n (n + 1) 2 m= + . 4 6 2 12 (6) Wspóïczynnik zgodnoĂci W jest ilorazem rzeczywistej wielkoĂci S i wielkoĂci Smax, czyli maksymalnej moĝliwej do uzyskania. Ostatecznie: S W= S = max / nj = 1 b R j - m (n2+ 1) l 1 2 3 12 m ^ n - n h 2 . (7) Wspóïczynnik W osiÈga wartoĂci od 0 do 1. W przypadku caïkowitej niezgodnoĂci uszeregowañ S wyniesie zero bÈdě bÚdzie relatywnie niskie w porównaniu z Smax. Dla przykïadu podanego w tabeli 1 stopieñ zgodnoĂci ocen trzech ekspertów wyraĝony wspóïczynnikiem konkordancji wynosi: n W= 12 $ 68 / R - 9 h2 = 121080 = 0,756. 3 2 ^ 5 3 - 5 h j = 1^ j 3. POMIAR ZGODNO¥CI USZEREGOWA SABYCH Rangi powiÈzane oznaczajÈ sytuacje, w której eksperci oceniajÈcy obiekty uznajÈ, ĝe nie ma róĝnicy miÚdzy niektórymi z tych obiektów. Brak róĝnicy w ocenie oznacza, 40 Paweï Cabaïa ĝe jedna (lub wiÚcej) ranga wiÈĝe co najmniej dwa obiekty. Moĝemy przy tym rozwaĝyÊ dwa szczególne przypadki: a) obserwatorzy proszeni sÈ o uszeregowanie n obiektów w skali od 1 do n i nie sÈ w stanie rozróĝniÊ istotnoĂci miÚdzy niektórymi obiektami, w zwiÈzku z tym nadajÈ nierozróĝnialnym obiektom tÚ samÈ rangÚ. Przykïadowo szereg: 6, 2, 3, 1, 3, 4, 8, 7, 6 oznacza, ĝe obserwator nadaï rangi 9 obiektom, przy czym nie byï w stanie dostrzec róĝnicy miÚdzy obiektem 1 i 9 oraz 3 i 5 (pozycje te sÈ zwiÈzane tÈ samÈ rangÈ), b) obserwatorzy proszeni sÈ o uszeregowanie n przedmiotów w skali od 1 do k, gdzie k jest liczbÈ naturalnÈ, ale mniejszÈ od n. Przykïadowo obserwator jest proszony o ocenÚ 10 obiektów, przy czym ocena ma byÊ dokonana w skali od 1 do 7. Naturalnym jest, ĝe w takim przypadku czÚĂÊ obiektów bÚdzie musiaïa byÊ zwiÈzana tÈ samÈ rangÈ. Jeĝeli wyniki ocen ekspertów dajÈ szeregi z rangami wiÈzanymi i jeĝeli chcemy posïuĝyÊ siÚ w pomiarze zgodnoĂci wspóïczynnikiem konkordancji, konieczne jest zastosowanie metody rang uĂrednionych (mid-rank metod). Metoda ta polega na uĂrednieniu rang powiÈzanych w taki sposób, by daïy szereg analogiczny do szeregu, w którym wszystkie obiekty sÈ rozróĝnialne. W wyniku takiego przeksztaïcenia otrzymujemy n (n + 1) , czyli równa sumie analogiczuszeregowanie, którego suma rang jest równa 2 nego szeregu o uporzÈdkowaniu mocnym. W tabeli 2 pokazano przykïad zamiany rang wiÈzanych na rangi uĂrednione. Ta b e l a 2 Przykïad przeksztaïcania rang wiÈzanych Numer obiektu A B C D Rangi eksperta: 6 2 3 1 Rangi uĂrednione: 7 2 3,5 1 E F G H I Suma rang 3 4 6 7 6 38 3,5 5 7 9 7 45 ½ródïo: opracowanie wïasne. Jak widaÊ w tabeli 2 surowe wyniki rangowania dajÈ szereg, którego suma jest równa 38. Obiekt D otrzymaï rangÚ 1, a obiekt B rangÚ 2. Obiekty C oraz E sÈ zwiÈzane tÈ samÈ rangÈ 3. W celu zamiany na rangi uĂrednione naleĝy ich pozycje uĂredniÊ, a poniewaĝ zajmujÈ one w kolejnoĂci rangowania pozycje 3 i 4 (po D i B) 3+4 wiÚc obiekty te otrzymujÈ rangÚ 3,5 b 2 l . PiÈtÈ pozycjÚ w kolejnoĂci zajmuje obiekt F, który otrzymaï rangÚ 4, lecz ze wzglÚdu na dwie poprzedzajÈce go rangi wiÈzane otrzymuje rangÚ 5 (przed nim znalazïy siÚ juĝ 4 obiekty D, B, C i E). Obiekty A, G i I wiÈĝe z kolei ranga 6, a poniewaĝ zajmujÈ one kolejne pozycje 6, 7 i 8, to otrzy6+7+8 l . OstatniÈ pozycjÚ (czyli rangÚ 9) zajmuje obiekt H, którego mujÈ rangÚ 7 b 3 pierwotna ranga wyniosïa 7. Suma rang w ten sposób uĂrednionych wynosi 45 i jak moĝna sprawdziÊ jest równa sumie pierwszych 9 liczb naturalnych. Zastosowanie wspóïczynnika konkordancji w pomiarze zgodnoĂci ocen ekspertów 41 Poza uĂrednieniem rang naleĝy wprowadziÊ korektÚ w mianowniku wspóïczynnika konkordancji (Smax). W tym celu dla szeregów, w których wystÚpujÈ rangi powiÈzane oblicza siÚ wartoĂÊ Ti: k 1 Ti = 12 / _ t 3j - t j i, j=1 (8) gdzie k oznacza liczbÚ grup posiadajÈcych tÈ samÈ rangÚ (j = 1, 2, …, k) w i-tym szeregu, a symbol tj liczbÚ identycznych rang wiÈzanych w danej grupie. W szeregu pokazanym w tabeli 2 wystÚpujÈ dwie grupy rang o identycznych rangach wiÈzanych (k = 2); w pierwszej grupie sÈ dwie identyczne rangi wiÈzane (obiekty C i D otrzymaïy rangÚ 3,5, czyli t1 = 2), a w drugiej – trzy takie same rangi wiÈzane (obiekty A, G, I majÈ rangÚ 7, czyli t2 = 3). StÈd: 1 T1 = 12 ^ ^ 2 3 - 2 h + ^ 3 3 - 3 hh = 2,5. Dla szeregu o uporzÈdkowaniu mocnym (bez rang zwiÈzanych) suma kwadratów n3 - n odchyleñ od Ăredniej wynosi 12 , czyli w naszym przypadku jest równa 60 (n = 9). n3 - n WielkoĂÊ 12 - T1 jest sumÈ kwadratów odchyleñ od Ăredniej szeregu z rangami wiÈzanymi (w przykïadzie: 60 – 2,5 = 57,5). Moĝna bezpoĂrednio sprawdziÊ, ĝe suma kwadratów odchyleñ od Ăredniej dla szeregu z rangami uĂrednionymi (drugi wiersz tabeli 2) jest równa 57,5. Dla m szeregów z rangami wiÈzanymi wartoĂÊ T: m T= / Ti (9) i=1 oznacza poprawkÚ na rangi wiÈzane wystÚpujÈce we wszystkich szeregach. W przypadku peïnej zgodnoĂci miÚdzy m szeregami rangi wiÈzane dotyczÈ tych samych obiektów, dlatego wielkoĂÊ T mnoĝymy przez m. Ostatecznie wspóïczynnik konkordancji dla rang powiÈzanych jest równy: S W = S - mT = max / nj = 1 b R j - m (n2+ 1) l 2 . 1 2 3 m n n mT ^ h 12 (10) 4. UOGÓLNIONA FORMUA WSPÓCZYNNIKA KONKORDANCJI I TESTY ISTOTNO¥CI Poniĝej przedstawimy propozycjÚ dogodniejszego sposobu obliczania wspóïczynnika konkordancji, którÈ warto stosowaÊ zwïaszcza w przypadku wystÚpowania rang wiÈzanych: 42 Paweï Cabaïa S W = mG , (11) gdzie m, n / G= i, j = 1 b a ji - (n + 1) 2 2 l . (12) WielkoĂÊ G jest sumÈ kwadratów odchyleñ wszystkich rang od Ăredniej szeregu. (n + 1) Z definicji Ărednie wszystkich szeregów sÈ równe i wynoszÈ 2 , bez wzglÚdu na wystÚpowanie rang powiÈzanych (i pod warunkiem, ĝe rangi powiÈzane zostanÈ uĂrednione). Suma kwadratów odchyleñ od Ăredniej szeregu, w którym nie wystÚpujÈ rangi n3 - n wiÈzane wynosi 12 . MajÈc m takich szeregów otrzymujemy: mG = m2 ^n3 - nh = S max . 12 (13) W przypadku wystÚpowania rang wiÈzanych prawdziwe jest z kolei równanie: mG = Smax – mT. (14) Równanie powyĝsze pozwala na wyznaczenie T, bez koniecznoĂci zliczania iloĂci rang powiÈzanych, wyznaczania dla kaĝdego szeregu Ti, a nastÚpnie sumowania tych wartoĂci. Warto wiÚc w praktyce korzystaÊ z poniĝszej formuïy: T= 1 2 3 3 S max - mG 12 m ^ n - n h - mG = m ^ n - n h - G. = m m 12 (15) Wyznaczanie wielkoĂci T jest niezbÚdne do przeprowadzenia testu istotnoĂci dla szeregów z rangami wiÈzanymi, które przedstawiamy poniĝej. ZakïadajÈc, ĝe eksperci w swych opiniach sÈ niezaleĝni, moĝemy uznaÊ, ĝe pojawienie siÚ konkretnego ukïadu uszeregowañ jest równie prawdopodobne jak kaĝdego innego. Na tej podstawie moĝna zidentyfikowaÊ rozkïad S. Dla danego m i n istnieje (n!)m wszystkich moĝliwych uszeregowañ rangowych. Dla niskich wartoĂci m i n opracowano tablice rzeczywistego rozkïadu prawdopodobieñstwa uzyskania okreĂlonej wartoĂci S. I tak M. Kendall podaje rozkïady prawdopodobieñstwa uzyskania wartoĂci S dla nastÚpujÈcych wielkoĂci: a) n = 3; 2 £ m £ 10 b) n = 4; 2 £ m £ 6, c) n = 5, m = 3. Bardziej podrÚczne sÈ tablice rozkïadu S na poziomach istotnoĂci a = 0,05 i 0,01, dla 3 £ n £ 7 oraz 3 £ m £ 20 ([9], a w polskiej literaturze: [12]). Dla liczby obiektów wiÚkszej od siedmiu (n > 7) zadowalajÈcym przybliĝeniem rzeczywistego rozkïadu S jest rozkïad chi-kwadrat. Dla uszeregowañ mocnych (bez rang wiÈzanych) wartoĂÊ statystyki: Zastosowanie wspóïczynnika konkordancji w pomiarze zgodnoĂci ocen ekspertów S |2r = m (n - 1) W = 1 , mn ( n + 1 ) 12 43 (16) porównujemy z wartoĂciÈ |2a odczytanÈ z tablic rozkïadu chi-kwadrat dla n – 1 stopni swobody (df) oraz dla zaïoĝonego poziomu istotnoĂci a. Jeĝeli w szeregach preferencyjnych wystÚpujÈ rangi wiÈzane, to wartoĂÊ chi-kwadrat obliczamy na podstawie statystyki: S |2r = 1 . 1 mn ( n + 1 ) T 12 n-1 (17) Testowanie istotnoĂci statystycznej wspóïczynnika konkordancji polega na postawieniu hipotezy zerowej (H0), która gïosi ĝe badane szeregi rangowe nie sÈ ze sobÈ powiÈzane. HipotezÚ zerowÈ odrzucamy, gdy obliczona wartoĂÊ |2r (lub wartoĂÊ S, jeĝeli korzystamy z tablic rzeczywistego rozkïadu S dla n £ 7) jest równa lub wyĝsza niĝ |2a , czyli wartoĂci odczytanej z tablic rozkïadu chi-kwadrat dla d¦ = n – 1 stopni swobody przy danym poziomie istotnoĂci a. Przykïadowo dla szeregów podanych w tab. 1 wartoĂÊ wspóïczynnika W wyniosïa 0,756. MieliĂmy tam do czynienia z ocenÈ piÚciu obiektów dokonanÈ przez trzech ekspertów i wszystkie szeregi miaïy porzÈdek mocny. W takim wypadku najlepiej jest skorzystaÊ z opracowanych tablic rzeczywistego rozkïadu S, z których moĝemy odczytaÊ, ĝe dla n = 5 i m = 3 oraz dla a = 0,05 wartoĂÊ krytyczna S wynosi 64,4. Poniewaĝ rzeczywista wartoĂÊ S w tym przykïadzie wyniosïa 68, wiÚc przy a = 0,05 hipotezÚ zerowÈ naleĝy odrzuciÊ na korzyĂÊ stwierdzenia, ĝe miÚdzy badanymi szeregami istnieje statystycznie istotna zaleĝnoĂÊ. Dla porównania z tablic podanych przez M. Kendalla moĝna odczytaÊ, ĝe prawdopodobieñstwo uzyskania wartoĂci S ³ 64 wynosi 0,045. 5. INTERPRETACJA WYNIKÓW POMIARU Celem oceny zgodnoĂci miÚdzy szeregami preferencyjnymi jest ustalenie ostatecznego porzÈdku rangowego. Ostateczne rangi sÈ wyznaczane na podstawie Ăredniej (lub sumy) rang dla badanych obiektów. PorzÈdek taki moĝemy jednak ustaliÊ dopiero po stwierdzeniu satysfakcjonujÈcego poziomu zgodnoĂci miÚdzy ekspertami (obserwatorami). StÈd wïaĂnie wynika potrzeba pomiaru stopnia zgodnoĂci. Odpowiedě na pytanie, jaka wartoĂÊ wspóïczynnika konkordancji Ăwiadczy o zgodnoĂci uporzÈdkowañ nie jest prosta. WartoĂÊ wspóïczynnika W ksztaïtuje siÚ w przedziale od 0 do 1, gdzie 1 oznacza peïnÈ zgodnoĂÊ uporzÈdkowañ, a 0 brak zgodnoĂci. Bardziej przemawiajÈcym do intuicji sÈ wspóïczynniki korelacji, których wartoĂci ksztaïtujÈ siÚ od -1 do 1, gdzie wartoĂci ujemne odzwierciedlajÈ siïÚ niezgodnoĂci, wartoĂci dodatnie siïÚ zgodnoĂci. Taka interpretacja jest prosta, gdy mamy do czynienia z dwoma szeregami (mówiÈc szerzej dwiema zmiennymi). W miarÚ wzrostu liczby szeregów roĂnie jednak iloĂÊ rang, które zostanÈ przypisane temu samemu obiektowi, co sprawia ĝe maleje poziom maksymalnego moĝliwego nieuporzÈdkowania miÚdzy szeregami. 44 Paweï Cabaïa Zjawisko to jest wyraěnie widoczne, gdy przeĂledzimy zaleĝnoĂÊ miedzy wspóïczynnikiem konkordancji a wspóïczynnikiem korelacji rang Spearmana (r). OgólnÈ ocenÚ zgodnoĂci miÚdzy m > 2 szeregami preferencyjnymi moĝna bowiem wyraziÊ poprzez obliczenie Ăredniej wspóïczynników korelacji rang r dla wszystkich moĝliwych par uporzÈdkowañ rangowych. PowróÊmy do przykïadu (tab. 1), w którym trzech ekspertów oceniaïo piÚÊ obiektów na skali porzÈdkowej, a wspóïczynniki konkordancji wyniósï 0,756. Wyrazimy teraz ogólnÈ zgodnoĂÊ ekspertów za pomocÈ Ăredniej arytmetycznej wspóïczynników r. Jak wiadomo wspóïczynniki korelacji rang Spearmana sïuĝy do oceny siïy zwiÈzku miÚdzy dwiema cechami i jest obliczany wg wzoru: n t = 1- 6 / j = 1 ^ d j h2 n3 - n , (18) gdzie dj jest róĝnicÈ rang dla j-tego obiektu. W przykïadzie z tab. 1 mamy 3 moĝliwe pary uszeregowañ. Obliczmy r1,2 (wspóïczynnik korelacji miedzy szeregami eksperta 1 i 2), r1,3 (miÚdzy szeregiem eksperta 1 i 3) oraz r2,3 (czyli miÚdzy szeregiem 2 i 3), a nastÚpnie uĂredniamy otrzymane wyniki. ¥rednia wszystkich moĝliwych par rav wynosi dla naszego przykïadu: t av = t1, 2 + t1, 3 + t2, 3 0,6 + 0,7 + 0,6 = = 0,633. 3 3 Jak widaÊ uzyskany wynik (0,633) jest wartoĂciÈ niĝszÈ od obliczonego wczeĂniej wspóïczynnika W (0,756). Istnieje relacja liniowa miÚdzy wspóïczynnikiem konkordancji W a ĂredniÈ wspóïm czynników korelacji rang r Spearmana. Dla b 2 l wszystkich par obserwatorów, a wiÚc i szeregów preferencyjnych moĝna wyznaczyÊ wartoĂci r, a nastÚpnie obliczyÊ ĂredniÈ dla wszystkich par1. ¥rednia wspóïczynników korelacji rang Spearmana (rav) jest powiÈzana ze wspóïczynnikiem W nastÚpujÈco: mW - 1 tav = m - 1 . (19) Gdy wspóïczynnik zgodnoĂci W = 0, to Ărednia wspóïczynników korelacji rang 1 Spearmana wyniesie tav = - m - 1 . Jest to najmniejsza wartoĂÊ jakÈ moĝe osiÈgnÈÊ rav (w miarÚ wzrostu liczby szeregów, bÚdzie siÚ zbliĝaÊ do zera). Gdy W = 1 to rav = 1. 1 Z kolei dla rav równego zero, wspóïczynnik W wyniesie m . ZaleĝnoĂÊ miÚdzy tymi wspóïczynnikami dla m = 3, 5, 10 i 100 pokazano na rysunku 1. W przypadku analizy wiÚcej niĝ 100 szeregów wartoĂÊ rav moĝna uznaÊ za równÈ W (dla m = 100, wartoĂci W = 0 odpowiada wartoĂÊ rav = –0,01). 1 Jest to przewaga r nad t, dla którego nie ma prostej metody interpretacji w kategoriach Ăredniej z par m > 2 uszeregowañ. Zastosowanie wspóïczynnika konkordancji w pomiarze zgodnoĂci ocen ekspertów 45 1 Średnia współczynników korelacji rang r 0,9 0,8 0,7 0,6 0,5 0,4 0,3 0,2 m 0,1 = 0 10 = 10 = 5 m m m = 3 0 -0,1 -0,2 -0,3 -0,4 -0,5 0 0,1 0,2 0,3 0,4 0,5 0,6 0,7 0,8 0,9 1 Wartość współczynnika konkordancji W Rysunek 1. Relacje miÚdzy W a rav dla wybranych wartoĂci m ½ródïo: opracowanie wïasne. Przedstawiona wyĝej zaleĝnoĂÊ, pokazuje problemy z wïaĂciwÈ interpretacjÈ wspóïczynnika konkordancji. Rozwaĝmy nastÚpujÈcy przykïad. Grupa trzech ekspertów ustaliïa rangi dla 20 czynników ryzyka w zwiÈzku z realizacjÈ inwestycji i wspóïczynnik konkordancji wyniósï 0,6. Te same 20 czynników ryzyka dla tej samej inwestycji oceniïa inna grupa, tym razem 7 ekspertów i wspóïczynnik W wyniósï 0,8. WidaÊ wiÚc wyraěnie, ĝe druga grupa jest bardziej zgodna w ocenie niĝ grupa pierwsza. Nie ma jednak jednoznacznej odpowiedzi na pytanie, czy róĝnica ta jest istotna statystycznie. 6. PRZYKAD POMIARU ZGODNO¥CI SZEREGÓW Z RANGAMI WIkZANYMI W badaniach majÈcych na celu ustalenie wpïywu tzw. gospodarki opartej na wiedzy (GOW) na funkcjonowanie polskich przedsiÚbiorstw jednym z etapów badawczych byïo opracowanie zestawu kryteriów oceny pozwalajÈcych na ocenÚ stopnia tego wpïywu [4]. Z uwagi na fakt, iĝ pojÚcie GOW jest nieostre uznano, ĝe naleĝy dobraÊ nie jedno, lecz zestaw kryteriów oceny stopnia takiego wpïywu. Przejawem tego wpïywu miaï byÊ poziom zaawansowania systemu zarzÈdzania wiedzÈ w przedsiÚbiorstwie. Na podstawie studiów literatury przedmiotu zidentyfikowano kilkadziesiÈt najczÚĂciej podawanych wïaĂciwoĂci sytemu zarzÈdzania wiedzÈ. Ostatecznie uznano, iĝ najczÚĂciej opisywanymi cechami, które mogïyby staÊ siÚ kryteriami oceny systemu zarzÈdzania wiedzÈ w przedsiÚbiorstwie sÈ: K1 – grupowe rozwiÈzywanie problemów, K2 – bariery w dzieleniu siÚ wiedzÈ, K3 – czÚstotliwoĂÊ aktualizacji baz danych, K4 46 Paweï Cabaïa – dzielenie siÚ wiedzÈ z kooperantami, K5 – uĝytecznoĂÊ systemów informatycznych, K6 – stopieñ zaawansowania systemów informacyjnych, K7 – narzÚdzia wspomagajÈce zarzÈdzanie wiedzÈ, K8 – znajomoĂÊ technologii informatycznych, K9 – dziaïalnoĂÊ badawczo-rozwojowa, K10 – wspóïpraca w zakresie rozwoju z innymi firmami, K11 – poziom wyksztaïcenia pracowników, K12 – szkolenia pracowników, K13 – stopieñ komputeryzacji stanowisk pracy. GrupÚ 14 pracowników naukowo-dydaktycznych Uniwersytetu Ekonomicznego w Krakowie poproszono o dokonanie oceny stopnia istotnoĂci wymienionych kryteriów z uwagi na ocenÚ wpïywu GOW na przedsiÚbiorstwo. PrzyjÚto, ĝe kryteria bÚdÈ oceniane w skali od 1 do 3, gdzie ocena 1 oznaczaïa umiarkowanÈ istotnoĂÊ, ocena 2 wysokÈ istotnoĂÊ, a ocena 3 bardzo wysokÈ istotnoĂÊ danego kryterium. Wyniki przeprowadzonej oceny 13 kryteriów (K1 do K13) dokonanej przez 14 ekspertów (E1 do E14) zestawiono w tabeli 3. Ta b e l a 3 Surowe wyniki oceny istotnoĂci dobranych kryteriów K1 K2 K3 K4 K5 K6 K7 K8 K9 K10 K11 K12 K13 E1 3 3 2 3 1 2 1 2 2 1 1 3 1 E2 1 1 1 1 3 3 3 2 2 2 3 2 1 E3 3 2 3 1 3 1 2 3 2 1 2 1 2 E4 2 3 1 2 2 2 3 1 2 1 3 3 1 E5 1 1 3 3 2 2 2 1 3 2 1 3 1 E6 2 2 2 2 2 3 2 2 3 3 2 3 2 E7 3 2 3 2 3 2 2 1 2 3 3 2 2 E8 3 2 2 2 2 3 3 2 3 2 1 1 1 E9 3 2 2 3 3 2 3 2 2 3 1 2 1 E10 3 3 2 2 1 2 2 2 3 2 2 1 2 E11 3 2 2 1 3 2 2 3 2 1 3 2 2 E12 1 3 3 1 2 3 3 2 3 2 3 2 2 E13 1 1 2 1 3 2 3 3 2 2 3 3 1 E14 2 1 2 1 2 2 3 2 3 1 3 2 2 ½ródïo: opracowanie wïasne. Jak widaÊ z zaprezentowanych w tabeli 3 danych mamy do czynienia z ocenÈ 13 obiektów dokonanÈ przez 14 obserwatorów (n = 13, m = 14). Ze wzglÚdu na przyjÚtÈ skalÚ oceny wszystkie szeregi majÈ rangi wiÈzane. W celu obliczenia wspóïczynnika konkordancji konieczne jest przeprowadzenie procedury uĂredniania rang wiÈzanych. I tak w szeregu pierwszym (E1) z tabeli 3 kryteria K1, K2, K4 oraz K12 otrzymaïy 47 Zastosowanie wspóïczynnika konkordancji w pomiarze zgodnoĂci ocen ekspertów najwyĝszÈ ocenÚ w przyjÚtej skali (3). Oznacza to, ĝe pozycje tych kryteriów (obiektów) sÈ sobie równe i jednoczeĂnie najwyĝsze. Te cztery pierwsze miejsca uĂredniamy: 1+2+3+4 i otrzymujemy dla tych obiektów rangÚ uĂrednionÈ 2,5. Dalej, kryteria 4 K3, K6, K8 i K9 otrzymaïy tÚ samÈ ocenÚ (2), a zatem je uĂredniamy biorÈc pod 5+6+7+8 uwagÚ ich kolejne pozycje w szeregu: = 6,5. Ekspert 1 najniĝej oceniï (1) 4 kryteria K5, K7, K10, K11 oraz K13. StÈd rangi wiÈzane dla tych kryteriów wyniosÈ: 9 + 10 + 11 + 12 + 13 = 11. Podobnie obliczenia przebiegajÈ dla pozostaïych szeregów. 5 Wyniki obliczeñ pokazano w tabeli 4. Ta b e l a 4 Rangi uĂrednione dobranych kryteriów K1 K2 K3 K4 K5 K6 K7 K8 K9 E1 2,5 2,5 6,5 2,5 11 6,5 11 6,5 6,5 E2 11 11 11 11 2,5 2,5 2,5 6,5 E3 2,5 7 2,5 11,5 2,5 11,5 7 E4 7 2,5 11,5 7 7 7 E5 11 11 2,5 2,5 6,5 E6 9 9 9 9 E7 3 9 3 E8 2,5 7,5 E9 3 E10 ti K11 K12 K13 11 11 2,5 11 20 6,5 6,5 2,5 6,5 11 20 2,5 7 11,5 7 11,5 7 20 2,5 11,5 7 11,5 2,5 2,5 11,5 20 6,5 6,5 11 2,5 6,5 11 2,5 11 20 9 2,5 9 9 2,5 2,5 9 2,5 9 65 9 3 9 9 13 9 3 3 9 9 38 7,5 7,5 7,5 2,5 2,5 7,5 2,5 7,5 12 12 12 24,5 8,5 8,5 3 3 8,5 3 8,5 8,5 3 12,5 8,5 12,5 28 2 2 7,5 7,5 12,5 7,5 7,5 7,5 2 7,5 7,5 12,5 7,5 44,5 E11 2,5 8 8 12,5 2,5 8 8 2,5 8 12,5 2,5 8 8 33,5 E12 12,5 3,5 3,5 12,5 9 3,5 3,5 9 3,5 9 3,5 9 9 28 E13 11,5 11,5 7,5 11,5 3 7,5 3 3 7,5 7,5 3 3 11,5 20 E14 7 12 7 12 7 7 2 7 2 12 2 7 7 32 87 105 95,5 119 86 90 77 105 75 111,5 89 97 137 413,5 Suma K10 ½ródïo: opracowanie wïasne. W ostatnim wierszu tabeli 4 podano sumÚ rang dla poszczególnych kryteriów (czyli Rj) oraz sumÚ Ti, czyli poprawkÚ na rangi wiÈzane (T, wzór 9). Suma kwadratów r = m (n + 1) (czyli S) wynosi 3629,5. Tak przygotowane dane odchyleñ Rj od Ăredniej R 2 pozwalajÈ na obliczenie wspóïczynnika konkordancji (wzór 10): 48 Paweï Cabaïa / nj = 1 b R j - 14 (132 + 1) l 2 3629,5 W= 1 = 3572 - 5789 = 0,121 2 3 12 $ 14 ^ 13 - 13 h - 14 $ 413,5 W praktyce warto stosowaÊ zaproponowanÈ modyfikacjÚ w obliczaniu wspóïczynnika konkordancji, dziÚki której unikamy koniecznoĂci wyznaczania wartoĂci poprawek na rangi wiÈzane (ostatnia kolumna tab. 4). Na podstawie tablicy rang uĂrednionych (tab. 4) obliczmy: m, n / G= i = 1, j = 1 b a ji - (n + 1) 2 2 l =i m, n / ^ a ji - 7 h2 = 2134,5, = 1, j = 1 a stÈd 3629,5 S W = mG = 14 $ 2134,5 = 0,121. KorzystajÈc z formuïy (15) wyznaczamy wartoĂÊ T, czyli sumÚ poprawek na rangi: T= m^n3 - nh 14 ^ 13 3 - 13 h G = - 2134,5 = 413,5. 12 12 ¥rednia wspóïczynników korelacji rang Spearmana dla omawianego przypadku wynosi: 14 $ 0,121 - 1 mW - 1 tav = m - 1 = = 0,053. 13 W celach porównawczych obliczono ĂredniÈ wspóïczynników korelacji liniowej Pearsona (rav). Dla wszystkich 91 par szeregów Ărednia ta wyniosïa rav = 0,051. Jak widaÊ róĝnica miÚdzy rav a rav jest nieznaczna. WartoĂci wspóïczynników na podstawie których obliczono ĂredniÈ zawiera tabela 5. Ta b e l a 5 Wspóïczynniki korelacji r Pearsona dla wszystkich par szeregów E1 E2 E3 E4 E2 –0,57 E3 –0,12 –0,12 E4 0,24 0,36 –0,25 E5 0,22 –0,01 –0,36 0,00 E6 0,06 0,26 –0,64 0,00 E5 0,46 E6 E7 E8 E9 E10 E11 E12 E13 Zastosowanie wspóïczynnika konkordancji w pomiarze zgodnoĂci ocen ekspertów 49 cd. tabeli 5 E1 E2 E3 E4 E5 E6 E7 –0,26 0,05 0,16 0,00 0,05 –0,06 E8 0,14 0,14 0,13 0,00 0,14 0,16 –0,05 E9 0,16 0,03 0,00 0,00 0,30 0,02 0,20 0,57 E10 0,31 –0,44 0,16 0,00 –0,29 –0,08 –0,06 0,50 E11 –0,12 0,30 0,74 0,15 –0,54 –0,41 0,07 –0,02 E12 –0,35 0,43 0,00 0,27 0,04 0,18 –0,04 0,10 E13 –0,44 0,79 0,12 0,24 0,12 0,14 –0,05 –0,14 –0,41 0,55 0,29 0,29 0,00 0,00 0,00 0,16 E14 E7 E8 E9 E10 E11 E12 E13 –0,04 –0,24 –0,03 –0,45 0,12 0,06 –0,03 –0,62 0,40 0,35 –0,33 0,51 0,47 0,00 0,55 ½ródïo: opracowanie wïasne. Uzyskanie wyniki ĂwiadczÈ o niskiej zgodnoĂÊ miÚdzy opiniami ekspertów co do relatywnej istotnoĂci rang dla badanych kryteriów. Czy uzyskany wynik jest istotny statystycznie? W przykïadzie mamy do czynienia z ocenÈ 13 obiektów dokonanÈ przez 14 ekspertów. Wszystkie szeregi posiadajÈ rangi wiÈzane. Dla takiej liczby obiektów i szeregów nie ma tablic rzeczywistego rozkïadu S, wiÚc musimy posïuĝyÊ siÚ szacunkiem korzystajÈc z rozkïadu chi-kwadrat. Obliczamy wartoĂÊ statystyki (wzór 17): 3629,5 |2r = 14 $ 13 (13 + 1) 413,5 = 24,599. 12 13 - 1 Z tabel rozkïadu chi-kwadrat odczytujemy, ĝe dla d¦ = 12 (czyli n – 1) i poziomu istotnoĂci a = 0,05 wartoĂÊ |2a = 21,0261, a zatem odrzucamy hipotezÚ zerowÈ mówiÈcÈ o braku zaleĝnoĂci miÚdzy badanymi uporzÈdkowaniami _ |2r > |2a i . UwzglÚdnianie wartoĂci T dla szeregów z duĝÈ iloĂciÈ rang wiÈzanych jest konieczne w testach istotnoĂci. Dla rozpatrywanego przykïadu wartoĂÊ |2r bez wprowadzenia T poprawki na rangi wiÈzane b n - 1 l wnosi 19,9423. 8. OGRANICZENIA METOD KORELACJI RANG W POMIARZE ZGODNO¥CI OCEN W przypadku wiÚkszej liczby obiektów (n > 9) rangowanie w sensie dosïownym stwarza istotne trudnoĂci, poniewaĝ oceniajÈcy nie jest w stanie jednoczeĂnie porównywaÊ ze sobÈ tak duĝej liczby obiektów. Sensownym rozwiÈzaniem jest wtedy odwoïanie siÚ do metody porównañ parami i na tej podstawie tworzenie porzÈdku rangowego2. 2 Takie rozwiÈzanie sugeruje m.in. M. Kendall. Proponowany przez tego autora miernik zgodnoĂci u (coefficient of agreement) wyraĝa stopieñ zgodnoĂci miÚdzy ocenami obserwatorów, którzy rozwaĝane obiekty porównujÈ parami. W przypadku zïoĝonych i trudnych do oceny obiektów podejĂcie takie wydaje siÚ bardzo wskazane [7]. 50 Paweï Cabaïa Zamiast tego w praktyce stosuje siÚ skale oceny o mniejszej rozpiÚtoĂci, które sïuĝÈ do oceny kaĝdego obiektu z osobna, tak jak to zrobiono w powyĝszym przykïadzie. Pytanie, jakie w zwiÈzku z tym siÚ nasuwa to, czy mamy prawo przeksztaïcania ocen wyraĝanych w skali punktowej (tutaj od 1 do 3) w szeregi z rangami wiÈzanymi, zwïaszcza gdy liczba ocenianych obiektów jest wiÚksza do przyjÚtej rozpiÚtoĂci skali punktowej (w naszym przypadku liczba ocenianych obiektów byïa równa 13, czyli znacznie wiÚksza od 3). Rozwaĝmy inny przykïad. Czterech ekspertów ocenia stopieñ wpïywu na dziaïalnoĂÊ danego przedsiÚbiorstwa siedmiu okreĂlonych zagroĝeñ. Czy proces oceny polegajÈcy na uszeregowaniu tych zagroĝeñ w kolejnoĂci od zagroĝenia o najwiÚkszym wpïywie aĝ do zagroĝenia o wpïywie najmniejszym (czyli rangowanie), bÚdzie równoznaczny z procesem oceny kaĝdego z tych zagroĝeñ oddzielnie w skali od 1 do 7? Jaki wpïyw na proces oceny bÚdzie miaïo zwiÚkszenie rozpiÚtoĂci skali punktowej (np. skala od 1 do 9 zamiast od 1 do 7)? Jaki wpïyw na proces oceny bÚdzie miaïo zmniejszenie rozpiÚtoĂci skali (np. skala od 1 do 3 zamiast od 1 do 7)? Odpowiedzi na powyĝsze pytania majÈ fundamentalne znaczenie dla pomiaru zgodnoĂci ocen. Gdy zgodnoĂÊ ocen chcemy wyraziÊ za pomocÈ wspóïczynników korelacji rang (dla m = 2) lub wspóïczynnika konkordancji (dla m > 2), to musimy mieÊ ĂwiadomoĂÊ, ĝe adekwatny pomiar zgodnoĂci bÚdzie moĝliwy wówczas, gdy mamy do czynienia z rangowaniem obiektów w Ăcisïym tego sïowa znaczeniu. Wydaje siÚ, ĝe rangowanie jest procesem psychologicznie i merytorycznie odmiennym od niezaleĝnej oceny kaĝdego obiektu z osobna – nawet gdy te obiekty naleĝÈ do jednej klasy (kategorii). Wspóïczynniki korelacji rang (r, t, czy wspóïczynnik konkordancji) wyraĝajÈ stopieñ ogólnego powiÈzania miÚdzy preferencjami grupy ekspertów. Jednak potrzeba pomiaru stopnia zgodnoĂci ocen dotyczy nie tylko sytuacji, w których kilku ekspertów wypowiada siÚ na temat kilku obiektów ïÈcznie. CzÚsto spotykamy siÚ z praktykÈ, kiedy oceny sÈ przyznawane niezaleĝnie kaĝdemu z badanych obiektów w okreĂlonej skali punktowej. Nie mamy wtedy do czynienia z rangowaniem w sensie Ăcisïym, poniewaĝ oceniajÈc kaĝdy z obiektów osobno eksperci majÈ do dyspozycji kaĝdorazowo skalÚ o tej samej rozpiÚtoĂci. W przypadku wspóïczynnika konkordancji badamy stopieñ powiÈzañ miÚdzy rangami. Ranga oznacza miejsce danego obiektu wĂród innych ocenianych obiektów, a zatem stosowana w tym przypadku rozpiÚtoĂÊ skali porzÈdkowej jest równa n – 1. WyznaczajÈc rangÚ danego obiektu, kaĝdorazowo zmniejszamy tak rozumianÈ rozpiÚtoĂÊ skali, aĝ do jej wyczerpania. Dla szeregów sïabych, czyli gdy dopuszczamy moĝliwoĂÊ nadania tej samej rangi niektórym obiektom, rozpiÚtoĂÊ skali bÚdzie mniejsza niĝ n – 1. Wydaje siÚ, ĝe skala punktowa, za pomocÈ której n obiektów jest ocenianych niezaleĝnie i która ma rozpiÚtoĂÊ wyĝszÈ od n – 1, jest skalÈ mocniejszÈ od skali wynikajÈcej z procesu rangowania. ZaleĝnoĂÊ odwrotna jest mniej oczywista, lecz moĝna w pewnym sensie powiedzieÊ, ĝe gdy rozpiÚtoĂÊ skali punktowej ocen jest mniejsza do n – 1, to rangowanie – o ile nie stosuje siÚ rang wiÈzanych – daje wyniki „mocniejsze” od ocen punktowych. Uniwersytet Ekonomiczny w Krakowie Zastosowanie wspóïczynnika konkordancji w pomiarze zgodnoĂci ocen ekspertów 51 LITERATURA [1] Brzeziñski J., Maruszewski T., [1978], Metoda sÚdziów kompetentnych i jej zastosowanie w badaniach pedagogicznych, „Kwartalnik Pedagogiczny”, Nr 1(87). [2] Damodaran A., [2009], Ryzyko strategiczne, Wydawnictwa Akademickie i Profesjonalne, Warszawa. [3] Day S.G., Schoemaker P.J.H., [2006], Peripheral Vision. Detecting Weak Signals That Will Make or Break Your Company, Harvard Business School Press, Boston. [4] Doskonalenie struktur organizacyjnych przedsiÚbiorstw w gospodarce opartej na wiedzy, [2009], pod red. A. Stabryïy, Wydawnictwo C.H. Beck, Warszawa. [5] Góralski A., [1976], Metody opisu i wnioskowania statystycznego w psychologii, PWN, Warszawa. [6] Grouard B., Meston F., [1997], Kierowanie zmianami w przedsiÚbiorstwie, Poltex, Warszawa. [7] Kendall M., [1962], Rank correlation methods, Charles Griffin & Company, London. [8] Sharpe N.R., Veaux De R.D., Valleman P.F., [2009], Business Statistics, Pearson, New York. [9] Siegel S., [1956], Nonparametric statistics for the behavioral sciences, McGraw-Hill Company Inc., New York. [10] Simons R., [2005], Czy wiesz jak duĝe ryzyko ukryte jest w twojej firmie?, „Harvard Business Review Polska”, kwiecieñ. [11] Stabryïa A., [2000], ZarzÈdzanie strategiczne w teorii i praktyce firmy, Wydawnictwo Naukowe PWN, Warszawa [12] Steczkowski J, ZeliaĂ A., [1997], Metody statystyczne w badaniach zjawisk jakoĂciowych, Wydawnictwo Akademii Ekonomicznej w Krakowie, Kraków. [13] The Delphi Method. Techniques and Applications, [1975], pod red. H. Linstonea I M. Turoffa, AddiosnWesley Publishing Company Inc. London. [14] Winer B.J., [1962], Statistical principles in experimental design, McGraw-Hill Company Inc., New York. Praca wpïynÚïa do redakcji w marcu 2010 r. ZASTOSOWANIE WSPÓCZYNNIKA KONKORDANCJI W POMIARZE ZGODNO¥CI OCEN EKSPERTÓW Streszczenie Celem artykuïu jest przedstawienie zagadnienia pomiaru zgodnoĂci ocen wyraĝonych na skali porzÈdkowej. Istnieje szereg sposobów sprawdzenia stopnia zgodnoĂci opinii ekspertów. Z reguïy do tego celu stosuje siÚ wspóïczynniki korelacji rang. W artykule skoncentrowano siÚ na przypadku gdzie m > 2 ekspertów ocenia n obiektów, z dopuszczeniem rang wiÈzanych. Dla tak sformuïowanego problemu jako miarÚ zgodnoĂci przyjÚïo siÚ stosowaÊ wspóïczynnik konkordancji W Kendalla. W artykule zaproponowano uogólnionÈ wersjÚ obliczania tego wspóïczynnika, która upraszcza obliczenia w przypadku wystÚpowania rang wiÈzanych. Oprócz przedstawienia procedury badania istotnoĂci statystycznej, podniesiono takĝe problem interpretacji otrzymywanych wartoĂci wspóïczynnika konkordancji. W nawiÈzaniu do zaprezentowanego przypadku podjÚto równieĝ dyskusjÚ na temat ograniczeñ zastosowañ wspóïczynników korelacji w ocenie zgodnoĂci ekspertów. Sïowa kluczowe: opnie ekspertów, rangi, rangi wiÈzane, metoda uĂredniania rang, korelacja rang, wspóïczynnik konkordancji 52 Paweï Cabaïa USING THE CONCORDANCE COEFFICIENT IN THE MEASUREMENT OF AGREEMENT AMONG EXPERTS Summary In this article the problem of the measurement of agreement among experts is discussed. There are several tools to verify whether opinions expressed by an ordinal scale are reliable. If the objects are ranked, one of correlation coefficients is chosen. At the beginning, the case of m > 2 experts ranking n objects is presented; first, using untied ranks and second, tied ranks. To this end Kendall’s coefficient of concordance is applied. The method of examination of the statistical significance is also presented. Additionally the issue of the interpretation of the concordance coefficient in reference to the average of Spearman’s r coefficients is raised. The paper provides an example of using concordance coefficient when ranks are tied and discusses limitations of using rank correlation methods as a tool for evaluating the degree of agreement among experts’ opinions. Key words: experts’ opinions, ranks, tied ranks, mid-rank method, rank correlation, concordance coefficient,