Zastosowanie współczynnika konkordancji w pomiarze zgodności

Zastosowanie współczynnika konkordancji w pomiarze zgodności

PRZEGLkD STATYSTYCZNY
R. LVII – ZESZYT 2-3 – 2010
PAWE’ CABA’A
ZASTOSOWANIE WSPӒCZYNNIKA KONKORDANCJI
W POMIARZE ZGODNO¥CI OCEN EKSPERTÓW
1. UWAGI WST}PNE
Wedïug tzw. koherencyjnej teorii prawdy prawdziwe jest to, co jest wewnÚtrznie spójne, co do czego istnieje zgoda. ZgodnoĂÊ ocen wyraĝanych przez ekspertów
jest podstawÈ formuïowania sÈdów ogólnych, które jednak – wbrew postulatom teorii
koherencji – nie zawsze okazujÈ siÚ sÈdami prawdziwymi. Znane z historii biznesu
przypadki pomyïek ekspertów doprowadzaïy do powaĝnych dysfunkcji wdraĝanych
rozwiÈzañ, upadku przedsiÚbiorstw, a takĝe kosztujÈcych ĝycie ludzi katastrof przemysïowych. Mimo ryzyka bezkrytycznego polegania na opiniach ekspertów, bïÚdów
jednomyĂlnoĂci i ich skutków spoïecznych, wydaje siÚ, ĝe nie ma lepszej alternatywy.
Ryzyko wystawienia bïÚdnej oceny bywa jeszcze wiÚksze, gdy polegamy na jednej
tylko opinii.
Weryfikacja zgodnoĂci ocen odgrywa doniosïÈ rolÚ tak w zakresie badañ diagnostycznych jak i w studiach prospektywnych (np. foresighting). Rzetelna ocena zïoĝonych
zjawisk spoïeczno-gospodarczych nie jest w praktyce moĝliwa bez odwoïywania siÚ
do opinii ekspertów. W analizie i projektowaniu systemów zarzÈdzania przedsiÚbiorstwem ekspertami sÈ nie tylko konsultanci zewnÚtrzni, lecz przede wszystkim kadra
menedĝerska, która jest odpowiedzialna za przygotowanie i wdraĝanie strategii.
Jeĝeli zgodnoĂÊ wystawionych przez grupÚ ekspertów ocen jest na odpowiednio
wysokim poziomie, to jesteĂmy uprawnieni do formuïowania sÈdów ogólnych. SÈd
ogólny w tym przypadku jest ĂredniÈ (lub sumÈ) wystawionych ocen przez wszystkich
ekspertów. Odnotowana rozbieĝnoĂÊ ocen nie uprawnia nas do wykonywania takich
operacji. Stosowana praktyka odrzucania ocen skrajnych i przyjmowania Ăredniej pozostaïych ocen jest równieĝ niedopuszczalna z metodologicznego punktu widzenia. SprawÈ
otwartÈ pozostaje odpowiedě na pytanie, jakie dziaïania naleĝy podjÈÊ w przypadku
braku zgodnoĂci w ocenach.
Generalnie istniejÈ trzy ěródïa braku zgodnoĂci w opiniach na temat danego
obiektu. Pierwszym jest niska kompetencja grupy osób oceniajÈcych (nie chodzi
tyle o niskie kompetencje poszczególnych osób, lecz o brak kompetencji caïej grupy
oceniajÈcych). Drugi powód braku zgodnoĂci jest zwiÈzany z niewïaĂciwie zorganizowanym procesem oceny. Trzecim ěródïem niezgodnoĂci jest ěle zdefiniowany
obiekt oceny.
Zastosowanie wspóïczynnika konkordancji w pomiarze zgodnoĂci ocen ekspertów
37
Stwierdzenie braku zgodnoĂci w ocenach umoĝliwia podjÚcie dziaïañ majÈcych
na celu eliminacjÚ przyczyn niezgodnoĂci bÈdě – gdy przyczyny sÈ niemoĝliwe do
usuniÚcia – powstrzymanie siÚ od formuïowania oceny ogólnej.
W praktyce badawczej do oceny zgodnoĂci ocen (preferencji) czÚsto wykorzystuje
siÚ metody analizy korelacji rang. Proces oceny sprowadza siÚ wtedy do realizacji
trzech faz badawczych. W fazie pierwszej ustalany jest stopnieñ wspóïzaleĝnoĂci miÚdzy
ocenami ekspertów na temat wzglÚdnej pozycji badanych obiektów. W fazie drugiej
przeprowadzane sÈ odpowiednie testy niezaleĝnoĂci. Faza trzecia polega na sporzÈdzeniu ostatecznego porzÈdku rangowego badanych obiektów.
Artykuï niniejszy przedstawia zagadnienie analizy zgodnoĂci ocen z wykorzystaniem
metod korelacji rang oraz dyskusjÚ nad zaletami i ograniczeniami stosowania tych
metod. Zwrócono uwagÚ przede wszystkim na dwa zagadnienia: pomiar zgodnoĂci
miÚdzy ocenami co najmniej trzech ekspertów oraz problematykÚ pomiaru zgodnoĂci
w przypadkach wystÚpowania tzw. rang wiÈzanych.
2. POMIAR ZGODNO¥CI USZEREGOWA” MOCNYCH
Dwa czynniki majÈ rozstrzygajÈce znacznie w pomiarze zgodnoĂci ocen ekspertów.
SÈ to: iloĂÊ szeregów preferencyjnych oraz rodzaj skali porzÈdkowej. Szereg preferencyjny odzwierciedla uporzÈdkowanie zbioru obiektów (elementów) dokonane przez
danego eksperta (obserwatora, sÚdziego, jurora). Kaĝdemu obiektowi nadawana jest
ranga okreĂlajÈca jego pozycjÚ wzglÚdem pozostaïych obiektów na skali porzÈdkowej.
Rodzaj skali porzÈdkowej (mocna lub sïaba) ma natomiast wpïyw zarówno na sposób
obliczeñ, jak i na dobór odpowiedniego testu istotnoĂci.
Do pomiaru zgodnoĂci uporzÈdkowañ miÚdzy dwoma szeregami preferencyjnymi
stosuje siÚ wspóïczynnik korelacji rang r Spearmana lub wspóïczynnik korelacji rang
t Kendalla. Gdy mamy do czynienia z wiÚcej niĝ dwoma szeregami rangowymi, wówczas najczÚĂciej stosowanym miernikiem oceny zgodnoĂci preferencji jest wskaěnik
konkordancji W Kendalla (concordance coefficient), zwany wspóïczynnikiem zgodnoĂci
[1] lub precyzyjniej: wspóïczynnikiem zgodnoĂci uporzÈdkowañ wielokrotnych [5].
Poniĝej skoncentrujemy siÚ na problemie oceny zgodnoĂci miÚdzy wiÚcej niĝ dwoma
uszeregowaniami (m > 2). RozwiniÚte zostanie równieĝ zagadnienie uszeregowañ sïabych (tzw. rang wiÈzanych – tied ranks), które mimo ĝe komplikuje obliczenia, ma
niebagatelne znacznie praktyczne.
Pomiar stopnia zgodnoĂci uporzÈdkowañ sprowadza siÚ do konstrukcji wspóïczynnika, w którym licznik wyraĝa wartoĂÊ odzwierciedlajÈcÈ stopieñ rzeczywistych
powiÈzañ miÚdzy szeregami preferencyjnymi (S), a mianownik analogicznÈ wartoĂÊ,
jednak dla sytuacji peïnej zgodnoĂci uporzÈdkowañ rangowych, czyli maksymalnie
moĝliwÈ do uzyskania (Smax).
RangÚ j-tego obiektu (gdzie j = 1, 2, …, n) nadanÈ przez i-tego eksperta
(i = 1, 2, …, m) oznaczmy aij. W wyniku oceny n obiektów dokonanej przez m obserwatorów otrzymujemy macierz uporzÈdkowañ, której wiersze przedstawiajÈ szeregi
preferencyjne, a kolumny rangi nadane obiektom przez kolejnych ekspertów:
38
Paweï Cabaïa
a 11 a 12
a 21 a 22
.
.
a m1 a m
2
f a 1n
f a 2n
f .
f a mn
Wyróĝniamy dwa typy uporzÈdkowañ rangowych (czyli szeregów preferencyjnych):
mocne i sïabe (o rangach niepowiÈzanych i rangach powiÈzanych). Najpierw omówimy pierwszy przypadek, czyli zagadnienie pomiaru zgodnoĂci miÚdzy szeregami
o uporzÈdkowaniu mocnym.
Rozwaĝmy przykïad podany w tabeli 1. PiÚciu obiektom A, B, C, D oraz E (n = 5)
zostaïy nadane rangi przez trzech ekspertów (m = 3). Rangi te nie sÈ powiÈzane, co
oznacza ĝe mamy do czynienia z uporzÈdkowaniem mocnym.
Ta b e l a 1
Przykïad trzech szeregów preferencyjnych o uporzÈdkowaniu mocnym
Wyszczególnienie
A
B
C
D
E
Suma szeregów
ekspert 1
4
2
5
1
3
15
ekspert 2
3
1
4
2
5
15
ekspert 3
2
3
5
1
4
15
Suma rang (Rj)
9
6
14
4
12
45
½ródïo: opracowanie wïasne.
W uporzÈdkowaniu mocnym wszystkie liczby oznaczajÈce pozycje ocenianych
obiektów sÈ róĝne. MówiÈc inaczej ekspert jest w stanie rozróĝniÊ waĝnoĂÊ ocenianych
obiektów (uszeregowaÊ je w kolejnoĂci waĝnoĂci). Bez wzglÚdu na porzÈdek takiego
uszeregowania, suma rang dla danego szeregu jest równa sumie n pierwszych liczb
n (n + 1)
. Jeĝeli wszystkie szeregi preferencyjne bÚdÈ miaïy porzÈdek
naturalnych, czyli
2
mn (n + 1)
mocny, to suma sum tych rang bÚdzie równa
, a Ărednia arytmetyczna sum
2
m (n + 1)
rang
. W zapisie formalnym:
2
a) suma rang Rj dla j-tego obiektu:
m
Rj =
/ a ij,
(1)
i=1
b) suma sum rang wszystkich n obiektów:
n
/ R j = mn (n2+ 1) ,
j=1
(2)
Zastosowanie wspóïczynnika konkordancji w pomiarze zgodnoĂci ocen ekspertów
39
c) Ărednia arytmetyczna sum rang dla wszystkich n obiektów:
n
/ R j = m (n2+ 1) .
r = n1
R
(3)
j=1
r oznaczymy jako S, to:
Jeĝeli sumÚ kwadratów odchyleñ Rj od Ăredniej R
S=
n
n
j=1
j=1
/ _ R j - Rr i2 = / b R j - m (n2+ 1) l
2
(4)
.
WielkoĂÊ S osiÈga maksymalnÈ wartoĂÊ (którÈ oznaczymy Smax) tylko w przypadku
peïnej zgodnoĂci rang miÚdzy szeregami preferencyjnymi. W takiej sytuacji sumy rang
Rj dla kolejnych obiektów bÚdÈ równe: m, 2m, …, jm, …, nm (lub w dowolnym innym
r moĝna
porzÈdku). MaksymalnÈ wartoĂÊ sumy kwadratów odchyleñ Rj od Ăredniej R
wyznaczyÊ w sposób nastÚpujÈcy:
n
S max =
/ b jm - m (n2+ 1) l
2
j=1
n
= m2
/ c j 2 - 2j (n +2 1) + (n +4 1)
m,
(5)
j=1
a poniewaĝ suma kwadratów n pierwszych liczb naturalnych wynosi
wiÚc
S max = m 2 c
2
n (n + 1) (2n + 1)
,
6
m2 ^n3 - nh
n (n + 1) (2n + 1) n (n + 1) 2 n (n + 1) 2
m=
+
.
4
6
2
12
(6)
Wspóïczynnik zgodnoĂci W jest ilorazem rzeczywistej wielkoĂci S i wielkoĂci Smax,
czyli maksymalnej moĝliwej do uzyskania. Ostatecznie:
S
W= S
=
max
/ nj = 1 b R j - m (n2+ 1) l
1 2 3
12 m ^ n - n h
2
.
(7)
Wspóïczynnik W osiÈga wartoĂci od 0 do 1. W przypadku caïkowitej niezgodnoĂci
uszeregowañ S wyniesie zero bÈdě bÚdzie relatywnie niskie w porównaniu z Smax.
Dla przykïadu podanego w tabeli 1 stopieñ zgodnoĂci ocen trzech ekspertów wyraĝony wspóïczynnikiem konkordancji wynosi:
n
W=
12
$ 68
/ R - 9 h2 = 121080
= 0,756.
3 2 ^ 5 3 - 5 h j = 1^ j
3. POMIAR ZGODNO¥CI USZEREGOWA” S’ABYCH
Rangi powiÈzane oznaczajÈ sytuacje, w której eksperci oceniajÈcy obiekty uznajÈ,
ĝe nie ma róĝnicy miÚdzy niektórymi z tych obiektów. Brak róĝnicy w ocenie oznacza,
40
Paweï Cabaïa
ĝe jedna (lub wiÚcej) ranga wiÈĝe co najmniej dwa obiekty. Moĝemy przy tym rozwaĝyÊ
dwa szczególne przypadki:
a) obserwatorzy proszeni sÈ o uszeregowanie n obiektów w skali od 1 do n i nie
sÈ w stanie rozróĝniÊ istotnoĂci miÚdzy niektórymi obiektami, w zwiÈzku z tym nadajÈ
nierozróĝnialnym obiektom tÚ samÈ rangÚ. Przykïadowo szereg: 6, 2, 3, 1, 3, 4, 8, 7, 6
oznacza, ĝe obserwator nadaï rangi 9 obiektom, przy czym nie byï w stanie dostrzec
róĝnicy miÚdzy obiektem 1 i 9 oraz 3 i 5 (pozycje te sÈ zwiÈzane tÈ samÈ rangÈ),
b) obserwatorzy proszeni sÈ o uszeregowanie n przedmiotów w skali od 1 do k,
gdzie k jest liczbÈ naturalnÈ, ale mniejszÈ od n. Przykïadowo obserwator jest proszony o ocenÚ 10 obiektów, przy czym ocena ma byÊ dokonana w skali od 1 do 7.
Naturalnym jest, ĝe w takim przypadku czÚĂÊ obiektów bÚdzie musiaïa byÊ zwiÈzana
tÈ samÈ rangÈ.
Jeĝeli wyniki ocen ekspertów dajÈ szeregi z rangami wiÈzanymi i jeĝeli chcemy
posïuĝyÊ siÚ w pomiarze zgodnoĂci wspóïczynnikiem konkordancji, konieczne jest zastosowanie metody rang uĂrednionych (mid-rank metod). Metoda ta polega na uĂrednieniu
rang powiÈzanych w taki sposób, by daïy szereg analogiczny do szeregu, w którym
wszystkie obiekty sÈ rozróĝnialne. W wyniku takiego przeksztaïcenia otrzymujemy
n (n + 1)
, czyli równa sumie analogiczuszeregowanie, którego suma rang jest równa
2
nego szeregu o uporzÈdkowaniu mocnym. W tabeli 2 pokazano przykïad zamiany rang
wiÈzanych na rangi uĂrednione.
Ta b e l a 2
Przykïad przeksztaïcania rang wiÈzanych
Numer obiektu
A
B
C
D
Rangi eksperta:
6
2
3
1
Rangi uĂrednione:
7
2
3,5
1
E
F
G
H
I
Suma rang
3
4
6
7
6
38
3,5
5
7
9
7
45
½ródïo: opracowanie wïasne.
Jak widaÊ w tabeli 2 surowe wyniki rangowania dajÈ szereg, którego suma jest
równa 38. Obiekt D otrzymaï rangÚ 1, a obiekt B rangÚ 2. Obiekty C oraz E sÈ
zwiÈzane tÈ samÈ rangÈ 3. W celu zamiany na rangi uĂrednione naleĝy ich pozycje
uĂredniÊ, a poniewaĝ zajmujÈ one w kolejnoĂci rangowania pozycje 3 i 4 (po D i B)
3+4
wiÚc obiekty te otrzymujÈ rangÚ 3,5 b 2 l . PiÈtÈ pozycjÚ w kolejnoĂci zajmuje obiekt
F, który otrzymaï rangÚ 4, lecz ze wzglÚdu na dwie poprzedzajÈce go rangi wiÈzane
otrzymuje rangÚ 5 (przed nim znalazïy siÚ juĝ 4 obiekty D, B, C i E). Obiekty A, G
i I wiÈĝe z kolei ranga 6, a poniewaĝ zajmujÈ one kolejne pozycje 6, 7 i 8, to otrzy6+7+8
l . OstatniÈ pozycjÚ (czyli rangÚ 9) zajmuje obiekt H, którego
mujÈ rangÚ 7 b
3
pierwotna ranga wyniosïa 7. Suma rang w ten sposób uĂrednionych wynosi 45 i jak
moĝna sprawdziÊ jest równa sumie pierwszych 9 liczb naturalnych.
Zastosowanie wspóïczynnika konkordancji w pomiarze zgodnoĂci ocen ekspertów
41
Poza uĂrednieniem rang naleĝy wprowadziÊ korektÚ w mianowniku wspóïczynnika
konkordancji (Smax). W tym celu dla szeregów, w których wystÚpujÈ rangi powiÈzane
oblicza siÚ wartoĂÊ Ti:
k
1
Ti = 12 / _ t 3j - t j i,
j=1
(8)
gdzie k oznacza liczbÚ grup posiadajÈcych tÈ samÈ rangÚ (j = 1, 2, …, k) w i-tym szeregu, a symbol tj liczbÚ identycznych rang wiÈzanych w danej grupie. W szeregu
pokazanym w tabeli 2 wystÚpujÈ dwie grupy rang o identycznych rangach wiÈzanych
(k = 2); w pierwszej grupie sÈ dwie identyczne rangi wiÈzane (obiekty C i D otrzymaïy
rangÚ 3,5, czyli t1 = 2), a w drugiej – trzy takie same rangi wiÈzane (obiekty A, G, I
majÈ rangÚ 7, czyli t2 = 3). StÈd:
1
T1 = 12 ^ ^ 2 3 - 2 h + ^ 3 3 - 3 hh = 2,5.
Dla szeregu o uporzÈdkowaniu mocnym (bez rang zwiÈzanych) suma kwadratów
n3 - n
odchyleñ od Ăredniej wynosi 12 , czyli w naszym przypadku jest równa 60 (n = 9).
n3 - n
WielkoĂÊ 12 - T1 jest sumÈ kwadratów odchyleñ od Ăredniej szeregu z rangami
wiÈzanymi (w przykïadzie: 60 – 2,5 = 57,5). Moĝna bezpoĂrednio sprawdziÊ, ĝe suma
kwadratów odchyleñ od Ăredniej dla szeregu z rangami uĂrednionymi (drugi wiersz
tabeli 2) jest równa 57,5.
Dla m szeregów z rangami wiÈzanymi wartoĂÊ T:
m
T=
/ Ti
(9)
i=1
oznacza poprawkÚ na rangi wiÈzane wystÚpujÈce we wszystkich szeregach. W przypadku peïnej zgodnoĂci miÚdzy m szeregami rangi wiÈzane dotyczÈ tych samych obiektów, dlatego wielkoĂÊ T mnoĝymy przez m. Ostatecznie wspóïczynnik konkordancji
dla rang powiÈzanych jest równy:
S
W = S - mT =
max
/ nj = 1 b R j - m (n2+ 1) l
2
.
1 2 3
m
n
n
mT
^
h
12
(10)
4. UOGÓLNIONA FORMU’A WSPӒCZYNNIKA KONKORDANCJI I TESTY ISTOTNO¥CI
Poniĝej przedstawimy propozycjÚ dogodniejszego sposobu obliczania wspóïczynnika konkordancji, którÈ warto stosowaÊ zwïaszcza w przypadku wystÚpowania rang
wiÈzanych:
42
Paweï Cabaïa
S
W = mG ,
(11)
gdzie
m, n
/
G=
i, j = 1
b a ji -
(n + 1) 2
2 l .
(12)
WielkoĂÊ G jest sumÈ kwadratów odchyleñ wszystkich rang od Ăredniej szeregu.
(n + 1)
Z definicji Ărednie wszystkich szeregów sÈ równe i wynoszÈ
2 , bez wzglÚdu
na wystÚpowanie rang powiÈzanych (i pod warunkiem, ĝe rangi powiÈzane zostanÈ
uĂrednione).
Suma kwadratów odchyleñ od Ăredniej szeregu, w którym nie wystÚpujÈ rangi
n3 - n
wiÈzane wynosi 12 . MajÈc m takich szeregów otrzymujemy:
mG =
m2 ^n3 - nh
= S max .
12
(13)
W przypadku wystÚpowania rang wiÈzanych prawdziwe jest z kolei równanie:
mG = Smax – mT.
(14)
Równanie powyĝsze pozwala na wyznaczenie T, bez koniecznoĂci zliczania iloĂci
rang powiÈzanych, wyznaczania dla kaĝdego szeregu Ti, a nastÚpnie sumowania tych
wartoĂci. Warto wiÚc w praktyce korzystaÊ z poniĝszej formuïy:
T=
1 2 3
3
S max - mG
12 m ^ n - n h - mG = m ^ n - n h - G.
=
m
m
12
(15)
Wyznaczanie wielkoĂci T jest niezbÚdne do przeprowadzenia testu istotnoĂci dla
szeregów z rangami wiÈzanymi, które przedstawiamy poniĝej.
ZakïadajÈc, ĝe eksperci w swych opiniach sÈ niezaleĝni, moĝemy uznaÊ, ĝe pojawienie siÚ konkretnego ukïadu uszeregowañ jest równie prawdopodobne jak kaĝdego
innego. Na tej podstawie moĝna zidentyfikowaÊ rozkïad S. Dla danego m i n istnieje
(n!)m wszystkich moĝliwych uszeregowañ rangowych. Dla niskich wartoĂci m i n opracowano tablice rzeczywistego rozkïadu prawdopodobieñstwa uzyskania okreĂlonej wartoĂci S. I tak M. Kendall podaje rozkïady prawdopodobieñstwa uzyskania wartoĂci S
dla nastÚpujÈcych wielkoĂci: a) n = 3; 2 £ m £ 10 b) n = 4; 2 £ m £ 6, c) n = 5,
m = 3. Bardziej podrÚczne sÈ tablice rozkïadu S na poziomach istotnoĂci a = 0,05
i 0,01, dla 3 £ n £ 7 oraz 3 £ m £ 20 ([9], a w polskiej literaturze: [12]).
Dla liczby obiektów wiÚkszej od siedmiu (n > 7) zadowalajÈcym przybliĝeniem
rzeczywistego rozkïadu S jest rozkïad chi-kwadrat. Dla uszeregowañ mocnych (bez
rang wiÈzanych) wartoĂÊ statystyki:
Zastosowanie wspóïczynnika konkordancji w pomiarze zgodnoĂci ocen ekspertów
S
|2r = m (n - 1) W = 1
,
mn
(
n
+
1
)
12
43
(16)
porównujemy z wartoĂciÈ |2a odczytanÈ z tablic rozkïadu chi-kwadrat dla n – 1 stopni
swobody (df) oraz dla zaïoĝonego poziomu istotnoĂci a. Jeĝeli w szeregach preferencyjnych wystÚpujÈ rangi wiÈzane, to wartoĂÊ chi-kwadrat obliczamy na podstawie
statystyki:
S
|2r = 1
.
1
mn
(
n
+
1
)
T
12
n-1
(17)
Testowanie istotnoĂci statystycznej wspóïczynnika konkordancji polega na postawieniu hipotezy zerowej (H0), która gïosi ĝe badane szeregi rangowe nie sÈ ze sobÈ
powiÈzane. HipotezÚ zerowÈ odrzucamy, gdy obliczona wartoĂÊ |2r (lub wartoĂÊ S,
jeĝeli korzystamy z tablic rzeczywistego rozkïadu S dla n £ 7) jest równa lub wyĝsza
niĝ |2a , czyli wartoĂci odczytanej z tablic rozkïadu chi-kwadrat dla d¦ = n – 1 stopni
swobody przy danym poziomie istotnoĂci a.
Przykïadowo dla szeregów podanych w tab. 1 wartoĂÊ wspóïczynnika W wyniosïa
0,756. MieliĂmy tam do czynienia z ocenÈ piÚciu obiektów dokonanÈ przez trzech
ekspertów i wszystkie szeregi miaïy porzÈdek mocny. W takim wypadku najlepiej jest
skorzystaÊ z opracowanych tablic rzeczywistego rozkïadu S, z których moĝemy odczytaÊ,
ĝe dla n = 5 i m = 3 oraz dla a = 0,05 wartoĂÊ krytyczna S wynosi 64,4. Poniewaĝ
rzeczywista wartoĂÊ S w tym przykïadzie wyniosïa 68, wiÚc przy a = 0,05 hipotezÚ
zerowÈ naleĝy odrzuciÊ na korzyĂÊ stwierdzenia, ĝe miÚdzy badanymi szeregami istnieje
statystycznie istotna zaleĝnoĂÊ. Dla porównania z tablic podanych przez M. Kendalla
moĝna odczytaÊ, ĝe prawdopodobieñstwo uzyskania wartoĂci S ³ 64 wynosi 0,045.
5. INTERPRETACJA WYNIKÓW POMIARU
Celem oceny zgodnoĂci miÚdzy szeregami preferencyjnymi jest ustalenie ostatecznego porzÈdku rangowego. Ostateczne rangi sÈ wyznaczane na podstawie Ăredniej (lub
sumy) rang dla badanych obiektów. PorzÈdek taki moĝemy jednak ustaliÊ dopiero po
stwierdzeniu satysfakcjonujÈcego poziomu zgodnoĂci miÚdzy ekspertami (obserwatorami). StÈd wïaĂnie wynika potrzeba pomiaru stopnia zgodnoĂci.
Odpowiedě na pytanie, jaka wartoĂÊ wspóïczynnika konkordancji Ăwiadczy o zgodnoĂci uporzÈdkowañ nie jest prosta. WartoĂÊ wspóïczynnika W ksztaïtuje siÚ w przedziale od 0 do 1, gdzie 1 oznacza peïnÈ zgodnoĂÊ uporzÈdkowañ, a 0 brak zgodnoĂci.
Bardziej przemawiajÈcym do intuicji sÈ wspóïczynniki korelacji, których wartoĂci ksztaïtujÈ siÚ od -1 do 1, gdzie wartoĂci ujemne odzwierciedlajÈ siïÚ niezgodnoĂci, wartoĂci
dodatnie siïÚ zgodnoĂci. Taka interpretacja jest prosta, gdy mamy do czynienia z dwoma
szeregami (mówiÈc szerzej dwiema zmiennymi). W miarÚ wzrostu liczby szeregów
roĂnie jednak iloĂÊ rang, które zostanÈ przypisane temu samemu obiektowi, co sprawia
ĝe maleje poziom maksymalnego moĝliwego nieuporzÈdkowania miÚdzy szeregami.
44
Paweï Cabaïa
Zjawisko to jest wyraěnie widoczne, gdy przeĂledzimy zaleĝnoĂÊ miedzy wspóïczynnikiem konkordancji a wspóïczynnikiem korelacji rang Spearmana (r). OgólnÈ ocenÚ
zgodnoĂci miÚdzy m > 2 szeregami preferencyjnymi moĝna bowiem wyraziÊ poprzez
obliczenie Ăredniej wspóïczynników korelacji rang r dla wszystkich moĝliwych par
uporzÈdkowañ rangowych.
PowróÊmy do przykïadu (tab. 1), w którym trzech ekspertów oceniaïo piÚÊ obiektów
na skali porzÈdkowej, a wspóïczynniki konkordancji wyniósï 0,756. Wyrazimy teraz
ogólnÈ zgodnoĂÊ ekspertów za pomocÈ Ăredniej arytmetycznej wspóïczynników r. Jak
wiadomo wspóïczynniki korelacji rang Spearmana sïuĝy do oceny siïy zwiÈzku miÚdzy
dwiema cechami i jest obliczany wg wzoru:
n
t = 1-
6 / j = 1 ^ d j h2
n3 - n
,
(18)
gdzie dj jest róĝnicÈ rang dla j-tego obiektu. W przykïadzie z tab. 1 mamy 3 moĝliwe
pary uszeregowañ. Obliczmy r1,2 (wspóïczynnik korelacji miedzy szeregami eksperta
1 i 2), r1,3 (miÚdzy szeregiem eksperta 1 i 3) oraz r2,3 (czyli miÚdzy szeregiem 2 i 3),
a nastÚpnie uĂredniamy otrzymane wyniki. ¥rednia wszystkich moĝliwych par rav
wynosi dla naszego przykïadu:
t av =
t1, 2 + t1, 3 + t2, 3
0,6 + 0,7 + 0,6
=
= 0,633.
3
3
Jak widaÊ uzyskany wynik (0,633) jest wartoĂciÈ niĝszÈ od obliczonego wczeĂniej
wspóïczynnika W (0,756).
Istnieje relacja liniowa miÚdzy wspóïczynnikiem konkordancji W a ĂredniÈ wspóïm
czynników korelacji rang r Spearmana. Dla b 2 l wszystkich par obserwatorów, a wiÚc
i szeregów preferencyjnych moĝna wyznaczyÊ wartoĂci r, a nastÚpnie obliczyÊ ĂredniÈ
dla wszystkich par1.
¥rednia wspóïczynników korelacji rang Spearmana (rav) jest powiÈzana ze wspóïczynnikiem W nastÚpujÈco:
mW - 1
tav = m - 1 .
(19)
Gdy wspóïczynnik zgodnoĂci W = 0, to Ărednia wspóïczynników korelacji rang
1
Spearmana wyniesie tav = - m - 1 . Jest to najmniejsza wartoĂÊ jakÈ moĝe osiÈgnÈÊ rav
(w miarÚ wzrostu liczby szeregów, bÚdzie siÚ zbliĝaÊ do zera). Gdy W = 1 to rav = 1.
1
Z kolei dla rav równego zero, wspóïczynnik W wyniesie m . ZaleĝnoĂÊ miÚdzy tymi
wspóïczynnikami dla m = 3, 5, 10 i 100 pokazano na rysunku 1. W przypadku analizy
wiÚcej niĝ 100 szeregów wartoĂÊ rav moĝna uznaÊ za równÈ W (dla m = 100, wartoĂci
W = 0 odpowiada wartoĂÊ rav = –0,01).
1 Jest to przewaga r nad t, dla którego nie ma prostej metody interpretacji w kategoriach Ăredniej
z par m > 2 uszeregowañ.
Zastosowanie wspóïczynnika konkordancji w pomiarze zgodnoĂci ocen ekspertów
45
1
Średnia współczynników korelacji rang r
0,9
0,8
0,7
0,6
0,5
0,4
0,3
0,2
m
0,1
=
0
10 = 10 = 5
m
m
m
=
3
0
-0,1
-0,2
-0,3
-0,4
-0,5
0
0,1
0,2
0,3
0,4
0,5
0,6
0,7
0,8
0,9
1
Wartość współczynnika konkordancji W
Rysunek 1. Relacje miÚdzy W a rav dla wybranych wartoĂci m
½ródïo: opracowanie wïasne.
Przedstawiona wyĝej zaleĝnoĂÊ, pokazuje problemy z wïaĂciwÈ interpretacjÈ wspóïczynnika konkordancji. Rozwaĝmy nastÚpujÈcy przykïad. Grupa trzech ekspertów ustaliïa rangi dla 20 czynników ryzyka w zwiÈzku z realizacjÈ inwestycji i wspóïczynnik
konkordancji wyniósï 0,6. Te same 20 czynników ryzyka dla tej samej inwestycji oceniïa
inna grupa, tym razem 7 ekspertów i wspóïczynnik W wyniósï 0,8. WidaÊ wiÚc wyraěnie, ĝe druga grupa jest bardziej zgodna w ocenie niĝ grupa pierwsza. Nie ma jednak
jednoznacznej odpowiedzi na pytanie, czy róĝnica ta jest istotna statystycznie.
6. PRZYK’AD POMIARU ZGODNO¥CI SZEREGÓW Z RANGAMI WIkZANYMI
W badaniach majÈcych na celu ustalenie wpïywu tzw. gospodarki opartej na wiedzy
(GOW) na funkcjonowanie polskich przedsiÚbiorstw jednym z etapów badawczych byïo
opracowanie zestawu kryteriów oceny pozwalajÈcych na ocenÚ stopnia tego wpïywu [4].
Z uwagi na fakt, iĝ pojÚcie GOW jest nieostre uznano, ĝe naleĝy dobraÊ nie jedno,
lecz zestaw kryteriów oceny stopnia takiego wpïywu. Przejawem tego wpïywu miaï
byÊ poziom zaawansowania systemu zarzÈdzania wiedzÈ w przedsiÚbiorstwie.
Na podstawie studiów literatury przedmiotu zidentyfikowano kilkadziesiÈt najczÚĂciej podawanych wïaĂciwoĂci sytemu zarzÈdzania wiedzÈ. Ostatecznie uznano, iĝ
najczÚĂciej opisywanymi cechami, które mogïyby staÊ siÚ kryteriami oceny systemu
zarzÈdzania wiedzÈ w przedsiÚbiorstwie sÈ: K1 – grupowe rozwiÈzywanie problemów,
K2 – bariery w dzieleniu siÚ wiedzÈ, K3 – czÚstotliwoĂÊ aktualizacji baz danych, K4
46
Paweï Cabaïa
– dzielenie siÚ wiedzÈ z kooperantami, K5 – uĝytecznoĂÊ systemów informatycznych,
K6 – stopieñ zaawansowania systemów informacyjnych, K7 – narzÚdzia wspomagajÈce
zarzÈdzanie wiedzÈ, K8 – znajomoĂÊ technologii informatycznych, K9 – dziaïalnoĂÊ
badawczo-rozwojowa, K10 – wspóïpraca w zakresie rozwoju z innymi firmami, K11
– poziom wyksztaïcenia pracowników, K12 – szkolenia pracowników, K13 – stopieñ
komputeryzacji stanowisk pracy.
GrupÚ 14 pracowników naukowo-dydaktycznych Uniwersytetu Ekonomicznego
w Krakowie poproszono o dokonanie oceny stopnia istotnoĂci wymienionych kryteriów z uwagi na ocenÚ wpïywu GOW na przedsiÚbiorstwo. PrzyjÚto, ĝe kryteria bÚdÈ
oceniane w skali od 1 do 3, gdzie ocena 1 oznaczaïa umiarkowanÈ istotnoĂÊ, ocena 2
wysokÈ istotnoĂÊ, a ocena 3 bardzo wysokÈ istotnoĂÊ danego kryterium.
Wyniki przeprowadzonej oceny 13 kryteriów (K1 do K13) dokonanej przez 14
ekspertów (E1 do E14) zestawiono w tabeli 3.
Ta b e l a 3
Surowe wyniki oceny istotnoĂci dobranych kryteriów
K1
K2
K3
K4
K5
K6
K7
K8
K9
K10
K11
K12
K13
E1
3
3
2
3
1
2
1
2
2
1
1
3
1
E2
1
1
1
1
3
3
3
2
2
2
3
2
1
E3
3
2
3
1
3
1
2
3
2
1
2
1
2
E4
2
3
1
2
2
2
3
1
2
1
3
3
1
E5
1
1
3
3
2
2
2
1
3
2
1
3
1
E6
2
2
2
2
2
3
2
2
3
3
2
3
2
E7
3
2
3
2
3
2
2
1
2
3
3
2
2
E8
3
2
2
2
2
3
3
2
3
2
1
1
1
E9
3
2
2
3
3
2
3
2
2
3
1
2
1
E10
3
3
2
2
1
2
2
2
3
2
2
1
2
E11
3
2
2
1
3
2
2
3
2
1
3
2
2
E12
1
3
3
1
2
3
3
2
3
2
3
2
2
E13
1
1
2
1
3
2
3
3
2
2
3
3
1
E14
2
1
2
1
2
2
3
2
3
1
3
2
2
½ródïo: opracowanie wïasne.
Jak widaÊ z zaprezentowanych w tabeli 3 danych mamy do czynienia z ocenÈ
13 obiektów dokonanÈ przez 14 obserwatorów (n = 13, m = 14). Ze wzglÚdu na przyjÚtÈ
skalÚ oceny wszystkie szeregi majÈ rangi wiÈzane. W celu obliczenia wspóïczynnika
konkordancji konieczne jest przeprowadzenie procedury uĂredniania rang wiÈzanych.
I tak w szeregu pierwszym (E1) z tabeli 3 kryteria K1, K2, K4 oraz K12 otrzymaïy
47
Zastosowanie wspóïczynnika konkordancji w pomiarze zgodnoĂci ocen ekspertów
najwyĝszÈ ocenÚ w przyjÚtej skali (3). Oznacza to, ĝe pozycje tych kryteriów (obiektów) sÈ sobie równe i jednoczeĂnie najwyĝsze. Te cztery pierwsze miejsca uĂredniamy:
1+2+3+4
i otrzymujemy dla tych obiektów rangÚ uĂrednionÈ 2,5. Dalej, kryteria
4
K3, K6, K8 i K9 otrzymaïy tÚ samÈ ocenÚ (2), a zatem je uĂredniamy biorÈc pod
5+6+7+8
uwagÚ ich kolejne pozycje w szeregu:
= 6,5. Ekspert 1 najniĝej oceniï (1)
4
kryteria K5, K7, K10, K11 oraz K13. StÈd rangi wiÈzane dla tych kryteriów wyniosÈ:
9 + 10 + 11 + 12 + 13
= 11. Podobnie obliczenia przebiegajÈ dla pozostaïych szeregów.
5
Wyniki obliczeñ pokazano w tabeli 4.
Ta b e l a 4
Rangi uĂrednione dobranych kryteriów
K1
K2
K3
K4
K5
K6
K7
K8
K9
E1
2,5
2,5
6,5
2,5
11
6,5
11
6,5
6,5
E2
11
11
11
11
2,5
2,5
2,5
6,5
E3
2,5
7
2,5
11,5
2,5
11,5
7
E4
7
2,5
11,5
7
7
7
E5
11
11
2,5
2,5
6,5
E6
9
9
9
9
E7
3
9
3
E8
2,5
7,5
E9
3
E10
ti
K11
K12
K13
11
11
2,5
11
20
6,5
6,5
2,5
6,5
11
20
2,5
7
11,5
7
11,5
7
20
2,5
11,5
7
11,5
2,5
2,5
11,5
20
6,5
6,5
11
2,5
6,5
11
2,5
11
20
9
2,5
9
9
2,5
2,5
9
2,5
9
65
9
3
9
9
13
9
3
3
9
9
38
7,5
7,5
7,5
2,5
2,5
7,5
2,5
7,5
12
12
12
24,5
8,5
8,5
3
3
8,5
3
8,5
8,5
3
12,5
8,5
12,5
28
2
2
7,5
7,5
12,5
7,5
7,5
7,5
2
7,5
7,5
12,5
7,5
44,5
E11
2,5
8
8
12,5
2,5
8
8
2,5
8
12,5
2,5
8
8
33,5
E12
12,5
3,5
3,5
12,5
9
3,5
3,5
9
3,5
9
3,5
9
9
28
E13
11,5
11,5
7,5
11,5
3
7,5
3
3
7,5
7,5
3
3
11,5
20
E14
7
12
7
12
7
7
2
7
2
12
2
7
7
32
87
105
95,5
119
86
90
77
105
75
111,5
89
97
137
413,5
Suma
K10
½ródïo: opracowanie wïasne.
W ostatnim wierszu tabeli 4 podano sumÚ rang dla poszczególnych kryteriów
(czyli Rj) oraz sumÚ Ti, czyli poprawkÚ na rangi wiÈzane (T, wzór 9). Suma kwadratów
r = m (n + 1) (czyli S) wynosi 3629,5. Tak przygotowane dane
odchyleñ Rj od Ăredniej R
2
pozwalajÈ na obliczenie wspóïczynnika konkordancji (wzór 10):
48
Paweï Cabaïa
/ nj = 1 b R j - 14 (132 + 1) l
2
3629,5
W= 1
= 3572 - 5789 = 0,121
2
3
12 $ 14 ^ 13 - 13 h - 14 $ 413,5
W praktyce warto stosowaÊ zaproponowanÈ modyfikacjÚ w obliczaniu wspóïczynnika konkordancji, dziÚki której unikamy koniecznoĂci wyznaczania wartoĂci poprawek
na rangi wiÈzane (ostatnia kolumna tab. 4). Na podstawie tablicy rang uĂrednionych
(tab. 4) obliczmy:
m, n
/
G=
i = 1, j = 1
b a ji -
(n + 1) 2
2 l =i
m, n
/ ^ a ji - 7 h2 = 2134,5,
= 1, j = 1
a stÈd
3629,5
S
W = mG = 14 $ 2134,5 = 0,121.
KorzystajÈc z formuïy (15) wyznaczamy wartoĂÊ T, czyli sumÚ poprawek na
rangi:
T=
m^n3 - nh
14 ^ 13 3 - 13 h
G
=
- 2134,5 = 413,5.
12
12
¥rednia wspóïczynników korelacji rang Spearmana dla omawianego przypadku
wynosi:
14 $ 0,121 - 1
mW - 1
tav = m - 1 =
= 0,053.
13
W celach porównawczych obliczono ĂredniÈ wspóïczynników korelacji liniowej
Pearsona (rav). Dla wszystkich 91 par szeregów Ărednia ta wyniosïa rav = 0,051. Jak
widaÊ róĝnica miÚdzy rav a rav jest nieznaczna. WartoĂci wspóïczynników na podstawie
których obliczono ĂredniÈ zawiera tabela 5.
Ta b e l a 5
Wspóïczynniki korelacji r Pearsona dla wszystkich par szeregów
E1
E2
E3
E4
E2
–0,57
E3
–0,12
–0,12
E4
0,24
0,36
–0,25
E5
0,22
–0,01
–0,36
0,00
E6
0,06
0,26
–0,64
0,00
E5
0,46
E6
E7
E8
E9
E10
E11
E12
E13
Zastosowanie wspóïczynnika konkordancji w pomiarze zgodnoĂci ocen ekspertów
49
cd. tabeli 5
E1
E2
E3
E4
E5
E6
E7
–0,26
0,05
0,16
0,00
0,05
–0,06
E8
0,14
0,14
0,13
0,00
0,14
0,16
–0,05
E9
0,16
0,03
0,00
0,00
0,30
0,02
0,20
0,57
E10
0,31
–0,44
0,16
0,00
–0,29
–0,08
–0,06
0,50
E11
–0,12
0,30
0,74
0,15
–0,54
–0,41
0,07
–0,02
E12
–0,35
0,43
0,00
0,27
0,04
0,18
–0,04
0,10
E13
–0,44
0,79
0,12
0,24
0,12
0,14
–0,05
–0,14
–0,41
0,55
0,29
0,29
0,00
0,00
0,00
0,16
E14
E7
E8
E9
E10
E11
E12
E13
–0,04
–0,24 –0,03
–0,45
0,12
0,06
–0,03 –0,62
0,40
0,35
–0,33
0,51
0,47
0,00
0,55
½ródïo: opracowanie wïasne.
Uzyskanie wyniki ĂwiadczÈ o niskiej zgodnoĂÊ miÚdzy opiniami ekspertów co do
relatywnej istotnoĂci rang dla badanych kryteriów. Czy uzyskany wynik jest istotny
statystycznie? W przykïadzie mamy do czynienia z ocenÈ 13 obiektów dokonanÈ przez
14 ekspertów. Wszystkie szeregi posiadajÈ rangi wiÈzane. Dla takiej liczby obiektów
i szeregów nie ma tablic rzeczywistego rozkïadu S, wiÚc musimy posïuĝyÊ siÚ szacunkiem korzystajÈc z rozkïadu chi-kwadrat. Obliczamy wartoĂÊ statystyki (wzór 17):
3629,5
|2r = 14 $ 13 (13 + 1)
413,5 = 24,599.
12
13 - 1
Z tabel rozkïadu chi-kwadrat odczytujemy, ĝe dla d¦ = 12 (czyli n – 1) i poziomu
istotnoĂci a = 0,05 wartoĂÊ |2a = 21,0261, a zatem odrzucamy hipotezÚ zerowÈ mówiÈcÈ
o braku zaleĝnoĂci miÚdzy badanymi uporzÈdkowaniami _ |2r > |2a i .
UwzglÚdnianie wartoĂci T dla szeregów z duĝÈ iloĂciÈ rang wiÈzanych jest konieczne
w testach istotnoĂci. Dla rozpatrywanego przykïadu wartoĂÊ |2r bez wprowadzenia
T
poprawki na rangi wiÈzane b n - 1 l wnosi 19,9423.
8. OGRANICZENIA METOD KORELACJI RANG W POMIARZE ZGODNO¥CI OCEN
W przypadku wiÚkszej liczby obiektów (n > 9) rangowanie w sensie dosïownym
stwarza istotne trudnoĂci, poniewaĝ oceniajÈcy nie jest w stanie jednoczeĂnie porównywaÊ ze sobÈ tak duĝej liczby obiektów. Sensownym rozwiÈzaniem jest wtedy odwoïanie
siÚ do metody porównañ parami i na tej podstawie tworzenie porzÈdku rangowego2.
2 Takie rozwiÈzanie sugeruje m.in. M. Kendall. Proponowany przez tego autora miernik zgodnoĂci u (coefficient of agreement) wyraĝa stopieñ zgodnoĂci miÚdzy ocenami obserwatorów, którzy rozwaĝane obiekty porównujÈ
parami. W przypadku zïoĝonych i trudnych do oceny obiektów podejĂcie takie wydaje siÚ bardzo wskazane [7].
50
Paweï Cabaïa
Zamiast tego w praktyce stosuje siÚ skale oceny o mniejszej rozpiÚtoĂci, które sïuĝÈ
do oceny kaĝdego obiektu z osobna, tak jak to zrobiono w powyĝszym przykïadzie.
Pytanie, jakie w zwiÈzku z tym siÚ nasuwa to, czy mamy prawo przeksztaïcania
ocen wyraĝanych w skali punktowej (tutaj od 1 do 3) w szeregi z rangami wiÈzanymi,
zwïaszcza gdy liczba ocenianych obiektów jest wiÚksza do przyjÚtej rozpiÚtoĂci skali
punktowej (w naszym przypadku liczba ocenianych obiektów byïa równa 13, czyli
znacznie wiÚksza od 3).
Rozwaĝmy inny przykïad. Czterech ekspertów ocenia stopieñ wpïywu na dziaïalnoĂÊ
danego przedsiÚbiorstwa siedmiu okreĂlonych zagroĝeñ. Czy proces oceny polegajÈcy
na uszeregowaniu tych zagroĝeñ w kolejnoĂci od zagroĝenia o najwiÚkszym wpïywie
aĝ do zagroĝenia o wpïywie najmniejszym (czyli rangowanie), bÚdzie równoznaczny
z procesem oceny kaĝdego z tych zagroĝeñ oddzielnie w skali od 1 do 7? Jaki wpïyw
na proces oceny bÚdzie miaïo zwiÚkszenie rozpiÚtoĂci skali punktowej (np. skala od
1 do 9 zamiast od 1 do 7)? Jaki wpïyw na proces oceny bÚdzie miaïo zmniejszenie
rozpiÚtoĂci skali (np. skala od 1 do 3 zamiast od 1 do 7)? Odpowiedzi na powyĝsze
pytania majÈ fundamentalne znaczenie dla pomiaru zgodnoĂci ocen.
Gdy zgodnoĂÊ ocen chcemy wyraziÊ za pomocÈ wspóïczynników korelacji rang
(dla m = 2) lub wspóïczynnika konkordancji (dla m > 2), to musimy mieÊ ĂwiadomoĂÊ,
ĝe adekwatny pomiar zgodnoĂci bÚdzie moĝliwy wówczas, gdy mamy do czynienia
z rangowaniem obiektów w Ăcisïym tego sïowa znaczeniu. Wydaje siÚ, ĝe rangowanie
jest procesem psychologicznie i merytorycznie odmiennym od niezaleĝnej oceny kaĝdego
obiektu z osobna – nawet gdy te obiekty naleĝÈ do jednej klasy (kategorii).
Wspóïczynniki korelacji rang (r, t, czy wspóïczynnik konkordancji) wyraĝajÈ stopieñ ogólnego powiÈzania miÚdzy preferencjami grupy ekspertów. Jednak potrzeba
pomiaru stopnia zgodnoĂci ocen dotyczy nie tylko sytuacji, w których kilku ekspertów
wypowiada siÚ na temat kilku obiektów ïÈcznie. CzÚsto spotykamy siÚ z praktykÈ, kiedy
oceny sÈ przyznawane niezaleĝnie kaĝdemu z badanych obiektów w okreĂlonej skali
punktowej. Nie mamy wtedy do czynienia z rangowaniem w sensie Ăcisïym, poniewaĝ
oceniajÈc kaĝdy z obiektów osobno eksperci majÈ do dyspozycji kaĝdorazowo skalÚ
o tej samej rozpiÚtoĂci.
W przypadku wspóïczynnika konkordancji badamy stopieñ powiÈzañ miÚdzy rangami. Ranga oznacza miejsce danego obiektu wĂród innych ocenianych obiektów,
a zatem stosowana w tym przypadku rozpiÚtoĂÊ skali porzÈdkowej jest równa n – 1.
WyznaczajÈc rangÚ danego obiektu, kaĝdorazowo zmniejszamy tak rozumianÈ rozpiÚtoĂÊ skali, aĝ do jej wyczerpania. Dla szeregów sïabych, czyli gdy dopuszczamy moĝliwoĂÊ nadania tej samej rangi niektórym obiektom, rozpiÚtoĂÊ skali bÚdzie mniejsza
niĝ n – 1.
Wydaje siÚ, ĝe skala punktowa, za pomocÈ której n obiektów jest ocenianych
niezaleĝnie i która ma rozpiÚtoĂÊ wyĝszÈ od n – 1, jest skalÈ mocniejszÈ od skali wynikajÈcej z procesu rangowania. ZaleĝnoĂÊ odwrotna jest mniej oczywista, lecz moĝna
w pewnym sensie powiedzieÊ, ĝe gdy rozpiÚtoĂÊ skali punktowej ocen jest mniejsza do
n – 1, to rangowanie – o ile nie stosuje siÚ rang wiÈzanych – daje wyniki „mocniejsze”
od ocen punktowych.
Uniwersytet Ekonomiczny w Krakowie
Zastosowanie wspóïczynnika konkordancji w pomiarze zgodnoĂci ocen ekspertów
51
LITERATURA
[1] Brzeziñski J., Maruszewski T., [1978], Metoda sÚdziów kompetentnych i jej zastosowanie w badaniach
pedagogicznych, „Kwartalnik Pedagogiczny”, Nr 1(87).
[2] Damodaran A., [2009], Ryzyko strategiczne, Wydawnictwa Akademickie i Profesjonalne, Warszawa.
[3] Day S.G., Schoemaker P.J.H., [2006], Peripheral Vision. Detecting Weak Signals That Will Make or Break
Your Company, Harvard Business School Press, Boston.
[4] Doskonalenie struktur organizacyjnych przedsiÚbiorstw w gospodarce opartej na wiedzy, [2009], pod red.
A. Stabryïy, Wydawnictwo C.H. Beck, Warszawa.
[5] Góralski A., [1976], Metody opisu i wnioskowania statystycznego w psychologii, PWN, Warszawa.
[6] Grouard B., Meston F., [1997], Kierowanie zmianami w przedsiÚbiorstwie, Poltex, Warszawa.
[7] Kendall M., [1962], Rank correlation methods, Charles Griffin & Company, London.
[8] Sharpe N.R., Veaux De R.D., Valleman P.F., [2009], Business Statistics, Pearson, New York.
[9] Siegel S., [1956], Nonparametric statistics for the behavioral sciences, McGraw-Hill Company Inc., New
York.
[10] Simons R., [2005], Czy wiesz jak duĝe ryzyko ukryte jest w twojej firmie?, „Harvard Business Review
Polska”, kwiecieñ.
[11] Stabryïa A., [2000], ZarzÈdzanie strategiczne w teorii i praktyce firmy, Wydawnictwo Naukowe PWN,
Warszawa
[12] Steczkowski J, ZeliaĂ A., [1997], Metody statystyczne w badaniach zjawisk jakoĂciowych, Wydawnictwo
Akademii Ekonomicznej w Krakowie, Kraków.
[13] The Delphi Method. Techniques and Applications, [1975], pod red. H. Linstonea I M. Turoffa, AddiosnWesley Publishing Company Inc. London.
[14] Winer B.J., [1962], Statistical principles in experimental design, McGraw-Hill Company Inc., New
York.
Praca wpïynÚïa do redakcji w marcu 2010 r.
ZASTOSOWANIE WSPӒCZYNNIKA KONKORDANCJI
W POMIARZE ZGODNO¥CI OCEN EKSPERTÓW
Streszczenie
Celem artykuïu jest przedstawienie zagadnienia pomiaru zgodnoĂci ocen wyraĝonych na skali porzÈdkowej. Istnieje szereg sposobów sprawdzenia stopnia zgodnoĂci opinii ekspertów. Z reguïy do tego celu
stosuje siÚ wspóïczynniki korelacji rang. W artykule skoncentrowano siÚ na przypadku gdzie m > 2 ekspertów ocenia n obiektów, z dopuszczeniem rang wiÈzanych. Dla tak sformuïowanego problemu jako miarÚ
zgodnoĂci przyjÚïo siÚ stosowaÊ wspóïczynnik konkordancji W Kendalla. W artykule zaproponowano uogólnionÈ wersjÚ obliczania tego wspóïczynnika, która upraszcza obliczenia w przypadku wystÚpowania rang
wiÈzanych. Oprócz przedstawienia procedury badania istotnoĂci statystycznej, podniesiono takĝe problem
interpretacji otrzymywanych wartoĂci wspóïczynnika konkordancji. W nawiÈzaniu do zaprezentowanego
przypadku podjÚto równieĝ dyskusjÚ na temat ograniczeñ zastosowañ wspóïczynników korelacji w ocenie
zgodnoĂci ekspertów.
Sïowa kluczowe: opnie ekspertów, rangi, rangi wiÈzane, metoda uĂredniania rang, korelacja rang,
wspóïczynnik konkordancji
52
Paweï Cabaïa
USING THE CONCORDANCE COEFFICIENT IN THE MEASUREMENT
OF AGREEMENT AMONG EXPERTS
Summary
In this article the problem of the measurement of agreement among experts is discussed. There are
several tools to verify whether opinions expressed by an ordinal scale are reliable. If the objects are ranked,
one of correlation coefficients is chosen. At the beginning, the case of m > 2 experts ranking n objects is
presented; first, using untied ranks and second, tied ranks. To this end Kendall’s coefficient of concordance
is applied. The method of examination of the statistical significance is also presented. Additionally the
issue of the interpretation of the concordance coefficient in reference to the average of Spearman’s r
coefficients is raised. The paper provides an example of using concordance coefficient when ranks are
tied and discusses limitations of using rank correlation methods as a tool for evaluating the degree of
agreement among experts’ opinions.
Key words: experts’ opinions, ranks, tied ranks, mid-rank method, rank correlation, concordance
coefficient,