autoreferat rozprawa obrona-21 - Instytut Badań Systemowych PAN

Warszawa, 2 grudnia 2011 r.
mgr inż. Marek Gągolewski
Zakład Procesów Stochastycznych
Instytut Badań Systemowych PAN
Wybrane operatory agregacji i ich zastosowanie
w modelu formalnym systemu oceny jakości w nauce
Autoreferat rozprawy doktorskiej
1
Wprowadzenie
W roku 2005 Jorge E. Hirsch zaproponował indeks h służący do oceny jakości dorobku publikacyjnego naukowców [21]. Indeks ten jest funkcją określoną na zbiorze
ciągów liczbowych o dowolnej długości, których wyrazy są równe liczbie cytowań
poszczególnych prac rozpatrywanego autora. Formalnie, jest to największa liczba
naturalna H taka, że H elementów ciągu wejściowego ma wartość co najmniej H.
Indeks h bardzo szybko zyskał popularność, czego wyrazem może być bardzo
duża liczba cytowań (prawie 1000, dane z bazy Elsevier SciVerse Scopus) wspomnianego artykułu źródłowego. Narzędzie to stało się motorem rozwoju podgałęzi
naukometrii, która przedmiotem swej refleksji uczyniła tzw. indeksy bibliometryczne
na poziomie indywidualnym, czyli mikroskopowym [por. 16]. Jego wpływ jest tak
duży, że bibliometrzy skorzy są nawet dzielić rozwój swej dziedziny na okres „przed
Hirschem” i „po Hirschu” [26].
W literaturze przedmiotu rozpatrywano różne własności indeksu h. Własności
te formułowane są jednak najczęściej w sposób tylko opisowy, w dodatku niejasny,
nieprecyzyjny. Ponadto, dokonywano wielu analiz porównawczych na podstawie danych empirycznych pobranych z komputerowych baz cytowań, takich jak Web of
Science, SciVerse Scopus czy Google Scholar
Aż do roku 2008 nie pojawiły się jednak wyniki teoretyczne, w których zostałaby
dokonana formalizacja pewnych pojęć występujących w tej dziedzinie. Deterministyczny model Egghego [por. 5, 6] oparty na prawie potęgowym Lotki (ang. Lotka
power law bądź Lotkaian informetrics), analizowany głównie przez swojego twórcę,
wydawał się bowiem nie budzić większego zainteresowania wśród innych badaczy.
1
Dopiero Woeginger [30, 31] zaproponował, że można ograniczyć się do analizy
klasy funkcji monotonicznych ze względu na każdą zmienną i równocześnie monotonicznych ze względu na długość rozpatrywanego ciągu. Od tego czasu pojawiło się
kilka charakteryzacji indeksów, czyli twierdzeń typu „funkcja spełnia zbiór pewnych
behawioralnych własności (często bardzo technicznych) wtedy i tylko wtedy gdy jest
to indeks X” [zob. 27, 31, 32].
Był to istotny krok ku zmianie stosowanej w bibliometrii metody badawczej.
Bibliometrię postrzega się najczęściej jako dziedzinę empiryczną, a w przypadku
niektórych zagadnień nawet jako dziedzinę z pogranicza nauk społecznych. Uzyskane
rezultaty teoretyczne stanowią podwaliny do zmiany paradygmatu. W tym sensie
otworzyła się możliwość traktowania bibliometrii jako podgałęzi informatyki, a więc
nauki o przetwarzaniu informacji specyficznego rodzaju.
Dodatkowo, niektórzy badacze podejmowali starania o określenie podstawowych
własności probabilistycznych stosowanych narzędzi, np. wartości oczekiwanej indeksu h w tzw. modelu Burrella [por. 3], czy w modelach wykorzystujących rozkłady
ciągłe bądź dyskretne typu Pareto [15, 29]. Mimo to nie zostały podjęte szersze
próby zastosowania modelowania i wnioskowania statystycznego, ani tym bardziej
metod z dziedziny tzw. soft-computing (modelowanie rozmyte, modelowanie posybilistyczne) do opisu ze swej natury wszak niepewnych przetwarzanych danych.
2
Cel rozprawy
Dostrzegając przedstawione wyżej problemy, za cel rozprawy postawiłem sobie:
1. identyfikację podstawowych założeń przyjmowanych implicité w badaniach bibliometrycznych (model tzw. wyidealizowanego rynku naukowego);
2. formalizację analizowanego zagadnienia, tj. stworzenie abstrakcyjnego modelu,
na gruncie którego konstruowane są narzędzia bibliometrycznej oceny jakości
pracy naukowej (klasa operatorów agregacji zwanych funkcjami wpływu);
3. systematyczną analizę zaproponowanych podklas funkcji wpływu, zwłaszcza
w oderwaniu od kontekstu dziedziny, z której pochodzą dane wejściowe;
4. stworzenie oprogramowania komputerowego pomocnego m.in. w wyznaczaniu
wartości najczęściej stosowanych funkcji wpływu oraz w analizie danych empirycznych.
Wysunąłem hipotezę głoszącą, iż zaproponowany formalny model oceny jakości pracy naukowej pozwala na obiektywną, systemową analizę — za pomocą
różnorakich podejść formalnych — różnego typu własności narzędzi stosowanych
m.in. w bibliometrii. Interesowała mnie:
2
1. analiza aksjomatyczna, polegająca na:
(a) postulowaniu pewnych własności behawioralnych i poszukiwaniu wszystkich funkcji, które je spełniają, bądź
(b) charakteryzacji wybranych klas funkcji,
2. analiza własności probabilistycznych, w odpowiedź na pytania o to:
(a) jaki jest rozkład wybranych funkcji (w tym rozkład asymptotyczny),
(b) jak sprawdzają się badane funkcje w zagadnieniu estymacji punktowej
i przedziałowej pewnych parametrów rozkładu danych wejściowych,
(c) czy badane funkcje mogą być użyte (i z jakim skutkiem) w zagadnieniu
weryfikacji hipotez dotyczących równości rozkładów dwóch prób,
3. analiza posybilistyczna wrażliwości funkcji i ciągów wejściowych na dane prawostronnie cenzorowane i zmienne w czasie,
4. analiza empiryczna rzeczywistych danych z dziedziny bibliometrii.
Zagadnienie będące przedmiotem rozprawy sformułowałem w ogólny sposób tak,
że większość uzyskanych przeze mnie wyników można z powodzeniem wykorzystywać w innych, podobnych dziedzinach (Problem Oceny Producentów). Istotne jest
to, iż w rozważaniach abstrahowałem od trafności danych wejściowych, pozostawiając partykularnym obszarom zastosowań rozstrzygnięcie, czy dany sposób oceniania
poszczególnych agregowanych wartości jest adekwatny.
Dodatkowo pokazałem, że stworzona przeze mnie biblioteka CITAN [7] dla środowiska R [28] może służyć do wspomagania analizy rzeczywistych danych i prowadzenia dalszych badań teoretycznych.
3
Struktura rozprawy
Poglądowy schemat struktury rozprawy przedstawiam na rys. 1 oraz, bardziej szczegółowo, w tab. 1. Rozdział 1 pełni funkcję przeglądową, a ponadto twórczo porządkującą bieżący stan wiedzy w bibliometrii. Najważniejsze wyniki teoretyczne przedstawiam w rozdz. 2–5. I tak w rozdziale 2 dokonuję formalizacji problemu oceny jakości
i przedstawiam przegląd najciekawszych operatorów agregacji, w rozdz. 3 przeprowadzam ich analizę aksjomatyczną, w rozdz. 4 — analizę własności stochastycznych,
a w rozdz. 5 — analizę posybilistyczną. Celem rozdziału 6 (wraz z dodatkami)
jest ilustracja zastosowania stworzonego przeze mnie oprogramowania w praktycznej analizie danych. Pragnę zauważyć, że tym samym w mojej pracy nie pominąłem
żadnego z podejść stosowanych w literaturze. Przeprowadzone przeze mnie badania
są zatem wieloaspektowe, systemowe.
3
Tablica 1: Liczba stron przypadająca na poszczególne części rozprawy.
Część
Rozdziały
Część opisowa
L.str.
Wprowadzenie
1. Ocena dorobku naukowego. . .
Zakończenie
Ogółem
Najważniejsze
wyniki
teoretyczne
2.
3.
4.
5.
Funkcje wpływu
Analiza aksjomatyczna
Analiza stochastyczna
Analiza posybilistyczna
Ogółem
Część
praktyczna,
dodatki
6. Analiza empiryczna
A. Wybrane algorytmy
B. Bilioteka CITAN
Ogółem
Wykazy,
bibliografia
Bibliografia
Skorowidz symboli
Indeksy i spisy, strona tytułowa
Ogółem
Razem
10
20
4
34
28
28
64
12
132
36
10
26
72
16
2
12
30
268
1. Część opisowa
(motywacja)
Część teoretyczna
3. Analiza
aksjomatyczna
CITAN w praktyce
2. Funkcje
wpływu
4. Analiza
stochastyczna
5. Analiza
posybilistyczna
7. Podsumowanie
Rysunek 1: Schemat struktury dysertacji.
4
6. Analiza
empiryczna
3.1 Rozdział 1
W pierwszej części zaprezentowałem autorskie wprowadzenie do ogólnej problematyki nauko- i bibliometrycznej oceny jakości dorobku publikacyjnego pracowników
naukowych. Poddałem krytyce trafność liczby cytowań jako miary wpływu artykułów i przedstawiłem alternatywne sposoby ich wartościowania. Zwróciłem uwagę na
dynamiczny charakter analizowanych danych oraz często występujące w praktyce
utrudnienia w uzyskaniu rzetelnych informacji wejściowych.
Zauważyłem, że w badaniach bibliometrycznych przyjmuje się niejawnie następujące założenia, tzw. postulaty wyidealizowanego rynku naukowego [11]:
W1. Podstawowym przejawem pracy naukowca są publikacje.
W2. Liczba cytowań publikacji jest odzwierciedleniem wywieranego przez nią wpływu
w rynku naukowym.
W3. Wszystkie cytowania są równoważne pod względem istotności.
W4. Przygotowanie każdej publikacji wymaga jednakowego nakładu pracy.
W5. Naukowcy różnią się od siebie produktywnością i zdolnością wytwarzania publikacji o jakości uznawanej za wysoką.
W6. Naukowiec cechujący się wyższą jakością pracy publikuje częściej artykuły licznie cytowane niż pracownik o jakości niskiej.
W7. W każdej chwili istnieje dostęp do pełnej i rzetelnej informacji o autorach,
publikacjach i ich cytowaniach.
Ponadto, okazało się, że bibliometryczny problem oceny dorobku naukowego
można w dość prosty sposób uogólnić. Rozważmy bowiem producenta (np. pisarza,
naukowca, artystę, firmę) oraz niepusty zbiór wytworzonych przez niego produktów
(np. książek, artykułów naukowych, grantów, obrazów, koncertów fortepianowych,
towarów). Z każdym produktem związana jest pewna ocena jego jakości, wyrażona
w postaci liczby z przedziału I = [0, ∞] (w rozprawie rozważałem ogólniejszy przypadek I = [a, b]). Każdy z możliwych stanów producenta można zatem identyfikować
S
n
przez element zbioru I1,2,... = ∞
n=1 I .
Jest to sytuacja charakterystyczna dla wielu dziedzin ludzkiej działalności. Niektóre z możliwych przypadków przedstawia tablica 2.
Zagadnienie dotyczące konstrukcji i analizy operatorów agregacji służących do
wyznaczania całościowej oceny producentów na podstawie ocen poszczególnych ich
produktów nazwałem Problemem Oceny Producenta (ang. Producer Assessment Problem). Takie ujęcie zostało przeze mnie zaproponowane w pracach [10, 14].
Oczywistym jest, że rodzina operatorów agregacji możliwych do zastosowania
w POP powinna brać pod uwagę dwa następujące niezależne wymiary szeroko rozumianego pojęcia jakości producenta:
5
1. zdolność wytwarzania produktów ocenianych wysoko,
2. produktywność.
Postawienie problemu w powyższy sposób zwolniło mnie niejako z dyskusji na
temat trafności miary jakości poszczególnych produktów, pozwalając założyć, że to
co jest dane, stanowi ocenę adekwatną. Dzięki temu mogłem dokonać formalnej
analizy interesujących narzędzi, pozostawiając mniej istotne dla mnie rozważania
naukom empirycznym (np. naukometrii).
Tablica 2: Przykładowe obszary zastosowań Problemu Oceny Producentów.
Producent
Produkty
Oceny
A
B
C
D
E
F
G
Naukowiec
Instytut naukowy
Serwer WWW
Malarz
Reżyser
Agencja reklamy
Model samochodu
Artykuły
Pracownicy
Strony
Obrazy
Filmy
Kampanie reklamowe
Kierowcy
H
Fabryka tworzyw sztucznych
Partie materiałów
Liczba cytowań
Indeks h
Liczba dowiązań
Cena dzieła na aukcji
Nota krytyków
Zyski
Ocena zadowolenia
z użytkowania
Ocena
własności
fizyko-chemicznych
3.2 Rozdział 2
Najczęściej rozważanym w literaturze przypadkiem operatorów agregacji są tzw. funkcje agregujące (ang. aggregation functions), por. [20]. Jednakże, za pomocą takiej
klasy operatorów agregacji nie można dokonać opisu producenta, gdyż uwzględnia
ona tylko jeden aspekt jego jakości, tzn. zdolność wytwarzania produktów ocenianych wysoko.
Z tego powodu zaproponowałem, aby w Problemie Oceny Producentów stosować
tzw. klasę funkcji wpływu [10, 14].
Definicja 2.2.1. Funkcja wypływu w I1,2,... to operator agregacji J, który:
(I1) jest niemalejący ze względu na każdą zmienną, tzn.
(∀n) (∀x, y ∈ In ) x ¬ y ⇒ J(x) ¬ J(y),
(I2) jest niemalejący ze względu na długość ciągu wejściowego, tj.
(∀n, m) (∀x ∈ In ) (∀y ∈ Im ) J(x) ¬ J(x, y),
(I3) jest symetryczny:
(∀n) (∀x, y ∈ In ) x ∼
= y =⇒ J(x) = J(y),
gdzie x ∼
= y, jeśli istnieje permutacja σ zbioru [n] taka, że x = (yσ(1) , . . . , yσ(n) )
6
(I4) spełnia rozszerzony dolny warunek brzegowy: inf x∈I1,2,... J(x) = 0,
(I5) spełnia rozszerzony górny warunek brzegowy: supx∈I1,2,... J(x) = ∞.
Alternatywną, równoważną definicję klasy funkcji wpływu podałem na s. 47. Dla
dowolnego x ∈ In oraz y ∈ Im niech E oznacza relację quasi-porządku taką, że
x E y ⇐⇒ n ¬ m i x(n−i+1) ¬ y(m−i+1) dla każdego i ∈ [n].
(1)
Dzięki powyższej relacji można zastąpić trzy warunki (I1), (I2), (I3) tylko jednym
(zob. stw. 2.2.4).
Dalej swą uwagę skupiłem na podstawowych, najogólniejszych własnościach funkcji wpływu w rozdz. 2.3, które pokazują, w jaki sposób można tworzyć nowe funkcje
na podstawie zadanych (por. stw. 2.3.1 i 2.3.3).
Następnie dokonałem przeglądu najważniejszych funkcji wpływu stosowanych do
tej pory w bibliometrii, w tym tzw. indeksów klasycznych, indeksu h (tzn. funkcji
n
o
H(x) = max i = 0, 1, . . . , n : x(n−i+1) ­ i ,
przy założeniu x(n+1) = x(n) ) oraz jego modyfikacji, indeksu g Egghego oraz zaproponowanych w [8] indeksów rp i lp .
Swoją uwagę w rozprawie postanowiłem skupić na najbardziej popularnych narzędziach stosowanych w teorii agregacji, tj. na (quasi-)L- i (quasi-)S-statystykach
[13], zawierających jako szczególne przypadki operatory OWA, OMA i OWMax oraz
indeks h.
Definicja 2.4.12. Niech 4 = (ci,n ∈ R̄ : i ∈ [n], n ∈ N) będzie dowolnym
trójkątem współczynników. Wtedy L-statystyką generowaną przez 4 nazywamy
P
operator agregacji L4 określony wzorem L4 (x) = ni=1 ci,n x(n−i+1) , gdzie x =
(x1 , . . . , xn ) ∈ I1,2,... .
Wyróżnioną podklasę L-statystyk stanowią operatory OWA, od ang. ordered weighted averages [33].
Definicja 2.4.17. Niech 4 = (fi,n ∈ R̄I : i ∈ [n], n ∈ N) będzie dowolnym
trójkątem funkcji, gdzie fi,n ∈ R̄I oznacza, że fi,n : I → R̄. Wówczas quasi-Lstatystyką generowaną przez 4 nazywamy operator agregacji qL4 określony wzoP
rem qL4 (x) = ni=1 fi,n (x(n−i+1) ), gdzie x = (x1 , . . . , xn ) ∈ I1,2,... .
Quasi-L-statystyki jako podzbiór zawierają zwykłe L-statystyki. Dodatkowo warto
zauważyć, że operatory OMA, od ang. ordered modular averages [24], są także specjalnymi przypadkami quasi-L-statystyk.
7
Definicja 2.4.20. S-statystyką generowaną przez trójkąt współczynników 4 =
W
(ci,n )i∈[n],n∈N nazywamy operator agregacji S4 taką, że S4 (x) = ni=1 ci,n ∧ x(n−i+1)
dla x = (x1 , . . . , xn ) ∈ I1,2,... .
Szczególnym przypadkiem S-statystyk są operatory OWMax, od ang. ordered
weighted maximum operators [4]. Co więcej, R. Mesiar i A. Mesiárova-Zemánková
wykazali ostatnio w pracy [24], że klasa S-statystyk zawiera się w klasie quasi-Lstatystyk. Nadto, pokazałem (tw. 2.4.23), że H(x) = bSN (x)c = SN (bxc), gdzie
trójkąt współczynników N jest taki, że (∀n) (∀i ∈ [n]) ci,n = i.
Definicja 2.4.24. Niech 4 = (fi,n )i∈[n],n∈N będzie dowolnym trójkątem funkcji.
Wtedy quasi-S-statystyką generowaną przez 4 nazywamy operator agregacji qS
W
taki, że dla x = (x1 , . . . , xn ) ∈ I1,2,... zachodzi qS4 (x) = ni=1 fi,n (x(n−i+1) ).
W przypadku każdej klasy funkcji podałem:
1. postaci trójkątów współczynników/funkcji, w których są to funkcje agregujące
(dla porównania z nowym podejściem stosowanym w niniejszej dysertacji),
2. postaci trójkątów współczynników/funkcji, w których są to funkcje wpływu,
3. uwagi dodatkowe.
W szczególności, jednym z ważniejszych wyników własnych w tym rozdziale (interesujących nie tylko z punktu widzenia omawianego zagadnienia, lecz i w ogólniejszym
kontekście, tzw. w teorii agregacji) jest pokazanie postaci przecięcia klasy quasi-Li quasi-S-statystyk.
Twierdzenie 2.4.27. Niech 4 = (fi,n )i∈[n],n∈N będzie taki, że (∀n) f1,n · · · fn,n ,
(∀i ∈ [n]) fi,n jest niemalejąca i fi,n (0) = fn,n (0) ­ 0.
Wówczas qS4 jest równoważna pewnej quasi-L-statystyce wtedy i tylko wtedy, gdy
(∀n) (∀i ∈ [n]) fi,n (x) = wn (x) ∧ ci,n dla pewnych funkcji niemalejących w1 , w2 , · · · :
I → I oraz trójkąta współczynników (ci,n )i∈[n],n∈N takiego, że 0 ¬ wn (0) ¬ c1,n ¬
· · · ¬ cn,n .
Można pokazać, że założenie przyjęte w powyższym twierdzeniu w przypadku
niemalejących quasi-S-statystyk nie powoduje zmniejszenia jego ogólności.
3.3 Rozdział 3
W rozdziale 3 zastosowałem tzw. ujęcie aksjomatyczne do analizy funkcji wpływu.
Po refleksjach wprowadzających (gdzie ważnym i twórczym wkładem własnym jest
podział własności na o niezależnych arnościach i odnoszących się do porządku),
następując trzy sekcje, w których stosuję kolejno [por. 1, 25]:
8
3.2 podejście normatywne, w którym rozważałem własność bądź rodzinę własności, których spełnienie jest pożądane z określonego punktu widzenia, np. praktycznych zastosowań. Następnie starałem się określić wszystkie funkcje, które
jako jedyne są elementami tak wyróżnionego podzbioru operatorów agregacji bądź też wskazać relacje między nimi. W całym rozdziale proponuję 21
ciekawych własności, z których 10 pełni centralną rolę (ciągłość, ścisła monotoniczność z/w na każdą zmienną i długość ciągu, idempotentność, asymptotyczna idempotentność, a-niewrażliwość, F -niewrażliwość, F +wrażliwość, nasycalność i nasycalność wstępująca).
3.3 podejście opisowe, w którym punktem wyjścia były 4 przytoczone wyżej rodziny operatorów agregacji. Celem tego podejścia było określenie charakteryzacji każdej klasy. Istotnym wkładem własnym było tw. 3.3.8, w którym podałem brakującą w literaturze dot. teorii agregacji charakteryzację S-statystyk.
3.4 podejście porównawcze, w którym przedyskutowałem, jakie postaci trójkątów
współczynników/funkcji prowadzą do spełnienia wybranych własności. Rezultatem są obszerne, cztery dziesięcioczęściowe twierdzenia 3.4.1–3.4.4.
Na zakończenie rozdziału przedstawiłem przegląd własności spełnianych przez konkretne,
funkcji wpływuoprzeznaczony dla praktyków. Niech G(x) =
n najpopularniejsze
Pi
max i = 0, 1, . . . , n : k=1 x(n−k+1) ­ i2 (indeks g), Prod∗ (x) = |x| − 1 oraz SN =
Wn
i=1 i ∧ x(n−i+1) . Wybrane wyniki przedstawione są w tab. 3. Widzimy, że żadna
z badanych funkcji nie cechuje się wszystkimi pożądanymi własnościami.
Tablica 3: Wyniki analizy porównawczej wybranych funkcji wpływu.
Własność
a-niewrażliwość
F -niewrażliwość
F +wrażliwość
ciągłość
ścisła monot. z/w na każdą zmienną
ścisła monot. z/w na dług. ciągu
idempotentność
idempotentność asympt.
nasycalność
nasycalność wstęp.
Prod∗
X
Max
Sum
H
X
X
X
X
X
X
X
G
SN
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
X
3.4 Rozdział 4
Własności stochastyczne funkcji wpływu rozpatrywałem w rozdziale 4. Po przeglądzie dotychczas stosowanych w literaturze podejść, całą swą uwagę poświęciłem
badaniu klasy S-statystyk w ciągłym modelu i.i.d, które do tej pory (w przeciwieństwie do L-statystyk) nie były wcale badane.
9
Do celów ilustracyjnych wybrałem tzw. rozkład Pareto II rodzaju (GPD o ciężkich ogonach), polecany często do modelowania interesującej mnie klasy zjawisk,
w tym bibliometrycznych, por. np. [18] oraz prace [2, 17, 19]. I tak zmienna losowa
X pochodzi z rozkładu Pareto II rodzaju o parametrach kształtu k > 0 i skali s > 0,
ozn. X ∼ P2(k, s), jeśli jej rozkład opisany jest dystrybuantą
F (x) = 1 −
sk
(s + x)k
(x ­ 0).
Niech X będzie jednowymiarową zmienną losową o ciągłej i ściśle rosnącej na
przedziale [0, ∞] dystrybuancie F , gdzie 0 = inf{x : F (x) > 0} oraz ∞ = sup{x :
F (x) < 1}.
Dodatkowo, niech κ : [0, 1] → [c, d] ⊆ [0, ∞] będzie ściśle rosnącą funkcją ciągłą
spełniającą warunki κ(0) = c i κ(1) = d. Taką κ nazywać będziemy od tej pory
funkcją kontrolną.
W pracy rozpatrywałem następującą charakterystykę zmiennej losowej X.
Definicja 4.3.1. Indeksem % względem funkcji kontrolnej κ zmiennej losowej
opisanej dystrybuantą F , nazywamy liczbę %κ ∈ (0, 1) taką, że
%κ = 1 − F (κ(%κ )).
(2)
Celem umożliwienia badania własności asymptotycznych, skupiłem uwagę (bez
straty ogólności) na S-statystykach generowanych przez funkcję kontrolną κ : [0, 1] →
[c, d] ⊆ [0, ∞], które są funkcją próby losowej (X1 , . . . , Xn ) i.i.d. F określoną wzorem
e (X , . . . , X ) =
V
n,κ
1
n
n
_
κ
i
n
∧ X(n−i+1) .
(3)
i=1
Zauważyłem, że dla uproszczenia można miast nich rozważać S-statystyki postaci
e
V
n,id (Y1 , . . . , Yn ) =
n
_
i
n
∧ Y(n−i+1) ,
(4)
i=1
gdzie (Y1 , . . . , Yn ) = (κ−1 (X1 ), . . . , κ−1 (Xn )) jest ciągiem zmiennych losowych i.i.d.
o ciągłej, ściśle rosnącej
dystrybuancie
G := F ◦ κ określonej na przedziale [0, 1].
e
e (X , . . . , X ).
Zachodzi bowiem κ Vn,id (Y1 , . . . , Yn ) = V
n,κ
1
n
Dalej wyprowadziłem postać dystrybuanty rozkładu S-statystyk [por. 12].
e (Y , . . . , Y ) określona jest wzorem
Twierdzenie 4.3.4. Dystrybuanta statystyki V
n 1
n
Dn (x) = 1 −
n
X
i=bxn+1c
!
n
[1 − G (x)]i [G (x)]n−i
i
= I (G (x) ; n − bxnc, bxnc + 1)
10
(5)
(6)
dla x ∈ (0, 1), gdzie I(p; a, b) jest regularyzowaną niekompletną funkcją beta.
Ponadto, udowodniłem, że S-statystyki są silnie zgodnymi estymatorami indeksu
% (tw. 4.3.9). Pokazałem także bardzo istotny wynik głoszący, że mają one (przy
pewnym założeniu) rozkład asymptotycznie normalny.
Twierdzenie 4.3.11. Jeśli G jest różniczkowalna w punkcie %, to

1
e → N %,
V
n
1 + G0 (%)
D
s

%(1 − %) 
.
n
(7)
Bazując na uzyskanych wynikach teoretycznych, w kolejnych częściach rozdziału
rozważyłem:
4.4 Zagadnienie estymacji punktowej tzw. teoretycznego indeksu Hirscha, tzn. indeksu % dla κ(x) = nx, gdzie n ∈ N, którego zgodnym estymatorem jest indeks h. Porównałem różne estymatory w rodzinie rozkładów Pareto II rodzaju,
w tym oparte na S-statystykach, indeksie h, MLE i MMSE Zhanga-Stevensa
[34].
4.5 Zagadnienie estymacji przedziałowej indeksu %. Pokazałem ogólną metodę konstrukcji przedziałów ufności oraz dokonałem przykładowych obliczeń dla rodziny rozkładów Pareto II rodzaju.
4.6 Ogólną konstrukcję testów opartych na różnicy wartości indeksów h w dwóch
próbach (przypadek dokładny i asymptotyczny). Testy te mogą służyć w zagadnieniu dyskryminacji dwóch rozkładów w parametrycznym modelu regularnym. Analizując przypadek dwóch prób z rodziny Pareto II rodzaju okazało się jednak, że testy cechują się bardzo małą mocą, mniejszą nawet niż
test Kołmogorowa-Smirnowa. Wynik ten można interpretować jako argument
przeciwko stosowaniu indeksu h w praktyce.
3.5 Rozdział 5
W rozdziale 5 rozważyłem zastosowanie teorii możliwości (posybilistycznej) do badania wrażliwości funkcji i ciągów wejściowych w warunkach danych niepewnych.
Taka sytuacja występuje w praktyce, np. gdy bierze się pod uwagę możliwość wzrostu miary jakości ocenianych jednostek w pewnym przedziale czasowym bądź niedostateczne (niepełne) pokrycie baz cytowań (dane prawostronnie cenzorowane).
Swą uwagę skupiłem na klasie funkcji wpływu o tzw. mierzalnych kosztach wzrostu [por. 9, 14].
11
Definicja 5.3.1. Powiemy, że funkcja wpływu F jest funkcją o mierzalnych
kosztach wzrostu, ozn. F ∈ P(em) , jeśli dla każdego v ∈ img F, (F−1 [v], E) jest
zbiorem częściowo uporządkowanym z elementem najmniejszym, gdzie F−1 [v] :=
{x ∈ I1,2,... : F(x) = v} oznacza odpowiednią warstwicę (dla porządku zakładamy, że
elementy są unikalne względem relacji równoważności ∼
=).
Okazuje się, że nie wszystkie funkcje wpływu są funkcjami o mierzalnych kosztach
wzrostu. Dla przykładu, odpowiednie warunki konieczne i dostateczne w przypadku
S-statystyk (za pomocą których ilustrowałem prowadzoną dyskusję) podałem w stw.
5.3.3.
Zaproponowałem następujące warunki sine qua non postaci rozkładu możliwości
służących do opisu zachowania się funkcji na danych prawostronnie cenzorowanych.
Definicja 5.3.4. Niech F ∈ P(em) . Rozkładem możliwości wpływu dla F nazywamy funkcję πF : I1,2,... × R̄ → [0, 1] taką, że dla każdego x ∈ I1,2,... spełnione są
następujące warunki:
(a) πF (x; F(x)) = 1,
(b) jeśli v < F(x) bądź v 6∈ img F, to πF (x; v) = 0,
(c) jeśli x E y oraz v ­ F(y), to πF (x; v) ¬ πF (y; v),
(d) jeśli v, v 0 ∈ img F są takie, że F(x) ¬ v < v 0 oraz µv C µv0 , to πF (x; v) ­
πF (x; v 0 ).
Następnie pokazałem dwie przykładowe, ogólne metody konstrukcji takich rozkładów możliwości: oparte na tzw. metrykach kosztów wzrostu (rozdz. 5.3.3) oraz
na tzw. funkcjach odkrywających (rozdz. 5.3.4).
Z przedstawionej w tym rozdziale dyskusji wynika, że taki sposób opisu funkcji
wpływu może być ciekawym narzędziem wspomagającym ocenę producentów. Za
jego pomocą w intuicyjny (np. graficzny) sposób możemy wyrazić „potencjał” znajdujący się w ciągach ocen produktów oraz stopień „ignorowania” informacji przez
funkcje wpływu dla konkretnych przypadków danych.
3.6 Rozdział 6
W rozdziale 6 dokonałem przykładowej analizy empirycznej wybranych funkcji wpływu z użyciem programu R i biblioteki CITAN, pokazując przy okazji praktyczną
możliwość zastosowania stworzonego przez siebie oprogramowania.
CITAN [7] jest biblioteką funkcji opartą na otwartej licencji GNU LGPL w wersji 3. Do działania wymaga programu R [28]. CITAN może służyć m.in. do przeprowadzania badań ilościowych, budowy systemów wspomagania decyzji oraz w modelowania statystycznego we wszystkich obszarach zastosowań, w których adekwatny jest
12
Problem Oceny Producentów, np. naukometrii, webometrii, marketingu itp. (por.
tablica 2). Pragnę zwrócić uwagę, iż naukowcy w tych dziedzinach nie mają jeszcze dostępu do tego typu narzędzia zintegrowanego z programem do statystycznej
analizy danych.
W szczególności, CITAN umożliwia importowanie danych bibliograficznych z bazy
SciVerse Scopus. Bazę tę wybrałem z następujących powodów:
• zawiera dane bibliograficzne z pewnych źródeł, tj. bezpośrednio od wydawców; w przeciwieństwie do serwisu Google Scholar nie indeksuje tzw. szarej
literatury, np. plików PDF dostępnych w Internecie,
• indeksuje najwięcej tytułów spośród baz ogólnotematycznych,
• podaje liczbę cytowań publikacji,
• umożliwia eksportowanie wyników zapytań do różnych formatów plików,
• jest stosunkowo rzadko wykorzystywana w badaniach bibliometrycznych z powodu braku zautomatyzowanych narzędzi do przetwarzania i czyszczenia danych przez nią udostępnianych.
W CITAN udostępniłem m.in. algorytmy wstępnego czyszczenia danych nt. publikacji i ich autorów.
Pokazałem także, jak za pomocą biblioteki CITAN przeprowadzić przykładowe badanie bibliometryczne. Próba badawcza, którą rozpatrywałem składała się z 9747 publikacji w dziedzinie naukometrii i webometrii (13953 autorów). Rozważyłem także,
jakie wyniki uzyskują autorzy będący członkami komitetów redakcyjnych dwóch
wiodących czasopism w dziedzinie naukometrii: Scientometrics i Journal of Informetrics oraz laureaci prestiżowej nagrody Price’a. Przyjąłem, iż tak skonstruowana
lista 91 naukowców jest skonstruowana metodą peer review i że składa się z osób
o uznanym dorobku.
Okazało się, że pewna grupa autorów wypada dobrze pod względem wartości
wszystkich rozpatrywanych w tym rozdziale funkcji wpływu na raz. Są to rzeczywiście autorzy o uznanej pozycji w środowisku.
Jednakże, wielu autorów była nisko oceniana przez wszystkie kryteria. Niektórzy
z nich — zwłaszcza w przypadku laureatów nagrody Price’a — już dawno skończyli
karierę naukową. Jeszcze inna grupa autorów miała wysokie wartości niektórych
funkcji wpływu, a niskie innych. Widzimy więc, jak ważne jest, by nie stosować
tylko jednego kryterium w tego typu systemie podejmowania decyzji.
3.7 Dodatki
Treści mogące zaburzyć spójność wykładu zostały zamieszczone w aneksie. W dodatku A opisałem i przeanalizowałem zaproponowane przez siebie algorytmy służące
m.in. do wyznaczania wartości niektórych z omawianych klas operatorów agregacji.
13
W dodatku B podałem ogólne informacje na temat stworzonej przez siebie biblioteki CITAN oraz szczegółowy wykaz dostępnych w niej funkcji.
4
Podsumowanie
Środowisko naukowe jest zasadniczo zgodne co do konieczności dbania o wysoką
jakość nauki. Wiele mówi się o etyce i wysokich standardach, jakie powinny obowiązywać uczonych. Zgodność poglądów występuje jednak najczęściej jedynie tak długo,
póki zagadnienia te rozpatrywane są na odpowiednim, bezpiecznym poziomie ogólności. Gdy zaczynamy mówić o szczegółach, ujawniają się natychmiast trudności
i kontrowersje, związane w szczególności ze sposobem oceniania zarówno pracowników naukowych jak i całych jednostek badawczych. Tymczasem dokonywanie takich
ocen jest niezbędne choćby z uwagi na konieczność właściwego podziału środków
budżetowych, sprawiedliwego przyznawania grantów, rozstrzygania konkursów na
stanowiska bądź projekty badawcze itd.
Zagadnienie rzetelnej oceny komplikuje niesłychanie dynamiczny rozwój współczesnej nauki z jej kilkudziesięcioma dziedzinami, setkami dyscyplin, tysiącami pism
naukowych i patentów oraz wielomilionową — w skali świata — rzeszą pracowników
naukowych. Jest więc to wielce złożony system, którego opis i funkcjonowanie samo
w sobie może i powinno stanowić przedmiot pogłębionej refleksji.
Taka refleksja prowadzona jest m.in w ramach naukoznawstwa. W jego obręb
wchodzi w szczególności bibliometria, która proponuje szeroki wachlarz instrumentów służących obiektywnej (a nie uznaniowej) ocenie jakości nauki oraz wspomaganiu procesu poprawy jakości w tym obszarze.
Mimo pozorów ścisłości i uporządkowania, bibliometria w swym aktualnym stanie przypominała do tej pory zlepek oderwanych od siebie metod i pomysłów, którym
towarzyszy przekonanie o ich przydatności, oparte jednak bardziej na wierze niż na
rzetelnych przesłankach. Tę sytuację próbują naprawiać uczeni skupieni wokół wiodących pism naukometrycznych, w tym Scientometrics i Journal of Informetrics.
Wydaje się jednak, iż — póki co — więcej jest jeszcze pytań otwartych niż tych, na
które znaleziono odpowiedź. I te właśnie pytania, zwłaszcza dotyczące popularnych
wskaźników bazujących na cytowaniach, były inspiracją i punktem wyjścia niniejszej
dysertacji.
Jak to zazwyczaj bywa w analizie złożonych systemów, tak i w przypadku niniejszej rozprawy wnioski z badań są wieloaspektowe i dotyczą różnych poziomów
abstrakcji. Szczegółowo zostały one opisane i przedyskutowane w odpowiednich rozdziałach rozprawy. Gdybyśmy jednak chcieli się pokusić o daleko posuniętą syntezę tychże wniosków, należałoby stwierdzić, iż dokonując oceny jakości należy brać
przede wszystkim pod uwagę dynamiczny charakter procesu produkcji/cytowania
oraz fakt, iż bazy bibliograficzne dalekie są od ideału (słabe pokrycie, problemy
14
z niejednoznacznością reprezentacji autorów i tytułów). Ograniczenie się do cytowań,
jako wyłącznej miary oceny jakości pracy, nie wydaje się właściwe. Z drugiej strony,
z analizy aksjomatycznej wynika, że nie ma „idealnych” funkcji wpływu — żadna
nie spełnia wszystkich własności na raz, gdyż niektóre się wzajemnie wykluczają.
Z kolei z analizy stochastycznej S-statystyk i indeksu h wynika, że przy przyjętych
założeniach operatory te słabo spisują się jako estymatory pewnych charakterystyk
rozkładu, dają dość duży błąd (przedziały ufności), a testy dyskryminacyjne oparte
na indeksie h cechują się małą mocą (słabo rozróżniają rozkłady). Zwróciłem także
uwagę, iż wyniki oceny nie muszą dobrze korelować z metodami typu peer-review.
Reasumując, nie ma powodu, by deprecjonować narzędzia bibliometryczne, ale
należy posługiwać się nimi z ostrożnością i ostateczne oceny wydawać na podstawie
nie pojedynczego wskaźnika lecz kilku stosowanych jednocześnie. Z drugiej jednak
strony takie sposoby oceny wprowadzają pewną „wartość dodaną”, m.in. zachęcają
naukowców do bardziej wytężonej i lepszej pracy w świadomości, iż wynik ewaluacji
nie zależy od „widzimisię” przełożonych, lecz od ściśle określonych kryteriów.
Bibliografia
[1] A. Altman, M. Tennenholtz. Ranking systems: The PageRank axioms. W: Proc.
6th ACM Conf. on Electronic Commerce, 2005.
[2] K. Barcza, A. Telcs. Paretian publication patterns imply Paretian Hirsch index.
Scientometrics, 81(2), s. 513–519, 2009.
[3] Q. L. Burrell. Hirsch’s h-index: A stochastic model. Journal of Informetrics,
1, s. 16–25, 2007.
[4] D. Dubois, H. Prade, C. Testemale. Weighted fuzzy pattern matching. Fuzzy
Sets and Systems, 28, s. 313–331, 1988.
[5] L. Egghe. Theory and practise of the g-index. Scientometrics, 69(1), s. 131–152,
2006.
[6] L. Egghe. Time-dependent Lotkaian informetrics incorporating growth of sources and items. Mathematical and Computer Modelling, 49(1–2), s. 31–37,
2009.
[7] M. Gągolewski. Bibliometric impact assessment with R and the CITAN package. Journal of Informetrics, 5, s. 678–692, 2011.
[8] M. Gągolewski, P. Grzegorzewski. A geometric approach to the construction of
scientific impact indices. Scientometrics, 81(3), s. 617–634, 2009.
[9] M. Gągolewski, P. Grzegorzewski. Possible and necessary h-indices. Proc.
IFSA/Eusflat 2009, s. 1691–1695, 2009.
[10] M. Gągolewski, P. Grzegorzewski. Arity-monotonic extended aggregation operators. W: E. Hüllermeier, R. Kruse, F. Hoffmann (red.), Information Proces15
sing and Management of Uncertainty in Knowledge-Based Systems, 80, s. 693–
702. Springer-Verlag, 2010.
[11] M. Gągolewski, P. Grzegorzewski. Metody i problemy naukometrii. W: T. Rowiński, R. Tadeusiewicz (red.), Psychologia i informatyka. Synergia i kontradykcje, s. 103–125. Wyd. UKSW, Warszawa, 2010.
[12] M. Gągolewski, P. Grzegorzewski. S-statistics and their basic properties.
W: C. Borgelt i in. (red.), Combining Soft Computing and Statistical Methods
in Data Analysis, s. 281–288. Springer-Verlag, 2010.
[13] M. Gągolewski, P. Grzegorzewski. Axiomatic characterizations of (quasi-) Lstatistics and S-statistics and the Producer Assessment Problem. W: S. Galichet, J. Montero, G. Mauris (red.), Proc. Eusflat/LFA 2011, s. 53–58, 2011.
[14] M. Gągolewski, P. Grzegorzewski. Possibilistic analysis of arity-monotonic aggregation operators and its relation to bibliometric impact assessment of individuals. International Journal of Approximate Reasoning, 52(9), s. 1312–1324,
2011.
[15] W. Glänzel. On the h-index — A mathematical approach to a new measure
of publication activity and citation impact. Scientometrics, 67(2), s. 315–321,
2006.
[16] W. Glänzel. On the opportunities and limitations of the H-index. Science
Focus, 1(1), s. 10–11, 2006.
[17] W. Glänzel. Some new applications of the h-index. ISSI Newsletter, 3(2),
s. 28–31, 2007.
[18] W. Glänzel. H-index concatenation. Scientometrics, 77(2), s. 369–372, 2008.
[19] W. Glänzel. On some new bibliometric applications of statistics related to the
h-index. Scientometrics, 77(1), s. 187–196, 2008.
[20] M. Grabisch, E. Pap, J.-L. Marichal, R. Mesiar. Aggregation functions. Cambridge, 2009.
[21] J. E. Hirsch. An index to quantify individual’s scientific research output. Proceedings of the National Academy of Sciences, 102(46), s. 16569–16572, 2005.
[22] L. I. Meho, Y. Rogers. Citation counting, citation ranking, and h-index of
human-computer interaction researchers: A comparison between Scopus and
Web of Science. Journal of the American Society for Information Science and
Technology, 59(11), s. 1711–1726, 2008.
[23] L. I. Meho, C. R. Sugimoto. Assessing the scholarly impact of information
studies: A tale of two citation databases — Scopus and Web of Science. Journal of the American Society for Information Science and Technology, 60(12),
s. 2499–2508, 2009.
[24] R. Mesiar, A. Mesiarová-Zemánková. The ordered modular averages. IEEE
Transactions on Fuzzy Systems, 19(1), s. 42–50, 2011.
16
[25] I. Palacios-Huerta, O. Volij. The measurement of intellectual influence. Econometrica, 72(3), s. 963–977, 2004.
[26] G. Prathap. Is there a place for a mock h-index? Scientometrics, 84, s. 153–165,
2010.
[27] A. Quesada. Monotonicity and the Hirsch index. Journal of Informetrics, 3(2),
s. 158–160, 2009.
[28] R Development Core Team. R: A language and environment for statistical
computing. R Foundation for Statistical Computing, Vienna, Austria, 2011.
http://www.R-project.org.
[29] A. Schubert, W. Glänzel. A systematic analysis of Hirsch-type indices for journals. Journal of Informetrics, 1, s. 179–184, 2007.
[30] G. J. Woeginger. An axiomatic analysis of Egghe’s g-index. Journal of Informetrics, 2(4), s. 364–368, 2008.
[31] G. J. Woeginger. An axiomatic characterization of the Hirsch-index. Mathematical Social Sciences, 56(2), s. 224–232, 2008.
[32] G. J. Woeginger. A symmetry axiom for scientific impact indices. Journal of
Informetrics, 2, s. 298–303, 2008.
[33] R. R. Yager. On ordered weighted averaging aggregation operators in multicriteria decision making. IEEE Transactions on Systems, Man, and Cybernetics,
18(1), s. 183–190, 1988.
[34] J. Zhang, M. A. Stephens. A new and efficient estimation method for the
Generalized Pareto Distribution. Technometrics, 51(3), s. 316–325, 2009.
17