autoreferat rozprawa obrona-21 - Instytut Badań Systemowych PAN
Transkrypt
autoreferat rozprawa obrona-21 - Instytut Badań Systemowych PAN
Warszawa, 2 grudnia 2011 r. mgr inż. Marek Gągolewski Zakład Procesów Stochastycznych Instytut Badań Systemowych PAN Wybrane operatory agregacji i ich zastosowanie w modelu formalnym systemu oceny jakości w nauce Autoreferat rozprawy doktorskiej 1 Wprowadzenie W roku 2005 Jorge E. Hirsch zaproponował indeks h służący do oceny jakości dorobku publikacyjnego naukowców [21]. Indeks ten jest funkcją określoną na zbiorze ciągów liczbowych o dowolnej długości, których wyrazy są równe liczbie cytowań poszczególnych prac rozpatrywanego autora. Formalnie, jest to największa liczba naturalna H taka, że H elementów ciągu wejściowego ma wartość co najmniej H. Indeks h bardzo szybko zyskał popularność, czego wyrazem może być bardzo duża liczba cytowań (prawie 1000, dane z bazy Elsevier SciVerse Scopus) wspomnianego artykułu źródłowego. Narzędzie to stało się motorem rozwoju podgałęzi naukometrii, która przedmiotem swej refleksji uczyniła tzw. indeksy bibliometryczne na poziomie indywidualnym, czyli mikroskopowym [por. 16]. Jego wpływ jest tak duży, że bibliometrzy skorzy są nawet dzielić rozwój swej dziedziny na okres „przed Hirschem” i „po Hirschu” [26]. W literaturze przedmiotu rozpatrywano różne własności indeksu h. Własności te formułowane są jednak najczęściej w sposób tylko opisowy, w dodatku niejasny, nieprecyzyjny. Ponadto, dokonywano wielu analiz porównawczych na podstawie danych empirycznych pobranych z komputerowych baz cytowań, takich jak Web of Science, SciVerse Scopus czy Google Scholar Aż do roku 2008 nie pojawiły się jednak wyniki teoretyczne, w których zostałaby dokonana formalizacja pewnych pojęć występujących w tej dziedzinie. Deterministyczny model Egghego [por. 5, 6] oparty na prawie potęgowym Lotki (ang. Lotka power law bądź Lotkaian informetrics), analizowany głównie przez swojego twórcę, wydawał się bowiem nie budzić większego zainteresowania wśród innych badaczy. 1 Dopiero Woeginger [30, 31] zaproponował, że można ograniczyć się do analizy klasy funkcji monotonicznych ze względu na każdą zmienną i równocześnie monotonicznych ze względu na długość rozpatrywanego ciągu. Od tego czasu pojawiło się kilka charakteryzacji indeksów, czyli twierdzeń typu „funkcja spełnia zbiór pewnych behawioralnych własności (często bardzo technicznych) wtedy i tylko wtedy gdy jest to indeks X” [zob. 27, 31, 32]. Był to istotny krok ku zmianie stosowanej w bibliometrii metody badawczej. Bibliometrię postrzega się najczęściej jako dziedzinę empiryczną, a w przypadku niektórych zagadnień nawet jako dziedzinę z pogranicza nauk społecznych. Uzyskane rezultaty teoretyczne stanowią podwaliny do zmiany paradygmatu. W tym sensie otworzyła się możliwość traktowania bibliometrii jako podgałęzi informatyki, a więc nauki o przetwarzaniu informacji specyficznego rodzaju. Dodatkowo, niektórzy badacze podejmowali starania o określenie podstawowych własności probabilistycznych stosowanych narzędzi, np. wartości oczekiwanej indeksu h w tzw. modelu Burrella [por. 3], czy w modelach wykorzystujących rozkłady ciągłe bądź dyskretne typu Pareto [15, 29]. Mimo to nie zostały podjęte szersze próby zastosowania modelowania i wnioskowania statystycznego, ani tym bardziej metod z dziedziny tzw. soft-computing (modelowanie rozmyte, modelowanie posybilistyczne) do opisu ze swej natury wszak niepewnych przetwarzanych danych. 2 Cel rozprawy Dostrzegając przedstawione wyżej problemy, za cel rozprawy postawiłem sobie: 1. identyfikację podstawowych założeń przyjmowanych implicité w badaniach bibliometrycznych (model tzw. wyidealizowanego rynku naukowego); 2. formalizację analizowanego zagadnienia, tj. stworzenie abstrakcyjnego modelu, na gruncie którego konstruowane są narzędzia bibliometrycznej oceny jakości pracy naukowej (klasa operatorów agregacji zwanych funkcjami wpływu); 3. systematyczną analizę zaproponowanych podklas funkcji wpływu, zwłaszcza w oderwaniu od kontekstu dziedziny, z której pochodzą dane wejściowe; 4. stworzenie oprogramowania komputerowego pomocnego m.in. w wyznaczaniu wartości najczęściej stosowanych funkcji wpływu oraz w analizie danych empirycznych. Wysunąłem hipotezę głoszącą, iż zaproponowany formalny model oceny jakości pracy naukowej pozwala na obiektywną, systemową analizę — za pomocą różnorakich podejść formalnych — różnego typu własności narzędzi stosowanych m.in. w bibliometrii. Interesowała mnie: 2 1. analiza aksjomatyczna, polegająca na: (a) postulowaniu pewnych własności behawioralnych i poszukiwaniu wszystkich funkcji, które je spełniają, bądź (b) charakteryzacji wybranych klas funkcji, 2. analiza własności probabilistycznych, w odpowiedź na pytania o to: (a) jaki jest rozkład wybranych funkcji (w tym rozkład asymptotyczny), (b) jak sprawdzają się badane funkcje w zagadnieniu estymacji punktowej i przedziałowej pewnych parametrów rozkładu danych wejściowych, (c) czy badane funkcje mogą być użyte (i z jakim skutkiem) w zagadnieniu weryfikacji hipotez dotyczących równości rozkładów dwóch prób, 3. analiza posybilistyczna wrażliwości funkcji i ciągów wejściowych na dane prawostronnie cenzorowane i zmienne w czasie, 4. analiza empiryczna rzeczywistych danych z dziedziny bibliometrii. Zagadnienie będące przedmiotem rozprawy sformułowałem w ogólny sposób tak, że większość uzyskanych przeze mnie wyników można z powodzeniem wykorzystywać w innych, podobnych dziedzinach (Problem Oceny Producentów). Istotne jest to, iż w rozważaniach abstrahowałem od trafności danych wejściowych, pozostawiając partykularnym obszarom zastosowań rozstrzygnięcie, czy dany sposób oceniania poszczególnych agregowanych wartości jest adekwatny. Dodatkowo pokazałem, że stworzona przeze mnie biblioteka CITAN [7] dla środowiska R [28] może służyć do wspomagania analizy rzeczywistych danych i prowadzenia dalszych badań teoretycznych. 3 Struktura rozprawy Poglądowy schemat struktury rozprawy przedstawiam na rys. 1 oraz, bardziej szczegółowo, w tab. 1. Rozdział 1 pełni funkcję przeglądową, a ponadto twórczo porządkującą bieżący stan wiedzy w bibliometrii. Najważniejsze wyniki teoretyczne przedstawiam w rozdz. 2–5. I tak w rozdziale 2 dokonuję formalizacji problemu oceny jakości i przedstawiam przegląd najciekawszych operatorów agregacji, w rozdz. 3 przeprowadzam ich analizę aksjomatyczną, w rozdz. 4 — analizę własności stochastycznych, a w rozdz. 5 — analizę posybilistyczną. Celem rozdziału 6 (wraz z dodatkami) jest ilustracja zastosowania stworzonego przeze mnie oprogramowania w praktycznej analizie danych. Pragnę zauważyć, że tym samym w mojej pracy nie pominąłem żadnego z podejść stosowanych w literaturze. Przeprowadzone przeze mnie badania są zatem wieloaspektowe, systemowe. 3 Tablica 1: Liczba stron przypadająca na poszczególne części rozprawy. Część Rozdziały Część opisowa L.str. Wprowadzenie 1. Ocena dorobku naukowego. . . Zakończenie Ogółem Najważniejsze wyniki teoretyczne 2. 3. 4. 5. Funkcje wpływu Analiza aksjomatyczna Analiza stochastyczna Analiza posybilistyczna Ogółem Część praktyczna, dodatki 6. Analiza empiryczna A. Wybrane algorytmy B. Bilioteka CITAN Ogółem Wykazy, bibliografia Bibliografia Skorowidz symboli Indeksy i spisy, strona tytułowa Ogółem Razem 10 20 4 34 28 28 64 12 132 36 10 26 72 16 2 12 30 268 1. Część opisowa (motywacja) Część teoretyczna 3. Analiza aksjomatyczna CITAN w praktyce 2. Funkcje wpływu 4. Analiza stochastyczna 5. Analiza posybilistyczna 7. Podsumowanie Rysunek 1: Schemat struktury dysertacji. 4 6. Analiza empiryczna 3.1 Rozdział 1 W pierwszej części zaprezentowałem autorskie wprowadzenie do ogólnej problematyki nauko- i bibliometrycznej oceny jakości dorobku publikacyjnego pracowników naukowych. Poddałem krytyce trafność liczby cytowań jako miary wpływu artykułów i przedstawiłem alternatywne sposoby ich wartościowania. Zwróciłem uwagę na dynamiczny charakter analizowanych danych oraz często występujące w praktyce utrudnienia w uzyskaniu rzetelnych informacji wejściowych. Zauważyłem, że w badaniach bibliometrycznych przyjmuje się niejawnie następujące założenia, tzw. postulaty wyidealizowanego rynku naukowego [11]: W1. Podstawowym przejawem pracy naukowca są publikacje. W2. Liczba cytowań publikacji jest odzwierciedleniem wywieranego przez nią wpływu w rynku naukowym. W3. Wszystkie cytowania są równoważne pod względem istotności. W4. Przygotowanie każdej publikacji wymaga jednakowego nakładu pracy. W5. Naukowcy różnią się od siebie produktywnością i zdolnością wytwarzania publikacji o jakości uznawanej za wysoką. W6. Naukowiec cechujący się wyższą jakością pracy publikuje częściej artykuły licznie cytowane niż pracownik o jakości niskiej. W7. W każdej chwili istnieje dostęp do pełnej i rzetelnej informacji o autorach, publikacjach i ich cytowaniach. Ponadto, okazało się, że bibliometryczny problem oceny dorobku naukowego można w dość prosty sposób uogólnić. Rozważmy bowiem producenta (np. pisarza, naukowca, artystę, firmę) oraz niepusty zbiór wytworzonych przez niego produktów (np. książek, artykułów naukowych, grantów, obrazów, koncertów fortepianowych, towarów). Z każdym produktem związana jest pewna ocena jego jakości, wyrażona w postaci liczby z przedziału I = [0, ∞] (w rozprawie rozważałem ogólniejszy przypadek I = [a, b]). Każdy z możliwych stanów producenta można zatem identyfikować S n przez element zbioru I1,2,... = ∞ n=1 I . Jest to sytuacja charakterystyczna dla wielu dziedzin ludzkiej działalności. Niektóre z możliwych przypadków przedstawia tablica 2. Zagadnienie dotyczące konstrukcji i analizy operatorów agregacji służących do wyznaczania całościowej oceny producentów na podstawie ocen poszczególnych ich produktów nazwałem Problemem Oceny Producenta (ang. Producer Assessment Problem). Takie ujęcie zostało przeze mnie zaproponowane w pracach [10, 14]. Oczywistym jest, że rodzina operatorów agregacji możliwych do zastosowania w POP powinna brać pod uwagę dwa następujące niezależne wymiary szeroko rozumianego pojęcia jakości producenta: 5 1. zdolność wytwarzania produktów ocenianych wysoko, 2. produktywność. Postawienie problemu w powyższy sposób zwolniło mnie niejako z dyskusji na temat trafności miary jakości poszczególnych produktów, pozwalając założyć, że to co jest dane, stanowi ocenę adekwatną. Dzięki temu mogłem dokonać formalnej analizy interesujących narzędzi, pozostawiając mniej istotne dla mnie rozważania naukom empirycznym (np. naukometrii). Tablica 2: Przykładowe obszary zastosowań Problemu Oceny Producentów. Producent Produkty Oceny A B C D E F G Naukowiec Instytut naukowy Serwer WWW Malarz Reżyser Agencja reklamy Model samochodu Artykuły Pracownicy Strony Obrazy Filmy Kampanie reklamowe Kierowcy H Fabryka tworzyw sztucznych Partie materiałów Liczba cytowań Indeks h Liczba dowiązań Cena dzieła na aukcji Nota krytyków Zyski Ocena zadowolenia z użytkowania Ocena własności fizyko-chemicznych 3.2 Rozdział 2 Najczęściej rozważanym w literaturze przypadkiem operatorów agregacji są tzw. funkcje agregujące (ang. aggregation functions), por. [20]. Jednakże, za pomocą takiej klasy operatorów agregacji nie można dokonać opisu producenta, gdyż uwzględnia ona tylko jeden aspekt jego jakości, tzn. zdolność wytwarzania produktów ocenianych wysoko. Z tego powodu zaproponowałem, aby w Problemie Oceny Producentów stosować tzw. klasę funkcji wpływu [10, 14]. Definicja 2.2.1. Funkcja wypływu w I1,2,... to operator agregacji J, który: (I1) jest niemalejący ze względu na każdą zmienną, tzn. (∀n) (∀x, y ∈ In ) x ¬ y ⇒ J(x) ¬ J(y), (I2) jest niemalejący ze względu na długość ciągu wejściowego, tj. (∀n, m) (∀x ∈ In ) (∀y ∈ Im ) J(x) ¬ J(x, y), (I3) jest symetryczny: (∀n) (∀x, y ∈ In ) x ∼ = y =⇒ J(x) = J(y), gdzie x ∼ = y, jeśli istnieje permutacja σ zbioru [n] taka, że x = (yσ(1) , . . . , yσ(n) ) 6 (I4) spełnia rozszerzony dolny warunek brzegowy: inf x∈I1,2,... J(x) = 0, (I5) spełnia rozszerzony górny warunek brzegowy: supx∈I1,2,... J(x) = ∞. Alternatywną, równoważną definicję klasy funkcji wpływu podałem na s. 47. Dla dowolnego x ∈ In oraz y ∈ Im niech E oznacza relację quasi-porządku taką, że x E y ⇐⇒ n ¬ m i x(n−i+1) ¬ y(m−i+1) dla każdego i ∈ [n]. (1) Dzięki powyższej relacji można zastąpić trzy warunki (I1), (I2), (I3) tylko jednym (zob. stw. 2.2.4). Dalej swą uwagę skupiłem na podstawowych, najogólniejszych własnościach funkcji wpływu w rozdz. 2.3, które pokazują, w jaki sposób można tworzyć nowe funkcje na podstawie zadanych (por. stw. 2.3.1 i 2.3.3). Następnie dokonałem przeglądu najważniejszych funkcji wpływu stosowanych do tej pory w bibliometrii, w tym tzw. indeksów klasycznych, indeksu h (tzn. funkcji n o H(x) = max i = 0, 1, . . . , n : x(n−i+1) i , przy założeniu x(n+1) = x(n) ) oraz jego modyfikacji, indeksu g Egghego oraz zaproponowanych w [8] indeksów rp i lp . Swoją uwagę w rozprawie postanowiłem skupić na najbardziej popularnych narzędziach stosowanych w teorii agregacji, tj. na (quasi-)L- i (quasi-)S-statystykach [13], zawierających jako szczególne przypadki operatory OWA, OMA i OWMax oraz indeks h. Definicja 2.4.12. Niech 4 = (ci,n ∈ R̄ : i ∈ [n], n ∈ N) będzie dowolnym trójkątem współczynników. Wtedy L-statystyką generowaną przez 4 nazywamy P operator agregacji L4 określony wzorem L4 (x) = ni=1 ci,n x(n−i+1) , gdzie x = (x1 , . . . , xn ) ∈ I1,2,... . Wyróżnioną podklasę L-statystyk stanowią operatory OWA, od ang. ordered weighted averages [33]. Definicja 2.4.17. Niech 4 = (fi,n ∈ R̄I : i ∈ [n], n ∈ N) będzie dowolnym trójkątem funkcji, gdzie fi,n ∈ R̄I oznacza, że fi,n : I → R̄. Wówczas quasi-Lstatystyką generowaną przez 4 nazywamy operator agregacji qL4 określony wzoP rem qL4 (x) = ni=1 fi,n (x(n−i+1) ), gdzie x = (x1 , . . . , xn ) ∈ I1,2,... . Quasi-L-statystyki jako podzbiór zawierają zwykłe L-statystyki. Dodatkowo warto zauważyć, że operatory OMA, od ang. ordered modular averages [24], są także specjalnymi przypadkami quasi-L-statystyk. 7 Definicja 2.4.20. S-statystyką generowaną przez trójkąt współczynników 4 = W (ci,n )i∈[n],n∈N nazywamy operator agregacji S4 taką, że S4 (x) = ni=1 ci,n ∧ x(n−i+1) dla x = (x1 , . . . , xn ) ∈ I1,2,... . Szczególnym przypadkiem S-statystyk są operatory OWMax, od ang. ordered weighted maximum operators [4]. Co więcej, R. Mesiar i A. Mesiárova-Zemánková wykazali ostatnio w pracy [24], że klasa S-statystyk zawiera się w klasie quasi-Lstatystyk. Nadto, pokazałem (tw. 2.4.23), że H(x) = bSN (x)c = SN (bxc), gdzie trójkąt współczynników N jest taki, że (∀n) (∀i ∈ [n]) ci,n = i. Definicja 2.4.24. Niech 4 = (fi,n )i∈[n],n∈N będzie dowolnym trójkątem funkcji. Wtedy quasi-S-statystyką generowaną przez 4 nazywamy operator agregacji qS W taki, że dla x = (x1 , . . . , xn ) ∈ I1,2,... zachodzi qS4 (x) = ni=1 fi,n (x(n−i+1) ). W przypadku każdej klasy funkcji podałem: 1. postaci trójkątów współczynników/funkcji, w których są to funkcje agregujące (dla porównania z nowym podejściem stosowanym w niniejszej dysertacji), 2. postaci trójkątów współczynników/funkcji, w których są to funkcje wpływu, 3. uwagi dodatkowe. W szczególności, jednym z ważniejszych wyników własnych w tym rozdziale (interesujących nie tylko z punktu widzenia omawianego zagadnienia, lecz i w ogólniejszym kontekście, tzw. w teorii agregacji) jest pokazanie postaci przecięcia klasy quasi-Li quasi-S-statystyk. Twierdzenie 2.4.27. Niech 4 = (fi,n )i∈[n],n∈N będzie taki, że (∀n) f1,n · · · fn,n , (∀i ∈ [n]) fi,n jest niemalejąca i fi,n (0) = fn,n (0) 0. Wówczas qS4 jest równoważna pewnej quasi-L-statystyce wtedy i tylko wtedy, gdy (∀n) (∀i ∈ [n]) fi,n (x) = wn (x) ∧ ci,n dla pewnych funkcji niemalejących w1 , w2 , · · · : I → I oraz trójkąta współczynników (ci,n )i∈[n],n∈N takiego, że 0 ¬ wn (0) ¬ c1,n ¬ · · · ¬ cn,n . Można pokazać, że założenie przyjęte w powyższym twierdzeniu w przypadku niemalejących quasi-S-statystyk nie powoduje zmniejszenia jego ogólności. 3.3 Rozdział 3 W rozdziale 3 zastosowałem tzw. ujęcie aksjomatyczne do analizy funkcji wpływu. Po refleksjach wprowadzających (gdzie ważnym i twórczym wkładem własnym jest podział własności na o niezależnych arnościach i odnoszących się do porządku), następując trzy sekcje, w których stosuję kolejno [por. 1, 25]: 8 3.2 podejście normatywne, w którym rozważałem własność bądź rodzinę własności, których spełnienie jest pożądane z określonego punktu widzenia, np. praktycznych zastosowań. Następnie starałem się określić wszystkie funkcje, które jako jedyne są elementami tak wyróżnionego podzbioru operatorów agregacji bądź też wskazać relacje między nimi. W całym rozdziale proponuję 21 ciekawych własności, z których 10 pełni centralną rolę (ciągłość, ścisła monotoniczność z/w na każdą zmienną i długość ciągu, idempotentność, asymptotyczna idempotentność, a-niewrażliwość, F -niewrażliwość, F +wrażliwość, nasycalność i nasycalność wstępująca). 3.3 podejście opisowe, w którym punktem wyjścia były 4 przytoczone wyżej rodziny operatorów agregacji. Celem tego podejścia było określenie charakteryzacji każdej klasy. Istotnym wkładem własnym było tw. 3.3.8, w którym podałem brakującą w literaturze dot. teorii agregacji charakteryzację S-statystyk. 3.4 podejście porównawcze, w którym przedyskutowałem, jakie postaci trójkątów współczynników/funkcji prowadzą do spełnienia wybranych własności. Rezultatem są obszerne, cztery dziesięcioczęściowe twierdzenia 3.4.1–3.4.4. Na zakończenie rozdziału przedstawiłem przegląd własności spełnianych przez konkretne, funkcji wpływuoprzeznaczony dla praktyków. Niech G(x) = n najpopularniejsze Pi max i = 0, 1, . . . , n : k=1 x(n−k+1) i2 (indeks g), Prod∗ (x) = |x| − 1 oraz SN = Wn i=1 i ∧ x(n−i+1) . Wybrane wyniki przedstawione są w tab. 3. Widzimy, że żadna z badanych funkcji nie cechuje się wszystkimi pożądanymi własnościami. Tablica 3: Wyniki analizy porównawczej wybranych funkcji wpływu. Własność a-niewrażliwość F -niewrażliwość F +wrażliwość ciągłość ścisła monot. z/w na każdą zmienną ścisła monot. z/w na dług. ciągu idempotentność idempotentność asympt. nasycalność nasycalność wstęp. Prod∗ X Max Sum H X X X X X X X G SN X X X X X X X X X X X X X X X X X X 3.4 Rozdział 4 Własności stochastyczne funkcji wpływu rozpatrywałem w rozdziale 4. Po przeglądzie dotychczas stosowanych w literaturze podejść, całą swą uwagę poświęciłem badaniu klasy S-statystyk w ciągłym modelu i.i.d, które do tej pory (w przeciwieństwie do L-statystyk) nie były wcale badane. 9 Do celów ilustracyjnych wybrałem tzw. rozkład Pareto II rodzaju (GPD o ciężkich ogonach), polecany często do modelowania interesującej mnie klasy zjawisk, w tym bibliometrycznych, por. np. [18] oraz prace [2, 17, 19]. I tak zmienna losowa X pochodzi z rozkładu Pareto II rodzaju o parametrach kształtu k > 0 i skali s > 0, ozn. X ∼ P2(k, s), jeśli jej rozkład opisany jest dystrybuantą F (x) = 1 − sk (s + x)k (x 0). Niech X będzie jednowymiarową zmienną losową o ciągłej i ściśle rosnącej na przedziale [0, ∞] dystrybuancie F , gdzie 0 = inf{x : F (x) > 0} oraz ∞ = sup{x : F (x) < 1}. Dodatkowo, niech κ : [0, 1] → [c, d] ⊆ [0, ∞] będzie ściśle rosnącą funkcją ciągłą spełniającą warunki κ(0) = c i κ(1) = d. Taką κ nazywać będziemy od tej pory funkcją kontrolną. W pracy rozpatrywałem następującą charakterystykę zmiennej losowej X. Definicja 4.3.1. Indeksem % względem funkcji kontrolnej κ zmiennej losowej opisanej dystrybuantą F , nazywamy liczbę %κ ∈ (0, 1) taką, że %κ = 1 − F (κ(%κ )). (2) Celem umożliwienia badania własności asymptotycznych, skupiłem uwagę (bez straty ogólności) na S-statystykach generowanych przez funkcję kontrolną κ : [0, 1] → [c, d] ⊆ [0, ∞], które są funkcją próby losowej (X1 , . . . , Xn ) i.i.d. F określoną wzorem e (X , . . . , X ) = V n,κ 1 n n _ κ i n ∧ X(n−i+1) . (3) i=1 Zauważyłem, że dla uproszczenia można miast nich rozważać S-statystyki postaci e V n,id (Y1 , . . . , Yn ) = n _ i n ∧ Y(n−i+1) , (4) i=1 gdzie (Y1 , . . . , Yn ) = (κ−1 (X1 ), . . . , κ−1 (Xn )) jest ciągiem zmiennych losowych i.i.d. o ciągłej, ściśle rosnącej dystrybuancie G := F ◦ κ określonej na przedziale [0, 1]. e e (X , . . . , X ). Zachodzi bowiem κ Vn,id (Y1 , . . . , Yn ) = V n,κ 1 n Dalej wyprowadziłem postać dystrybuanty rozkładu S-statystyk [por. 12]. e (Y , . . . , Y ) określona jest wzorem Twierdzenie 4.3.4. Dystrybuanta statystyki V n 1 n Dn (x) = 1 − n X i=bxn+1c ! n [1 − G (x)]i [G (x)]n−i i = I (G (x) ; n − bxnc, bxnc + 1) 10 (5) (6) dla x ∈ (0, 1), gdzie I(p; a, b) jest regularyzowaną niekompletną funkcją beta. Ponadto, udowodniłem, że S-statystyki są silnie zgodnymi estymatorami indeksu % (tw. 4.3.9). Pokazałem także bardzo istotny wynik głoszący, że mają one (przy pewnym założeniu) rozkład asymptotycznie normalny. Twierdzenie 4.3.11. Jeśli G jest różniczkowalna w punkcie %, to 1 e → N %, V n 1 + G0 (%) D s %(1 − %) . n (7) Bazując na uzyskanych wynikach teoretycznych, w kolejnych częściach rozdziału rozważyłem: 4.4 Zagadnienie estymacji punktowej tzw. teoretycznego indeksu Hirscha, tzn. indeksu % dla κ(x) = nx, gdzie n ∈ N, którego zgodnym estymatorem jest indeks h. Porównałem różne estymatory w rodzinie rozkładów Pareto II rodzaju, w tym oparte na S-statystykach, indeksie h, MLE i MMSE Zhanga-Stevensa [34]. 4.5 Zagadnienie estymacji przedziałowej indeksu %. Pokazałem ogólną metodę konstrukcji przedziałów ufności oraz dokonałem przykładowych obliczeń dla rodziny rozkładów Pareto II rodzaju. 4.6 Ogólną konstrukcję testów opartych na różnicy wartości indeksów h w dwóch próbach (przypadek dokładny i asymptotyczny). Testy te mogą służyć w zagadnieniu dyskryminacji dwóch rozkładów w parametrycznym modelu regularnym. Analizując przypadek dwóch prób z rodziny Pareto II rodzaju okazało się jednak, że testy cechują się bardzo małą mocą, mniejszą nawet niż test Kołmogorowa-Smirnowa. Wynik ten można interpretować jako argument przeciwko stosowaniu indeksu h w praktyce. 3.5 Rozdział 5 W rozdziale 5 rozważyłem zastosowanie teorii możliwości (posybilistycznej) do badania wrażliwości funkcji i ciągów wejściowych w warunkach danych niepewnych. Taka sytuacja występuje w praktyce, np. gdy bierze się pod uwagę możliwość wzrostu miary jakości ocenianych jednostek w pewnym przedziale czasowym bądź niedostateczne (niepełne) pokrycie baz cytowań (dane prawostronnie cenzorowane). Swą uwagę skupiłem na klasie funkcji wpływu o tzw. mierzalnych kosztach wzrostu [por. 9, 14]. 11 Definicja 5.3.1. Powiemy, że funkcja wpływu F jest funkcją o mierzalnych kosztach wzrostu, ozn. F ∈ P(em) , jeśli dla każdego v ∈ img F, (F−1 [v], E) jest zbiorem częściowo uporządkowanym z elementem najmniejszym, gdzie F−1 [v] := {x ∈ I1,2,... : F(x) = v} oznacza odpowiednią warstwicę (dla porządku zakładamy, że elementy są unikalne względem relacji równoważności ∼ =). Okazuje się, że nie wszystkie funkcje wpływu są funkcjami o mierzalnych kosztach wzrostu. Dla przykładu, odpowiednie warunki konieczne i dostateczne w przypadku S-statystyk (za pomocą których ilustrowałem prowadzoną dyskusję) podałem w stw. 5.3.3. Zaproponowałem następujące warunki sine qua non postaci rozkładu możliwości służących do opisu zachowania się funkcji na danych prawostronnie cenzorowanych. Definicja 5.3.4. Niech F ∈ P(em) . Rozkładem możliwości wpływu dla F nazywamy funkcję πF : I1,2,... × R̄ → [0, 1] taką, że dla każdego x ∈ I1,2,... spełnione są następujące warunki: (a) πF (x; F(x)) = 1, (b) jeśli v < F(x) bądź v 6∈ img F, to πF (x; v) = 0, (c) jeśli x E y oraz v F(y), to πF (x; v) ¬ πF (y; v), (d) jeśli v, v 0 ∈ img F są takie, że F(x) ¬ v < v 0 oraz µv C µv0 , to πF (x; v) πF (x; v 0 ). Następnie pokazałem dwie przykładowe, ogólne metody konstrukcji takich rozkładów możliwości: oparte na tzw. metrykach kosztów wzrostu (rozdz. 5.3.3) oraz na tzw. funkcjach odkrywających (rozdz. 5.3.4). Z przedstawionej w tym rozdziale dyskusji wynika, że taki sposób opisu funkcji wpływu może być ciekawym narzędziem wspomagającym ocenę producentów. Za jego pomocą w intuicyjny (np. graficzny) sposób możemy wyrazić „potencjał” znajdujący się w ciągach ocen produktów oraz stopień „ignorowania” informacji przez funkcje wpływu dla konkretnych przypadków danych. 3.6 Rozdział 6 W rozdziale 6 dokonałem przykładowej analizy empirycznej wybranych funkcji wpływu z użyciem programu R i biblioteki CITAN, pokazując przy okazji praktyczną możliwość zastosowania stworzonego przez siebie oprogramowania. CITAN [7] jest biblioteką funkcji opartą na otwartej licencji GNU LGPL w wersji 3. Do działania wymaga programu R [28]. CITAN może służyć m.in. do przeprowadzania badań ilościowych, budowy systemów wspomagania decyzji oraz w modelowania statystycznego we wszystkich obszarach zastosowań, w których adekwatny jest 12 Problem Oceny Producentów, np. naukometrii, webometrii, marketingu itp. (por. tablica 2). Pragnę zwrócić uwagę, iż naukowcy w tych dziedzinach nie mają jeszcze dostępu do tego typu narzędzia zintegrowanego z programem do statystycznej analizy danych. W szczególności, CITAN umożliwia importowanie danych bibliograficznych z bazy SciVerse Scopus. Bazę tę wybrałem z następujących powodów: • zawiera dane bibliograficzne z pewnych źródeł, tj. bezpośrednio od wydawców; w przeciwieństwie do serwisu Google Scholar nie indeksuje tzw. szarej literatury, np. plików PDF dostępnych w Internecie, • indeksuje najwięcej tytułów spośród baz ogólnotematycznych, • podaje liczbę cytowań publikacji, • umożliwia eksportowanie wyników zapytań do różnych formatów plików, • jest stosunkowo rzadko wykorzystywana w badaniach bibliometrycznych z powodu braku zautomatyzowanych narzędzi do przetwarzania i czyszczenia danych przez nią udostępnianych. W CITAN udostępniłem m.in. algorytmy wstępnego czyszczenia danych nt. publikacji i ich autorów. Pokazałem także, jak za pomocą biblioteki CITAN przeprowadzić przykładowe badanie bibliometryczne. Próba badawcza, którą rozpatrywałem składała się z 9747 publikacji w dziedzinie naukometrii i webometrii (13953 autorów). Rozważyłem także, jakie wyniki uzyskują autorzy będący członkami komitetów redakcyjnych dwóch wiodących czasopism w dziedzinie naukometrii: Scientometrics i Journal of Informetrics oraz laureaci prestiżowej nagrody Price’a. Przyjąłem, iż tak skonstruowana lista 91 naukowców jest skonstruowana metodą peer review i że składa się z osób o uznanym dorobku. Okazało się, że pewna grupa autorów wypada dobrze pod względem wartości wszystkich rozpatrywanych w tym rozdziale funkcji wpływu na raz. Są to rzeczywiście autorzy o uznanej pozycji w środowisku. Jednakże, wielu autorów była nisko oceniana przez wszystkie kryteria. Niektórzy z nich — zwłaszcza w przypadku laureatów nagrody Price’a — już dawno skończyli karierę naukową. Jeszcze inna grupa autorów miała wysokie wartości niektórych funkcji wpływu, a niskie innych. Widzimy więc, jak ważne jest, by nie stosować tylko jednego kryterium w tego typu systemie podejmowania decyzji. 3.7 Dodatki Treści mogące zaburzyć spójność wykładu zostały zamieszczone w aneksie. W dodatku A opisałem i przeanalizowałem zaproponowane przez siebie algorytmy służące m.in. do wyznaczania wartości niektórych z omawianych klas operatorów agregacji. 13 W dodatku B podałem ogólne informacje na temat stworzonej przez siebie biblioteki CITAN oraz szczegółowy wykaz dostępnych w niej funkcji. 4 Podsumowanie Środowisko naukowe jest zasadniczo zgodne co do konieczności dbania o wysoką jakość nauki. Wiele mówi się o etyce i wysokich standardach, jakie powinny obowiązywać uczonych. Zgodność poglądów występuje jednak najczęściej jedynie tak długo, póki zagadnienia te rozpatrywane są na odpowiednim, bezpiecznym poziomie ogólności. Gdy zaczynamy mówić o szczegółach, ujawniają się natychmiast trudności i kontrowersje, związane w szczególności ze sposobem oceniania zarówno pracowników naukowych jak i całych jednostek badawczych. Tymczasem dokonywanie takich ocen jest niezbędne choćby z uwagi na konieczność właściwego podziału środków budżetowych, sprawiedliwego przyznawania grantów, rozstrzygania konkursów na stanowiska bądź projekty badawcze itd. Zagadnienie rzetelnej oceny komplikuje niesłychanie dynamiczny rozwój współczesnej nauki z jej kilkudziesięcioma dziedzinami, setkami dyscyplin, tysiącami pism naukowych i patentów oraz wielomilionową — w skali świata — rzeszą pracowników naukowych. Jest więc to wielce złożony system, którego opis i funkcjonowanie samo w sobie może i powinno stanowić przedmiot pogłębionej refleksji. Taka refleksja prowadzona jest m.in w ramach naukoznawstwa. W jego obręb wchodzi w szczególności bibliometria, która proponuje szeroki wachlarz instrumentów służących obiektywnej (a nie uznaniowej) ocenie jakości nauki oraz wspomaganiu procesu poprawy jakości w tym obszarze. Mimo pozorów ścisłości i uporządkowania, bibliometria w swym aktualnym stanie przypominała do tej pory zlepek oderwanych od siebie metod i pomysłów, którym towarzyszy przekonanie o ich przydatności, oparte jednak bardziej na wierze niż na rzetelnych przesłankach. Tę sytuację próbują naprawiać uczeni skupieni wokół wiodących pism naukometrycznych, w tym Scientometrics i Journal of Informetrics. Wydaje się jednak, iż — póki co — więcej jest jeszcze pytań otwartych niż tych, na które znaleziono odpowiedź. I te właśnie pytania, zwłaszcza dotyczące popularnych wskaźników bazujących na cytowaniach, były inspiracją i punktem wyjścia niniejszej dysertacji. Jak to zazwyczaj bywa w analizie złożonych systemów, tak i w przypadku niniejszej rozprawy wnioski z badań są wieloaspektowe i dotyczą różnych poziomów abstrakcji. Szczegółowo zostały one opisane i przedyskutowane w odpowiednich rozdziałach rozprawy. Gdybyśmy jednak chcieli się pokusić o daleko posuniętą syntezę tychże wniosków, należałoby stwierdzić, iż dokonując oceny jakości należy brać przede wszystkim pod uwagę dynamiczny charakter procesu produkcji/cytowania oraz fakt, iż bazy bibliograficzne dalekie są od ideału (słabe pokrycie, problemy 14 z niejednoznacznością reprezentacji autorów i tytułów). Ograniczenie się do cytowań, jako wyłącznej miary oceny jakości pracy, nie wydaje się właściwe. Z drugiej strony, z analizy aksjomatycznej wynika, że nie ma „idealnych” funkcji wpływu — żadna nie spełnia wszystkich własności na raz, gdyż niektóre się wzajemnie wykluczają. Z kolei z analizy stochastycznej S-statystyk i indeksu h wynika, że przy przyjętych założeniach operatory te słabo spisują się jako estymatory pewnych charakterystyk rozkładu, dają dość duży błąd (przedziały ufności), a testy dyskryminacyjne oparte na indeksie h cechują się małą mocą (słabo rozróżniają rozkłady). Zwróciłem także uwagę, iż wyniki oceny nie muszą dobrze korelować z metodami typu peer-review. Reasumując, nie ma powodu, by deprecjonować narzędzia bibliometryczne, ale należy posługiwać się nimi z ostrożnością i ostateczne oceny wydawać na podstawie nie pojedynczego wskaźnika lecz kilku stosowanych jednocześnie. Z drugiej jednak strony takie sposoby oceny wprowadzają pewną „wartość dodaną”, m.in. zachęcają naukowców do bardziej wytężonej i lepszej pracy w świadomości, iż wynik ewaluacji nie zależy od „widzimisię” przełożonych, lecz od ściśle określonych kryteriów. Bibliografia [1] A. Altman, M. Tennenholtz. Ranking systems: The PageRank axioms. W: Proc. 6th ACM Conf. on Electronic Commerce, 2005. [2] K. Barcza, A. Telcs. Paretian publication patterns imply Paretian Hirsch index. Scientometrics, 81(2), s. 513–519, 2009. [3] Q. L. Burrell. Hirsch’s h-index: A stochastic model. Journal of Informetrics, 1, s. 16–25, 2007. [4] D. Dubois, H. Prade, C. Testemale. Weighted fuzzy pattern matching. Fuzzy Sets and Systems, 28, s. 313–331, 1988. [5] L. Egghe. Theory and practise of the g-index. Scientometrics, 69(1), s. 131–152, 2006. [6] L. Egghe. Time-dependent Lotkaian informetrics incorporating growth of sources and items. Mathematical and Computer Modelling, 49(1–2), s. 31–37, 2009. [7] M. Gągolewski. Bibliometric impact assessment with R and the CITAN package. Journal of Informetrics, 5, s. 678–692, 2011. [8] M. Gągolewski, P. Grzegorzewski. A geometric approach to the construction of scientific impact indices. Scientometrics, 81(3), s. 617–634, 2009. [9] M. Gągolewski, P. Grzegorzewski. Possible and necessary h-indices. Proc. IFSA/Eusflat 2009, s. 1691–1695, 2009. [10] M. Gągolewski, P. Grzegorzewski. Arity-monotonic extended aggregation operators. W: E. Hüllermeier, R. Kruse, F. Hoffmann (red.), Information Proces15 sing and Management of Uncertainty in Knowledge-Based Systems, 80, s. 693– 702. Springer-Verlag, 2010. [11] M. Gągolewski, P. Grzegorzewski. Metody i problemy naukometrii. W: T. Rowiński, R. Tadeusiewicz (red.), Psychologia i informatyka. Synergia i kontradykcje, s. 103–125. Wyd. UKSW, Warszawa, 2010. [12] M. Gągolewski, P. Grzegorzewski. S-statistics and their basic properties. W: C. Borgelt i in. (red.), Combining Soft Computing and Statistical Methods in Data Analysis, s. 281–288. Springer-Verlag, 2010. [13] M. Gągolewski, P. Grzegorzewski. Axiomatic characterizations of (quasi-) Lstatistics and S-statistics and the Producer Assessment Problem. W: S. Galichet, J. Montero, G. Mauris (red.), Proc. Eusflat/LFA 2011, s. 53–58, 2011. [14] M. Gągolewski, P. Grzegorzewski. Possibilistic analysis of arity-monotonic aggregation operators and its relation to bibliometric impact assessment of individuals. International Journal of Approximate Reasoning, 52(9), s. 1312–1324, 2011. [15] W. Glänzel. On the h-index — A mathematical approach to a new measure of publication activity and citation impact. Scientometrics, 67(2), s. 315–321, 2006. [16] W. Glänzel. On the opportunities and limitations of the H-index. Science Focus, 1(1), s. 10–11, 2006. [17] W. Glänzel. Some new applications of the h-index. ISSI Newsletter, 3(2), s. 28–31, 2007. [18] W. Glänzel. H-index concatenation. Scientometrics, 77(2), s. 369–372, 2008. [19] W. Glänzel. On some new bibliometric applications of statistics related to the h-index. Scientometrics, 77(1), s. 187–196, 2008. [20] M. Grabisch, E. Pap, J.-L. Marichal, R. Mesiar. Aggregation functions. Cambridge, 2009. [21] J. E. Hirsch. An index to quantify individual’s scientific research output. Proceedings of the National Academy of Sciences, 102(46), s. 16569–16572, 2005. [22] L. I. Meho, Y. Rogers. Citation counting, citation ranking, and h-index of human-computer interaction researchers: A comparison between Scopus and Web of Science. Journal of the American Society for Information Science and Technology, 59(11), s. 1711–1726, 2008. [23] L. I. Meho, C. R. Sugimoto. Assessing the scholarly impact of information studies: A tale of two citation databases — Scopus and Web of Science. Journal of the American Society for Information Science and Technology, 60(12), s. 2499–2508, 2009. [24] R. Mesiar, A. Mesiarová-Zemánková. The ordered modular averages. IEEE Transactions on Fuzzy Systems, 19(1), s. 42–50, 2011. 16 [25] I. Palacios-Huerta, O. Volij. The measurement of intellectual influence. Econometrica, 72(3), s. 963–977, 2004. [26] G. Prathap. Is there a place for a mock h-index? Scientometrics, 84, s. 153–165, 2010. [27] A. Quesada. Monotonicity and the Hirsch index. Journal of Informetrics, 3(2), s. 158–160, 2009. [28] R Development Core Team. R: A language and environment for statistical computing. R Foundation for Statistical Computing, Vienna, Austria, 2011. http://www.R-project.org. [29] A. Schubert, W. Glänzel. A systematic analysis of Hirsch-type indices for journals. Journal of Informetrics, 1, s. 179–184, 2007. [30] G. J. Woeginger. An axiomatic analysis of Egghe’s g-index. Journal of Informetrics, 2(4), s. 364–368, 2008. [31] G. J. Woeginger. An axiomatic characterization of the Hirsch-index. Mathematical Social Sciences, 56(2), s. 224–232, 2008. [32] G. J. Woeginger. A symmetry axiom for scientific impact indices. Journal of Informetrics, 2, s. 298–303, 2008. [33] R. R. Yager. On ordered weighted averaging aggregation operators in multicriteria decision making. IEEE Transactions on Systems, Man, and Cybernetics, 18(1), s. 183–190, 1988. [34] J. Zhang, M. A. Stephens. A new and efficient estimation method for the Generalized Pareto Distribution. Technometrics, 51(3), s. 316–325, 2009. 17