materiał autorstwa Macieja Zabel

Komitet Ewaluacji Jednostek Naukowych - KEJN
Parametryzacja i kategoryzacja
Jednostek Naukowych
Warszawa, 21. 11. 2012
Maciej Zabel
21 listopada 2012.
Kategoryzacja JN 2013
1
Miejsce KEJN w MNiSzW
21 listopada 2012.
Kategoryzacja JN 2013
2
KEJN – Struktura
Środowiska społ.-gosp.
Jednostki naukowe
20
10
KEJN
Przewodniczący
9
9
Komisja ds. Grupy
Nauk o Życiu
5
Komisja ds. Grupy Nauk
Humanistycznych i Społecznych
10
Komisja ds. Grupy Nauk
Ścisłych i Inżynierskich
21 listopada 2012.
Komisja ds. Grupy Nauk
o Sztuce i Twórczości Artystycznej
Kategoryzacja JN 2013
3
KEJN – zadanie ustawowe
Art. 42. ust. 1.
Kompleksowa ocena jakości działalności naukowej lub
badawczo-rozwojowej jednostek naukowych, jest
przeprowadzana na podstawie wyników oceny poziomu
naukowego prowadzonych badań naukowych lub
prac rozwojowych oraz ich efektów w odniesieniu do
standardów międzynarodowych, a także oceny znaczenia
działalności jednostki naukowej dla rozwoju nauki w skali
międzynarodowej oraz wzrostu innowacyjności w skali kraju.
21 listopada 2012.
Kategoryzacja JN 2013
4
KEJN – ocena działalności JN
2012 2013
Cele:
- ustalenie kategorii JN (A+, A, B, C)
- ukierunkowanie rozwoju JN
- poznawczo-informacyjny
Ważniejsze terminy
 1. Przygotowanie założeń
2. Rozporządzenie
3. Nadsyłanie ankiet
4. Zakończenie parametryzacji
i ustalenie kategorii
21 listopada 2012.
- koniec czerwca 2011
- koniec lipca 2012
- marzec 2012 2013
- 30 września 2012 2013
Kategoryzacja JN 2013
5
KEJN – etapy procedury oceny
1. Klasyfikacja
przypisanie jednostek do grup wspólnej oceny (GWO)
2. Parametryzacja
ocena działalności JN na podstawie opracowanych
kryteriów charakteryzujących daną GWO
3. Kategoryzacja
ustalenie kategorii jednostek naukowych
(kategorie A, B, C oraz A+)
Rozporządzenie (Dz. U. poz. 877) z dnia 01.08.2012.
21 listopada 2012.
Kategoryzacja JN 2013
6
Istotne czynniki procesu oceny
parametrycznej i kategoryzacji
1. Zakończenie całego procesu do 30.09.2013 r.
2. Okres oceny obejmuje cztery lata: 2009 - 2012
3. W ocenie parametrycznej liczba pracowników jednostki
(liczba N) musi być obliczona identycznie, jak w algorytmie
dotacji bazowej na działalność statutową
4. Szczegółowe parametry oceny ustalają Komisje KEJN
5. Komisje KEJN wypracowały wspólne stanowisko w większości
ważniejszych kryteriów, w tym oceny aktywności naukowej,
publikacji wieloautorskich, afiliacji, monografii i patentów oraz
wag kryteriów oceny
6. GWO określą Komisje KEJN i przedstawią Ministrowi
7. Po uchwale Komisji, Przewodniczący KEJN występuje do
Ministra z wnioskami o przyznanie kategorii.
21 listopada 2012.
Kategoryzacja JN 2013
7
KEJN – Grupy Wspólnej Oceny
Linie podziału GWO:
1. Grupa dziedzin nauki (4)
wspólne kryteria w ramach każdej grupy
2. Rodzaj jednostki (3)
wspólne wagi kryteriów w ramach rodzaju
3. Określenie przynależności JN do GWO
Dla każdej GWO wspólne kryteria i parametry oraz progi
wymogów dla poszczególnych kategorii (jednostki referencyjne)
21 listopada 2012.
Kategoryzacja JN 2013
8
KEJN – Grupy Wspólnej Oceny
Grupa Nauk
Rodzaj Jednostki
Podstawowe Jednostki
Organizacyjne Szkół
Wyższych
Instytuty Polskiej
Akademii Nauk
Humanistyczne
Ścisłe
i Społeczne
i Inżynierskie
o Życiu
o Sztuce
i Twórczości
Artystycznej
Med
6
7
7
66
2 (?)
4 (?)
2
18
6
2
22
4
Instytuty Badawcze
21 listopada 2012.
Kategoryzacja JN 2013
9
KEJN – parametryzacja
Cztery kryteria oceny dla wszystkich JN:
1.
2.
3.
4.
Osiągnięcia naukowe i twórcze
Potencjał naukowy
Materialne efekty działalności naukowej
Pozostałe efekty działalności naukowej
W kryterium 1 – osiągnięcia naukowe i twórcze (publikacje,
monografie i patenty) ilość wskazanych pozycji ograniczona
do 3N i pomniejszona o podwojoną liczbę pracowników
niepublikujących: 3N – 2N0 (bez inżynieryjno-technicznych)
wciąż szansa na działanie !
21 listopada 2012.
Kategoryzacja JN 2013
10
Podkryteria wg grup nauk i
rodzaju Jednostek Naukowych
Grupa Nauk
Humanist. i
Społecznych
Ścisłych i
Inżynierskich
o Życiu
Kryterium
o Sztuce i
Twórczości
Artystycznej
Publikacje
Monografie
Publikacje
Monografie
Patenty
Publikacje
Monografie
Patenty
Publikacje
Monografie
Patenty
Dorobek artyst.
Uprawnienia
Rozwój kadry
Funkcje
Projekty
Uprawnienia
Rozwój kadry
Lab. akredytow.
Status PIB
Środki z projekt.
Uprawnienia
Rozwój kadry
Lab. akredytow.
Uprawnienia
Rozwój kadry
Funkcje
Projekty
3. Materialne efekty
działalności
naukowej
Patenty
Ekspertyzy
Płace ze źródeł
zewnętrznych
Nakłady na aparaturę i oprogr.
Płace ze źródeł
zewnętrznych
Nakłady na aparaturę i oprogr
Ekspertyzy
Działania artyst.
4. Pozostałe efekty
działalności
naukowej
Nagrody
Konferencje
Popularyzacja
Specjalne
Nagrody
Konferencje
Popularyzacja
Specjalne
Nagrody
Konferencje
Popularyzacja
Specjalne
Nagrody
Konferencje
Popularyzacja
Specjalne
1. Osiągnięcia
naukowe i twórcze
2. Potencjał naukowy
21 listopada 2012.
Kategoryzacja JN 2013
11
Wagi kryteriów wg grup nauk i
rodzaju Jednostek Naukowych
Maksymalna punktacja w ostatecznej ocenie (wagi)
Kryterium
sposób
oceny
Nauki
Hum. + Społ.
Nauki
Ścisłe + Inżyn.
JU PAN IB
Nauki
o Życiu
JU PAN
IB
Nauki o Sztuce
i Twórczości
Artystycznej
Punkty z listy
ministerialnej i ustalone
przez KEJN
65
65 65 35 70 75 60 60
Wg ustalonej
punktacji
15
10 10 10 5
3. Materialne efekty
działalności
naukowej
Wg ustalonej
punktacji
5
15 15 45 15 10 25 5
4. Inne efekty
działalności
naukowej
Ankieta i ZE
15
10 10 10 10 10 10 15
1. Osiągnięcia
naukowe i twórcze
2. Potencjał naukowy
21 listopada 2012.
Kategoryzacja JN 2013
5
5 20
12
MNiSW – punktacja czasopism
Lista A: od 15 do 50 punktów w zależności od IF > 0,005
(JCR, punktacja osobno w grupach tematycznych)
15
20
25
30
35
40 45 50
23%
20%
17%
14%
11%
8% 5% 2%
Lista B: od 1 do 10 punktów (co 1); szereg kryteriów
2009/10 – dawna lista punktacji
2011/12 – nowa punktacja, z uwzględnieniem stałej
przeniesienia (0,4)
Lista C: 10, 12, 14 punktów (ERIH)
21 listopada 2012.
Kategoryzacja JN 2013
13
KEJN – kategoryzacja
1. Określenie kategorii A, B i C
► porównanie parami z uwzględnieniem
jednostek referencyjnych
2. Określenie kategorii A+
► ocena ekspercka z uwzględnieniem
dodatkowych kryteriów
21 listopada 2012.
Kategoryzacja JN 2013
14
KEJN – kategoryzacja
► Ranking nie jest celem – jest etapem pośrednim
konieczne porównanie punktacji jednostek z wzorcem
► Jednostki referencyjne
minimalne wymaganie wartości kryteriów p1, …, p4 dla
przekroczenia progów kategorii A (B→A) i B (C→B)
(z analizy statystycznej zakresu wartości każdego z kryteriów
oraz poprzez odniesienie do standardów światowych)
► Kategoryzacja
włączenie jednostek referencyjnych AB i BC do rankingu;
odniesienie punktacji każdej jednostki do wyniku rankingu
jednostek referencyjnych AB i BC
21 listopada 2012.
Kategoryzacja JN 2013
15
KEJN – kategoryzacja
Wynik rankingu (porównania parami):
Każdej jednostce (w grupie wspólnej oceny) przypisana punktacja
Wartość relacji uporządkowania
(punkty przeskalowane)
25
20
15
10
5
0
0
2
4
6
8
10
12
14
16
18
20
22
24
26
28
30
Numer jednostki
21 listopada 2012.
Kategoryzacja JN 2013
16
KEJN – kategoryzacja
Wartość relacji uporządkowania
(punkty przeskalowane)
Wynik kategoryzacji
Jednostka "A"
25
A
Jednostka "B"
20
15
B
10
5
C
0
0
2
4
6
8
10
12
14
16
18
20
22
24
26
28
30
Numer jednostki
21 listopada 2012.
Kategoryzacja JN 2013
17
KEJN – kategoria A+
► Wymóg podstawowy
jednostka kategorii A, wynik z procedury rankingu w górnych
około 25% w danej grupie wspólnej oceny
► Zestaw dodatkowych kryteriów
opis własnych najważniejszych osiągnięć;
cytowania, punktacja najlepszych prac, nagrody,
prestiżowe granty, funkcje w gronach międzynarodowych,
komitetach PAN, przychody z zastosowań
21 listopada 2012.
Kategoryzacja JN 2013
18