Sumaryczny Impact Factor (SumIF) – kłopotliwy wskaźnik. Cz. 1

12 czerwca 2015 — 6 komentarzy

Sumaryczny Impact Factor (SumIF; eng. Total Impact Factor [TIF]) jest wskaźnikiem naukometrycznym stosowanym w Polsce przy ocenie kandydata do stopnia naukowego doktora habilitowanego. Stanowi swoistą hybrydę. Został stworzony w oparciu o Impact Factor (IF) – wskaźnik mierzący udział czasopisma w rozwoju określonej dziedziny wiedzy. SumIF ma, w założeniu, określać jakość dorobku publikacyjnego.

Oblicza się go dodając do siebie wartości IF czasopism, w których opublikowane zostały artykuły naukowe (citable article) danego autora. Przy czym do obliczeń pobiera się IF ustalony dla tego samego roku, w jakim została opublikowana praca.

SumIF = IF1 + IF2 + … IFn

IFn – IF czasopisma dla roku zgodnego z rokiem publikacji artykułu

Uznanie SumIF jako wskaźnika do oceny naukowca, nastąpiło w Polsce, w roku 2011, wraz z ukazaniem się Rozporządzenia Ministra Nauki i Szkolnictwa Wyższego z dnia 1 września 2011 r. w sprawie kryteriów oceny osiągnięć osoby ubiegającej się o nadanie stopnia doktora habilitowanego (Dz. U. 2011 nr 196 poz. 1165). Przedstawiono go jako narzędzie do oceny dorobku („kryterium oceny”) adekwatne dla wszystkich dziedzin wiedzy („kryteria oceny […] we wszystkich obszarach wiedzy”). Zdefiniowano go następująco: „sumaryczny impact factor publikacji naukowych według listy Journal Citation Reports (JCR), zgodnie z rokiem opublikowania”. Ta definicja miała być jednocześnie wskazówką, co do sposobu ustalania wartości omawianego wskaźnika.

Problemy z obliczaniem

Przy obliczaniu SumIF pojawiły się zasadnicze pytania:

1)   Czy SumIF odnosi się do dorobku zgromadzonego po uzyskaniu stopnia naukowego doktora, czy też obejmuje pełny dorobek?

Przesłanką do zawężania SumIF stał się zapis w nadrzędnym akcie prawnym: Ustawa z dnia 14 marca 2003 r. o stopniach naukowych i tytule naukowym oraz o stopniach i tytule w zakresie sztuki, gdzie jako jeden z warunków do wszczęcia postępowania habilitacyjnego wymieniono posiadanie „osiągnię[ć] naukow[ych] lub artystyczn[ych], uzyskan[ych] po otrzymaniu stopnia doktora”. Jednakże w samej definicji SumIF nie ma mowy o takim zawężeniu, podobnie jak w przypadku uwzględnionych wśród kryteriów oceny habilitanta, wskaźników: liczby cytowań czy indeksu Hirscha. Według mnie obecne zapisy pozwalają na dwie równoprawne interpretacje dla SumIF: a. SumIF obliczany z dorobku podoktorskiego, b. SumIF obliczany z dorobku całożyciowego.

2)   Czy SumIF obejmuje najnowsze publikacje autora?

Jeżeli literalnie rozumiemy definicję SumIF, wówczas odrzucamy cały najnowszy dorobek autora (w tym prace, dla których odnotowano już cytowania). W czym leży problem? W samym sposobie obliczania IF, który stanowi iloraz cytowań odnotowanych w danym roku kalendarzowym dla prac z poprzednich dwóch lat, przez liczbę artykułów naukowych opublikowanych w czasopiśmie w okresie poprzednich dwóch lat. Jeżeli artykuł został opublikowany w roku 2014, to raport (Journal Citation Reports) z IF czasopisma dla tego roku zostanie udostępniony dopiero w drugiej połowie 2015 r.

Przesłanką do innej interpretacji (aniżeli wynika wprost z oficjalnej definicji SumIF) jest rozumienie SumIF jako wartości pokazującej zdolność autora do publikowania w czasopismach z IF. Przyjmując takie rozumienie habilitanci uwzględniają nowe publikacje, stosując we wzorze najbardziej aktualną wartość IF czasopisma. Opisana praktyka uznawana jest przez wielu polskich bibliometrystów (co znajduje potwierdzenie w dyskusjach podczas branżowych konferencji i seminariów), którzy jednakże mają świadomość problemów z tym związanych, np. posądzenia habilitanta o zawyżenie wartości SumIF (jeżeli po opublikowaniu przez Thomson Reuters raportu okaże się, że czasopismo „wypadło” z listy lub uzyskało mniejszy IF, niż przyjęto we wzorze).

3)   Co z publikacjami niezaindeksowanymi w Web of Science i/lub opublikowanymi w numerach specjalnych?

Centralna Komisja ds. Stopni i Tytułów (CK) zaleciła stosowanie się do oświadczenia MNiSW dot. wykorzystywania IF w ocenie dorobku naukowego (oświadczenie pierwotnie przygotowane na potrzeby oceny jednostek naukowych). W myśl tego oświadczenia: „stosowanie współczynnika IF czasopisma do konferencyjnego suplementu jest nieuprawnione”, a „warunkiem koniecznym do uznawania dorobku publikowanego w takich suplementach musi być pewność, że w stosunku do niego stosowane są przez redakcje identyczne procedury peer review, jak wobec materiałów publikowanych w głównym czasopiśmie”.

Taka interpretacja rodzi wątpliwość, co do podstaw uznawania jednych publikacji za spełniające, a innych za nie spełniające określony w oświadczeniu warunek. Czy taki warunek spełniają wszystkie publikacje w suplementach indeksowane w Web of Science? Czy mogą być uznawane artykuły w suplementach nie zaindeksowanych w Web of Science, jeżeli redaktor potwierdzi pisemnie, że zostały one poddane takiej samej (co teksty w regularnych numerach) procedurze oceny?

Rozwiązanie problemów związanych z zasadami obliczania wskaźnika SumIF jest zadaniem, które stoi przed Ministerstwem Nauki i Szkolnictwa Wyższego. Obecnie jednostki naukowe oraz habilitanci samodzielnie interpretują zamiary ustawodawcy lub przejmują jedną z nieoficjalnych interpretacji (np. pochodzących z serwisów internetowych prowadzonych przez naukometrystów czy stron internetowych uczelnianych działów dokumentacji dorobku publikacyjnego). Jednakże nawet dookreślenie metody nie zamknie dyskusji nad SumIF jako narzędziem naukometrycznym.

Dyskusja

W dyskusji nad granicami wykorzystania IF w ocenie uczonego pojawiają się następujące pytania:

1)   Czy zasadne jest stosowanie IF do oceny uczonego, jeżeli IF nie jest gwarantem uzyskania cytowań przez daną publikację (niewielka liczba artykułów jest cytowana) (zob. Garfield, 2005; Graczynski, 2008)?

2)   Czy wartości SumIF uzyskane przez dwóch uczonych są ze sobą porównywalne?

3)   Czy wiedza naukometryczna uzasadnia wprowadzanie przez polskie jednostki naukowe progów dla wartości SumIF w postępowaniu habilitacyjnym?

4)   Co oznacza dla humanistów wprowadzenie SumIF do oceny dorobku?

Podejmę je w kolejnym wpisie na temat SumIF.

Bibliografia

Garfield, E. (2005). The Agony and the Ecstasy – The History and Meaning of the Journal Impact Factor (pp. 1–22). Presented at the International Congress on Peer Review and Biomedical Publication, Chicago, September 16, 2005, Chicago.

Graczynski, M. R. (2008). Personal Impact Factor: The need for speed. Medical Science Monitor, 14(10), ED1–2.

 

Tekst powstał w ramach projektu pt. „Współczesna polska humanistyka wobec wyzwań naukometrii” realizowanego ze środków Narodowego Programu Rozwoju Humanistyki, numer decyzji 0057/NPHR3/H11/82/2014.
Tekst został równolegle opublikowany w języku angielskim na stronie projektu: http://scientometrics.amu.edu.pl/#sumaryczny-impact-factor-sumif-a-troublesome-indicator-part-1

Zdjęcie: Head-Measurer of Tremearne (Domena publiczna)

Ewa A. Rozkosz

Wpisy

Edukacja informacyjna jest moją pasją i częścią zawodowej codzienności. Balansuję pomiędzy działalnością bibliograficzną, a rynkiem szkoleń. Podglądam nowinki ICT, szukając dobrych praktyk w zakresie wykorzystania nowych technologii w uczeniu się i nauczaniu.

6 odpowiedzi do Sumaryczny Impact Factor (SumIF) – kłopotliwy wskaźnik. Cz. 1

  1. Zabrakło mi tu wzmianki o „iloletniości” IF. JCR publikuje dwa wskaźniki: dwuletni (powszechnie postrzegany jako „podstawowy”) oraz pięcioletni. Pięcioletni IF jest prymarnym w polskiej ocenie czasopism. W tej samej ocenie pomocniczo stosowany jest też IF trzyletni, choć na podstawie szerszej bazy WoS, której JCR jest podzbiorem. Funkcjonują więc w Polsce co najmniej trzy wskaźniki IF rodem z Thomson Reuters. O który chodzi w Rozporządzeniu i czy dla stosujących jest to jasne? Które sumować (jeśli już sumować).
    A pytanie o zasadność SumIF jest częścią ogólniejszego pytania: wskaźniki „twarde”, liczbowe, mają różne swoje wady. Trzeba jednak widzieć je w kontekście alternatywy, jaką jest totalna uznaniowość. Oba podejścia wypaczają rzeczywistość, zasadnicze pytanie jest: które bardziej w naszych narodowych realiach?

    • Bardzo dziękuję za komentarz. Zgadzam się z Panem, co do innych wątpliwości, jakie mogą wystąpić u pracowników nauki nie zorientowanych w zawiłościach naukometrii. Poniżej wyjaśniam swoje stanowisko odpowiadając na Pana pytania/propozycje:

      Zabrakło mi tu wzmianki o „iloletniości” IF. JCR publikuje dwa wskaźniki: dwuletni (powszechnie postrzegany jako „podstawowy”) oraz pięcioletni. Pięcioletni IF jest prymarnym w polskiej ocenie czasopism. W tej samej ocenie pomocniczo stosowany jest też IF trzyletni, choć na podstawie szerszej bazy WoS, której JCR jest podzbiorem. Funkcjonują więc w Polsce co najmniej trzy wskaźniki IF rodem z Thomson Reuters. O który chodzi w Rozporządzeniu i czy dla stosujących jest to jasne? Które sumować (jeśli już sumować).

      Nazwa Impact Factor jest zastrzeżona przez firmę Thomson Reuters i odnosi się do wskaźnika mierzącego oddziaływanie czasopisma, w oparciu o dane z dwóch lat. Wyszłam z założenia (być może błędnego), że wskaźnik ten jest dobrze znany na gruncie polskim i nie ma potrzeby (za każdym razem) szczegółowego wyjaśniania sposobu jego obliczania oraz wskazywania źródła danych, jak również pokazywania różnicy między wskaźnikiem IF, 5-Year IF oraz ich modyfikacjami. Uzupełnię to w drugim wpisie, który przedstawiać będzie krytykę wykorzystania IF do oceny dorobku uczonego.

      A pytanie o zasadność SumIF jest częścią ogólniejszego pytania: wskaźniki „twarde”, liczbowe, mają różne swoje wady. Trzeba jednak widzieć je w kontekście alternatywy, jaką jest totalna uznaniowość. Oba podejścia wypaczają rzeczywistość, zasadnicze pytanie jest: które bardziej w naszych narodowych realiach?

      W pełni się zgadzam, że wskaźniki bibliometryczne mają swoje wady. W przypadku IF jego słabości od początku powstania (lat 50./60.) stanowiły przedmiot debaty, w której brał udział pomysłodawca wskaźnika – Eugene Garfield i jego zespół. Wiara w to, że wartość IF można interpretować jako spodziewaną liczbę cytowań, jaką uzyska publikacja w danych czasopiśmie w określonym odcinku czasu zmalała, odkąd powszechna stała się (przynajmniej wśród naukometrystów) wiedza o ujawniającej się w liczbie cytowań i publikacji (uwzględnianych w obliczeniach IF) Regule Pareto. Akceptujemy jednak te wady, dostrzegając przydatność i sens wskaźnika do różnicowania periodyków podobnych (zakładając, że dana dyscyplina/subdyscyplina będzie odznaczać się dość spójną kulturą cytowań).

      Co z tego wynika? To, że wskaźniki powinny być stosowane ostrożnie i poddawane nieustannej rewizji (w szczególności, gdy wykorzystywane są w tzw. „narodowych realiach”). W odniesieniu do zaprezentowanej przez Pana dychotomii BIBLIOMETRIA vs. UZNANIOWOŚĆ, dostrzegam również rozwiązania pośrednie, zarówno związane z szukaniem rozwiązań na polu oceny eksperckiej (tu jest pytanie o kompetencje oceniającego i jego „zewnętrzność” wobec naszego systemu), jak i rozważniejszym stosowaniem twardych wskaźników oraz odrzuceniem wskaźników, które oblicza się poprzez dodawanie długości krawężników do głębokości kałuży (patrz SumIF).

  2. Kompletnie nie rozumiem wyjaśnienia w punkcie „Czy SumIF obejmuje najnowsze publikacje autora?”
    Czy impact factor dla publikacji z 2016 roku wg. ministerstwa wynosi zero ponieważ nie został jeszcze wyznaczony na ten rok?

      1. Ministerstwo nie zajęło stanowiska w sprawie wartości IF dla najnowszych publikacji. Jeżeli traktować samo rozporządzenie jako stanowisko ministerstwa, to odpowiedź na Pani pytanie będzie brzmiała TAK. Jeżeli nie ma wydanego JCR oznaczonego tym samym rokiem, co rok publikacji, wówczas składowe IF wynosi 0 (zero).

        To rozwiązanie jest jednak sprzeczne z sensem SumIF, który ma pokazywać potencjał autora do publikowania w najbardziej prestiżowych czasopismach. Dlatego też w wielu jednostkach akceptowana jest praktyka stosowania dla najnowszych publikacji najbardziej aktualnej wartości IF danego czasopisma.

      • <cite="Dlatego też w wielu jednostkach akceptowana jest praktyka stosowania dla najnowszych publikacji najbardziej aktualnej wartości IF danego czasopisma."
        Czy na pewno zasadne jest stosowanie – jeśli dobrze zrozumiałem – ostatniej wartości IF?
        W naszej praktyce dla tekstów z bieżącego roku stosujemy IF wyłącznie z roku poprzedniego.
        Przecież jeśli czasopismo straciło IF dajmy na to 4 lata temu to artykuł opublikowany w takim czasopiśmie nie powinien podwyższać SumIF.

        • Akceptowana praktyka stosowania aktualnej wartości IF danego czasopisma w mojej opinii powinna odnosić się wyłącznie do najnowszych artykułów, które ukazały się w roku, dla którego nie ma jeszcze ustalonej wartości IF. Natomiast uważam, że nieakceptowalne jest używanie wartości IF z najnowszego JCR dla starszych artykułów lub dla artykułów z czasopisma, które przestało być indeksowane w Web of Science Core Collection.

Dodaj komentarz

*

Dostępne są wybrane znaczniki HTML. <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <strike> <strong>