Sumaryczny Impact Factor – zmora doktora

9 czerwca 2013 — 10 komentarzy

Do 30 września 2013 r. osoby ubiegające się o nadanie stopnia doktora habilitowanego mogą wybierać, jakim trybem toczyć będzie się postępowanie: starym czy nowym. Nowe kryteria oceny w postępowaniu habilitacyjnym budzą sporo negatywnych emocji w środowisku akademickim. Można o nich (kryteriach) pisać opierając się na jawnej zawartości rozporządzenia bądź sięgając do różnorodnych interpretacji, wychodzących poza obręb wspomnianego aktu prawnego (np. wymaganie od habilitanta określonej liczby punktów za publikacje lub określonej liczby prac w czasopismach z Listy Filadelfijskiej). Postanowiłam wziąć pod lupę jedno z kryteriów: sumaryczny impact factor.

Rozporządzenie Ministra Nauki i Szkolnictwa Wyższego z dnia 1 września 2011 r. w sprawie kryteriów oceny osiągnięć osoby ubiegającej się o nadanie stopnia doktora habilitowanego:

§ 4. Kryteria oceny w zakresie osiągnięć naukowo-badawczych habilitanta we wszystkich obszarach wiedzy obejmują:

3) sumaryczny impact factor publikacji naukowych według listy Journal Citation Reports (JCR), zgodnie z rokiem opublikowania

Co to jest sumaryczny impact factor?

Aby wyjaśnić, czym jest sumaryczny impact factor (Sum IF), trzeba rozpocząć od definicji impact factora (IF). IF to wskaźnik wpływu (miara oddziaływania) obliczany dla czasopism indeksowanych w Science Citation Index Expanded oraz Social Sciences Citation Index (bazy bibliometryczne firmy Thomson Reuters).

Aby ustalić IF czasopisma dla roku n, należy posłużyć się wzorem (Nowak, 2006, s. 109):

C(n-1) + C(n-2)
———————–
A(n-1) + A(n-2)

C – liczba cytowań jakie uzyskały w roku n wszystkie artykuły opublikowane w czasopiśmie w latach n-1 oraz n-2
A – liczba artykułów naukowych, jakie ukazały się w tym czasopiśmie w latach n-1 oraz n-2

O istnieniu sumarycznego impact factora dowiedziałam się z rozporządzenia MNiSW. Wskaźnik o takiej nazwie nie występuje w znanej mi polskiej czy zagranicznej literaturze z zakresu bibliometrii. Pojawia się w niej natomiast wskaźnik wpływu autora (impact factor autora). Prof. UAM Piotr Nowak definiuje go następująco (2006, s. 133-134):

Jednym z sugerowanych sposobów jest obliczanie tzw. wskaźnika wpływu autora (impact factor, author), rozumianego jako suma IF czasopism, w jakich autor publikował (Diodato 1994, 84)

pokazuje jaki jest stosunek badaczy bibliometrii do tego parametru:

(…) problem klasyfikowania badaczy na podstawie wskaźnika wpływu (impact factor) czasopism, w których publikują, dla wielu specjalistów w dziedzinie bibliometrii jest kontrowersyjny.

(…) stosowanie go w ocenie pracy uczonych ma wielu przeciwników.

oraz ujawnia nieadekwatność współczynnika do rzeczywistego zainteresowania publikacjami danego autora (mierzonego liczbą cytowań):

Nie ma żadnej gwarancji, że artykuł opublikowany w periodyku naukowym o wysokim IF faktycznie był często cytowany. Wręcz przeciwnie, istnieje duże prawdopodobieństwo, że był cytowany rzadko, przy czym niewykluczone, że nie został zacytowany nigdy.

Sytuację, o której mowa, łatwo ekstrapolować na przypadek czasopisma o niskim IF. Może się zdarzyć, że opublikowany w nim artykuł znalazł się w nielicznej grupie tekstów mających bardzo wysoki wskaźnik cytowań. Fakt ten jednak w żadnej mierze nie wpłynie na wynik oceny jego autora, jeśli zastosujemy wskaźnik wpływu autora.

Wskaźnik wskaźnikowi nie równy – czyli problemy z interpretacją IF

Krytykę IF(autor) przeprowadzoną przez Nowaka można uzupełnić o problem interpretacji IF. Nie sposób analizować wyniku (wartości IF) w oderwaniu od kategorii, w jakiej znajduje się czasopismo (tzw. grupy jednorodnej). Spójrzmy na przypadek dwóch czasopism, z zakresu bibliotekoznawstwa oraz farmakologii i farmacji. Ich impact factor za 2011 r. wynosi:

„Library Quarterly”, IF=0,789
„Fundamental & Clinical Pharmacology”, IF=1.799

Wyższa wartość IF dla drugiego czasopisma nie świadczy o jego lepszej pozycji. W rankingu czasopism z zakresu farmakologii i farmacji znajduje się w trzeciej ćwiartce (trzeci kwartyl). Czasopismo bibliotekoznawcze ma wyższą pozycje w swojej grupie (druga ćwiartka).

Co z tego wynika? IF analizować można tylko i wyłączenie w odniesieniu do grup jednorodnych. Podobnie jak czyni to MNiSW nadając punkty czasopismom z części A wykazu MNiSW (wskazane periodyki posiadały w 2012 r. identyczną liczbę punktów).

Humanistom wiatr w oczy wieje

Argumentem na rzecz usunięcia sumarycznego impact factor z kryteriów oceny osiągnięć naukowych habilitanta jest niemożność osiągnięcia niezerowej wartości kryterium przez humanistów. Z czego to wynika? Po prostu dla czasopism humanistycznych nie oblicza się IF. Specyfika cytowań nie pozwala na zastosowanie miar wykorzystywanych przez Thomson Reuters w innych naukach.

Mniemam, że przedstawiciele MNiSW oraz Centralnej Komisji ds. Stopni i Tytułów są tego świadomi.

Jak obliczyć sumaryczny impact factor?

Przede wszystkim potrzebujesz dostęp do Web of Science (o bazie i zasadach dostępu pisałam tutaj). Przypominam, że to komercyjna baza prowadzona przez Thomson Reuters. Nie połączysz się z nią z domowego komputera chyba, że twoja uczelnia zapewnia zdalny dostęp do baz danych.

Web of Science -> wejście

Znajdź swój artykuł. Jeżeli został on opublikowany w czasopiśmie z IF po prawej stronie dostępny będzie link do Journal Citation Reports (View the journal’s impact factor).

Web of Science

 

Odczytaj wartość IF z roku, w którym opublikowana została praca. Wyszukany przeze mnie artykuł (pokazany na powyższym przykładzie) pochodzi z roku 2006. W Jorunal Citation Reports nie widzimy IF z roku 2006. Wynika to z ograniczonego dostępu do bazy (w ramach tzw. licencji krajowej posiadamy dostęp tylko do wycinka bazy).

Aby upewnić się jaki był IF czasopisma w poprzednich latach (przed 2007 r.) możesz wysłać pytanie do redakcji czasopisma lub skontaktować się z Oddziałem Informacji Naukowej Biblioteki Głównej i Ośrodka Informacji Naukowo Technicznej Politechniki Wrocławskiej (infnauk@pwr.wroc.pl).

Web of Sience

 

Podstaw ustalone wartości do wzoru:

Sum IF = Ax(n) * IFx(n) + Ay(n) * IFy(n) + Ay(m) * IFy(m) +

n, m – rok publikacji artykułu autora / rok dla którego obliczono IF czasopisma
Ax – liczba artykułów autora opublikowanych w czasopiśmie x w danym roku
Ay – liczba artykułów autora opublikowanych w czasopiśmie y w danym roku
IFx – IF czasopisma x obliczony dla danego roku
IFy – IF czasopisma y obliczony dla danego roku

Problemy

Zbyt świeży dorobek

Rozporządzenie nie rozstrzyga, co uczynić, gdy część naszego dorobku pochodzi z lat 2012-2013, a najbardziej aktualna wersja Journal Citation Reports zawiera dane za rok 2011.

Wydaje się, że słusznym rozwiązaniem będzie przyjęcie (dla tych publikacji) najbardziej aktualnego IF. W standardowej sytuacji i tak cytowania artykułu nie mają wpływu na wartość podawanego we wzorze IF…

Bibliografia

Nowak, P. (2006). Bibliometria. Webometria. Podstawy. Wybrane zastosowania. Poznań: Wydawnictwo Naukowe UAM.

Zdjęcie: Frog Math Workjobs przez Evelyn Saenz (Creative Commons Uznanie autorstwa)

Ewa A. Rozkosz

Wpisy

Edukacja informacyjna jest moją pasją i częścią zawodowej codzienności. Balansuję pomiędzy działalnością bibliograficzną, a rynkiem szkoleń. Podglądam nowinki ICT, szukając dobrych praktyk w zakresie wykorzystania nowych technologii w uczeniu się i nauczaniu.

10 odpowiedzi do Sumaryczny Impact Factor – zmora doktora

  1. Jeden z uczestników konferencji SBP w Warszawie opowiedział, że musiał wyliczyć, ile punktów zyska dla uczelni, żeby sfinansowano mu udział. Nie podam nazwiska, bo nie dał mi takiego prawa, a ja nie wiedziałem, że Ewa o tych sprawach napisze.

  2. Witam! A w jaki sposób można sprawdzić, czy dane czasopismo nie straciło Impact Factor? Jest już połowa czerwca 2013 a dostępne są jedynie dane dotyczące IF za rok 2011 to skąd mogę wiedzieć, czy czasopismo, do którego chcę napisać, jeszcze posiada IF? Pozdrawiam Wojtek

    • Najbliższy raport będzie oznaczony rokiem 2012. Wskaźnik wpływu czasopisma obliczony zostanie wg wzoru:

      C(2010) + C(2011)
      —————————————————
      A(n-1) + A(n-2)

      C – liczba cytowań jakie uzyskały w roku 2012 wszystkie artykuły opublikowane w czasopiśmie w latach 2010 oraz 2011
      A – liczba artykułów naukowych, jakie ukazały się w tym czasopiśmie w latach 2010 oraz 2011

      Upewnij się, że czasopismo zdobyło wskazane we wzorze cytowania i tym samym jego IF będzie większy od „0″:

      1) Otwórz stronę Web of Science
      2) W oknie wyszukiwawczym wpisz tytuł czasopisma, zmień indeks na Publication name i kliknij Search
      3) Po lewej stronie ekranu znajdują się filtry, które umożliwiają ograniczenie wyników wyszukiwania. Wybierz filtr Publication Years
      4) Pojawią się wybrane daty, kliknij w more options. Oznacz pola przy roku 2010 i 2011. Kliknij w Refine.
      5) Zastosowanie filtra spowodowało ograniczenie rezultatów do artykułów opublikowanych w latach 2010-2011.
      6) Sprawdź cytowania klikając w Create Citation Report w prawym górnym rogu (tuż nad opisami bibliograficznymi).
      7) Za pomocą grafu lub tabeli odczytaj liczbę cytowań jakie pojawiły się w 2012 r. Będą to wyłącznie cytowania publikacji ze wskazanych lat.

  3. Pani Ewo, jeszcze jedno pytanie, bo chcę mieć pewność. Jeśli artykuł jest wieloautorski, to wkład od IF czasopisma nie jest dzielony na liczbę autorów, prawda? Dla mnie jest to bez sensu, bo może się zdarzyć, że jeśli ktoś jest formalnie współautorem np. takiego artykułu: http://www.sciencedirect.com/science/article/pii/S037026931200857X
    to dolicza sobie coś 4,569 punkta IF (za rok 2012), choć duża szansa, że tego artykułu nawet nie czytał ani przed publikacją, ani po.
    Więc chcę się tylko upewnić, ze taka bezsensowna reguła rzeczywiście działa…

    • Tak, ma Pan racje. Sumaryczny IF oblicza się sumując wartości IF czasopism, w których ukazała się publikacja. Tutaj nie ma znaczenia procentowy wkład w dzieło (w odróżnieniu od wykazu publikacji, który powinien takie informacje posiadać).

      Podzielam Pana krytykę SIF. Bezsensowność tych obliczeń jest taka jak cały wskaźnik SIF.

      • Pani Ewo, mogłaby Pani wyjaśnić, czy JCR 2013 opublikowany w 2014 odnosimy do publikacji z 2014r.? Tak dzieje się z listą ministerialną – wykaz czasopism z grudnia odnosi się do publikacji wydanych w kończącym się roku. Czy IF też odnosimy do tego roku, w którym jest podany, czy do tego, jakim jest oznaczony, czyli zeszłego?

        • Pani Agnieszko,

          w kwestiach dat i oznaczeń nie szukałabym podobieństw pomiędzy dwoma wymienionymi listami: JCR i wykazem czasopism MNiSW.

          IF obliczany jest dla danego roku kalendarzowego. W analizach bibliometrycznych (np. na potrzeby postępowania habilitacyjnego) dla artykułów z roku 2012 należy wziąć IF również z roku 2012.

          Pewne zamieszanie może wprowadzać oznaczenie edycji JCR. Do 2013 r. włącznie edycję oznaczano datą wsteczną. W roku 2013 ukazała się więc edycja 2012 wraz z IF obliczonymi dla roku 2012. W tym roku zmieniono oznaczenie edycji, o czym pisał m.in. Emanuel Kulczycki (zob. Impact factor – edycja 2014). Mamy więc edycję 2014 z wartościami IF za rok 2013. Ta zmiana miała wg mnie jednak tylko charakter marketingowy, gdyż od strony użytkownika końcowego – dokonującego analiz z wykorzystaniem platformy Web of Science – nic się nie zmieniło.

          Przypadek, który Pani opisuje jest szczególny. Nie ma jednoznacznego rozstrzygnięcia (w aktach prawnych), co do tego, jaki IF nadawać publikacjom najnowszym. Gdy publikacja ukazuje się w roku 2014, z przyczyn obiektywnych nie istnieje możliwość podania wartości IF dla tego roku. Dlatego też we wszystkich znanych mi interpretacjach, przyjmuje się, iż dla najnowszych artykułów (do momentu opublikowania nowego IF, zgodnego z rokiem publikacji) stosuje się ostatni IF.

          Mam nadzieję, że udzieliłam odpowiedzi na Pani pytanie.

          Pozdrawiam,
          Ewa Rozkosz

  4. Według mnie, wyrzucony dr z praktyką, nie muszący pisać coś tam z IF ( jak był potrzebny o Żadnych IF-ach nic nie mówiono ) Przyjeżdżał lub przychodzxił do domu po wykładach ze 160 osobową grupą lub 4×30. Obrał temat terenowy, laboratorium t6o słoik we wspólnym gabinefcie. Odciąć należy pracowników w Extra laboratoriów ( mogą wkrótce być puste ( jak na Morasku )
    To inna sprawa. Jednak wałkuje się rzecz humaniści a nauki ścisłe, ( genetyka=próbówka, a teren, przyrosty drzew )Ponadto liczmy inaczej od zatrudnionych z chwilą wprowadzenia =, nieporozumienia = dzikich IF-ów Nie każdy kto był dobrym wykładowcą musiał wykonywać habilitację. Jest tam w Ministerstwie, ale…..chyba jak w Opolu. Jak nie ma koho uczyć to tnie się serce wykładowców. Nie każda szkoła to probówka z extra laboratorium, Nie mówię już o N-15 lat możliwości staży naukowych i napisania tam 50 % przez ” kolegę po fachu „A, czemuż, jest 1 autor polski i 3 Zagranicznych.Ja musiałem kombinować jeszcze zaproszenie, a mogłem nie wrócić i basta. Po co ? Prawie w każdym wysokoi mpactorowym czasopiśmie.Rozgoryczony już 60+, na bruku do tej pory anonimowy

Trackback i Pingback

  1. Informacje dla fachowców w turystyce. 2013.06.10 | Konfraternia Turystyczna - 10 czerwca 2013

    [...] kryteriów: sumaryczny impact factor. […] Ewa Rozkosz ● Cały artykuł znajdziesz na portalu: Edukacja informacyjna, data dostępu [...]

  2. Subiektywnie dobrane informacje dla fachowców w turystyce. 2013.06.17 | Konfraternia Turystyczna - 18 czerwca 2013

    [...] Impact Factor – interpretacje Centralnej Komisji W ostatnim wpisie przedstawiłam sumaryczny impact factor, jeden ze wskaźników, za pomocą którego oceniany jest [...]

Dodaj komentarz

*

Dostępne są wybrane znaczniki HTML. <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <strike> <strong>