Rekommendationer för användning av bibliometriska indikatorer i bedömning av enskilda forskares publikationer

Forskningsstrategiska kommittén

FOUU-Samverkan

Dnr 2-1242/2013
2013-03-05
Version 1.0

De senaste åren har en tydlig ökning skett, nationellt och internationellt, när det gäller användningen av bibliometri. Det har blivit en etablerad metod för att, genom statistiska analyser på publikationsdata, analysera kvantitet och kvalitet på forskningsoutput. På större mängder publikationer har höga bibliometriska indikatorer visat sig överensstämma med bra betyg från expertpaneler. Metoderna är dock mindre lämpliga för bedömning av enstaka individer eller mindre grupper. Det är ovanligt att dessa uppnår en publikationsmängd tillräcklig för att resultaten ska bli pålitliga och stabila.
Vid Karolinska Institutet/SLL finns möjlighet för samtliga anställda att beställa analyser ur organisationens eget bibliometrisystem. Syftet med bibliometrisystemet är

• att tillhandahålla kartläggningar av Karolinska Institutets/SLL:s forskningsoutput samt verktyg för att jämföra den med resten av världen
• att man som enskild forskare ska kunna förbättra sin genomslagskraft
• att leverera underlag för resursfördelning till institutioner/kliniker inom Karolinska Institutet/SLL

Med god kännedom om de begränsningar som finns på individnivå, så kan vissa bibliometriska mått även användas som komplement till en okulärbesiktning av en persons publikationslistor. Då det kan vara svårt för forskaren själv att hitta dessa mått för sina publikationer i databaser som t.ex. Thomson Reuters Web of Science finns en fördel med att de istället kan hämta data ur det lokala bibliometrisystemet, även om majoriteten av måtten går att ta fram även ur mer offentligt tillgängliga system.

Indikatorer möjliga att använda på individnivå

Om bibliometriska mått skall användas för bedömning av enskilda individer eller grupper bör dessa antingen ge sitt godkännande eller uppmanas att skicka in materialet själva.

I de fall man önskar begära in bibliometriska mått från individer inom Karolinska Institutet/SLL rekommenderas måtten

• Antal publikationer¹
• Summa Journal Impact Factor²
• Antal publikationer bland världens 5% mest citerade, fältnormerat³
• Medelcitering för de 5, 10 eller 15 mest högciterade publikationerna⁴
• Medel-Journal Impact Factor (JIF) för individens 5, 10 eller 15 artiklar med högst JIF⁵
• Fältnormerad tidskriftsciteringsgrad (JCf) i snitt för individens 5, 10 eller 15 artiklar med högst JCf⁶

Sammansättningen av ovanstående mått ger en balans mellan mått på tidskriftsnivå och artikelnivå, storleksberoende och -oberoende mått, samt fältnormerade mått och ”råa” citeringstal och belyser därför flera aspekter av individens publiceringsmönster.
Det är inte lämpligt att beräkna medelvärden på hela publikationsmängden för enskilda forskare, då det skulle ge oönskade incitament för publicering och verifiering. Däremot kan det vara av intresse att titta på medelvärdet för individens 5, 10 eller 15 högsta indikatorvärden för varje enskild indikator för att identifiera huruvida forskaren har potential att producera t.ex. mycket välciterade publikationer. När sambandet mellan kollegial granskning och bibliometriska mått på individ-/gruppnivå studeras visar det sig dessutom att den extra information som kan utläsas av medelvärden på hela mängden är liten. Om man ska använda 5, 10 eller 15 publikationer i urvalet för medelvärdesindikatorer beror på det förväntade antalet publikationer i personens publikationslista. Om det inte rör sig om mycket produktiva forskare brukar 5 vara ett lämpligt antal.

För en mer fullständig bibliometrisk bild kan man även komplettera med ett eller flera av måtten

• Totalt antal citeringar för individens artiklar⁷
• Genomsnittlig fältnormerad citeringspercentil (Perc Cf) för individens 5, 10 eller 15 artiklar med högst Perc Cf⁸
• Summa fältnormerad citeringspercentil (Perc Cf) för individens samtliga analyserade artiklar⁹

I vissa fall kan man önska indikatorer på individuella publikationer i en persons lista. Lämpliga mått är då antal citeringar och senast kända Journal Impact Factor för den tidskrift artikeln är publicerad i.
Granskare bör ta de bibliometriska måtten i beaktande först efter att en traditionell granskning av CV och publikationslista har gjorts, då avsikten med ett bibliometriskt inslag i en bedömning av individer bör vara att komma med kompletterande information till det som redan är känt genom ansökan.

H-index

H-index är ett uppmärksammat mått som har som primärt syfte att illustrera en enskild forskares impact. Det har fördelen att det är relativt enkelt för den enskilde forskaren att ta fram, men är å andra sidan svårt att tolka korrekt. Det finns ett inbyggt bias till fördel för forskare med lång karriär och inom högciterade områden. Dessutom ligger värdet stabilt, eller till och med ökar, även för personer som helt slutat publicera sig eller som de senaste åren haft en lågciterad produktion. Vissa försök att få indikatorn att ta hänsyn till dessa faktorer har gjorts, men för närvarande överväger fördelarna med en kombination av de mer avancerade bibliometriska måtten.

Tidsperiod för analys

Bibliometrisystemet innehåller data från 1995- och kan därför inte täcka hela den aktiva perioden för mer erfarna forskare. Oftast är det dock de senaste årens forskning som man önskar skaffa sig en överblick av. En 10-årsperiod brukar vara lämplig på individnivå för att antalet publikationer som analyseras inte ska bli för litet. För mer produktiva forskare kan en 5-årsperiod vara aktuell. Citeringsindikatorerna är inte rättvisande förrän tidigast ett år efter publicering och flera indikatorer utgår därför för de senaste 1-2 åren.
Tidsintervallet mellan när artiklar från skilda tidskrifter publiceras till de kommer in i Web of Science skiljer sig mycket åt mellan olika tidskrifter. Det är därför i de flesta fall olämpligt att ta med innevarande år även vid beräkning av övriga indikatorer.

Dokumenttyper för analys

Det finns en internationell konsensus om att det framför allt är originalartiklar (Articles) och översiktsartiklar (Reviews) som ska ingå i bibliometriska citeringsanalyser, och att dessa i fältnormerade indikatorer ska behandlas var för sig.¹⁰ Så ser också standarden ut för de analyser som levereras ur bibliometrisystemet.

Faktorer som påverkar bedömningen av bibliometriska analysresultat

Vid bedömningen av en bibliometrisk analys på individnivå bör man alltid ta i beaktande

• personens aktiva forskningstid och antalet publikationer – ett stort antal publikationer ger större möjlighet att få höga värden, även på medelvärdesmåtten
• vilket ämnesområde personen är aktiv inom – citeringsmönstret varierar kraftigt mellan olika discipliner. Till stöd för detta kan man titta på tidskriftskategorier och/eller MeSH-termer.
• om personen huvudsakligen har publicerat sig i breda tidskrifter eller i snäva, ämnesspecifika tidskrifter (eftersom detta påverkar balansen mellan JCf och JIF)
• att bra bibliometriska indikatorer ofta kan identifiera god kvalitet, men inte nödvändigtvis tvärtom
• huruvida personen varit huvudansvarig för viktiga arbeten
• om en stor andel av de högciterade artiklarna kan anses vara översiktsartiklar eller någon annan publikationstyp som systematiskt kan förväntas få fler citeringar än reguljära originalartiklar
• eventuell förekomst av negativa citeringar¹¹ eller en hög grad av självcitering

Dessa faktorer tas inte alls, eller bara delvis, hänsyn till i befintliga bibliometriska metoder.