Rekommendationer för användning av bibliometriska indikatorer i bedömning av enskilda forskares publikationer

Denna sida är ett diariefört dokument från 2013-03-05 (Dnr 2-1242/2013) som har tillgängliggjorts som webbversion. I och med att informationen på sidan är samma som i originalet kan t.ex. logotyper och kontaktuppgifter vara inaktuella. Dokumentet i originalversion finns tillgängligt som pdf via länk i botten på sidan.

Forskningsstrategiska kommittén

FOUU-Samverkan

Dnr 2-1242/2013
2013-03-05
Version 1.0

  • Vid tolkning av en bibliometrisk analys på individnivå bör granskaren alltid beakta viss bakgrundsinformation om personen och dennes publikationer
    • personens aktiva forskningstid och antalet publikationer
    • vilket ämnesområde personen är aktiv inom
    • om personen huvudsakligen har publicerat sig i breda tidskrifter eller i snäva, ämnesspecifika tidskrifter
    • att bra bibliometriska indikatorer ofta kan identifiera god kvalitet, men inte nödvändigtvis tvärtom
    • huruvida personen varit huvudansvarig för viktiga arbeten
    • om en stor andel av de högciterade artiklarna kan anses vara översiktsartiklar eller någon annan publikationstyp som systematiskt kan förväntas få fler citeringar än reguljära originalartiklar
    • eventuell förekomst av negativa citeringar eller en hög grad av självcitering

 

  • En lämplig uppsättning bibliometriska mått för bedömning av enskilda forskares publikationer är
    • Antal publikationer
    • Summa Journal Impact Factor
    • Antal publikationer bland världens 5% mest citerade publikationer, fältnormerat
    • Medelcitering för de 5, 10 eller 15 mest högciterade publikationerna
    • Medel-Journal Impact Factor (JIF) för individens 5, 10 eller 15 artiklar med högst JIF
    • Fältnormerad tidskriftsciteringsgrad (JCf) i snitt för individens 5, 10 eller 15 artiklar med högst JCf

 

  • En analys med nivåindelningar istället för indikatorvärden är att föredra eftersom skillnaden mellan individer i indikatorvärde måste vara relativt stor för att betyda något.

 

  • Om bibliometriska mått skall användas för bedömning av enskilda individer eller grupper bör dessa antingen ge sitt godkännande eller uppmanas att skicka in materialet själva.

De senaste åren har en tydlig ökning skett, nationellt och internationellt, när det gäller användningen av bibliometri. Det har blivit en etablerad metod för att, genom statistiska analyser på publikationsdata, analysera kvantitet och kvalitet på forskningsoutput. På större mängder publikationer har höga bibliometriska indikatorer visat sig överensstämma med bra betyg från expertpaneler. Metoderna är dock mindre lämpliga för bedömning av enstaka individer eller mindre grupper. Det är ovanligt att dessa uppnår en publikationsmängd tillräcklig för att resultaten ska bli pålitliga och stabila.
Vid Karolinska Institutet/SLL finns möjlighet för samtliga anställda att beställa analyser ur organisationens eget bibliometrisystem. Syftet med bibliometrisystemet är

  • att tillhandahålla kartläggningar av Karolinska Institutets/SLL:s forskningsoutput samt verktyg för att jämföra den med resten av världen
  • att man som enskild forskare ska kunna förbättra sin genomslagskraft
  • att leverera underlag för resursfördelning till institutioner/kliniker inom Karolinska Institutet/SLL

Med god kännedom om de begränsningar som finns på individnivå, så kan vissa bibliometriska mått även användas som komplement till en okulärbesiktning av en persons publikationslistor. Då det kan vara svårt för forskaren själv att hitta dessa mått för sina publikationer i databaser som t.ex. Thomson Reuters Web of Science finns en fördel med att de istället kan hämta data ur det lokala bibliometrisystemet, även om majoriteten av måtten går att ta fram även ur mer offentligt tillgängliga system.

Indikatorer möjliga att använda på individnivå

Om bibliometriska mått skall användas för bedömning av enskilda individer eller grupper bör dessa antingen ge sitt godkännande eller uppmanas att skicka in materialet själva.

I de fall man önskar begära in bibliometriska mått från individer inom Karolinska Institutet/SLL rekommenderas måtten

  • Antal publikationer1
  • Summa Journal Impact Factor2
  • Antal publikationer bland världens 5% mest citerade, fältnormerat3
  • Medelcitering för de 5, 10 eller 15 mest högciterade publikationerna4
  • Medel-Journal Impact Factor (JIF) för individens 5, 10 eller 15 artiklar med högst JIF5
  • Fältnormerad tidskriftsciteringsgrad (JCf) i snitt för individens 5, 10 eller 15 artiklar med högst JCf6

Sammansättningen av ovanstående mått ger en balans mellan mått på tidskriftsnivå och artikelnivå, storleksberoende och -oberoende mått, samt fältnormerade mått och ”råa” citeringstal och belyser därför flera aspekter av individens publiceringsmönster.
Det är inte lämpligt att beräkna medelvärden på hela publikationsmängden för enskilda forskare, då det skulle ge oönskade incitament för publicering och verifiering. Däremot kan det vara av intresse att titta på medelvärdet för individens 5, 10 eller 15 högsta indikatorvärden för varje enskild indikator för att identifiera huruvida forskaren har potential att producera t.ex. mycket välciterade publikationer. När sambandet mellan kollegial granskning och bibliometriska mått på individ-/gruppnivå studeras visar det sig dessutom att den extra information som kan utläsas av medelvärden på hela mängden är liten. Om man ska använda 5, 10 eller 15 publikationer i urvalet för medelvärdesindikatorer beror på det förväntade antalet publikationer i personens publikationslista. Om det inte rör sig om mycket produktiva forskare brukar 5 vara ett lämpligt antal.

För en mer fullständig bibliometrisk bild kan man även komplettera med ett eller flera av måtten

  • Totalt antal citeringar för individens artiklar7
  • Genomsnittlig fältnormerad citeringspercentil (Perc Cf) för individens 5, 10 eller 15 artiklar med högst Perc Cf8
  • Summa fältnormerad citeringspercentil (Perc Cf) för individens samtliga analyserade artiklar9

I vissa fall kan man önska indikatorer på individuella publikationer i en persons lista. Lämpliga mått är då antal citeringar och senast kända Journal Impact Factor för den tidskrift artikeln är publicerad i.
Granskare bör ta de bibliometriska måtten i beaktande först efter att en traditionell granskning av CV och publikationslista har gjorts, då avsikten med ett bibliometriskt inslag i en bedömning av individer bör vara att komma med kompletterande information till det som redan är känt genom ansökan.

H-index

H-index är ett uppmärksammat mått som har som primärt syfte att illustrera en enskild forskares impact. Det har fördelen att det är relativt enkelt för den enskilde forskaren att ta fram, men är å andra sidan svårt att tolka korrekt. Det finns ett inbyggt bias till fördel för forskare med lång karriär och inom högciterade områden. Dessutom ligger värdet stabilt, eller till och med ökar, även för personer som helt slutat publicera sig eller som de senaste åren haft en lågciterad produktion. Vissa försök att få indikatorn att ta hänsyn till dessa faktorer har gjorts, men för närvarande överväger fördelarna med en kombination av de mer avancerade bibliometriska måtten.

Tidsperiod för analys

Bibliometrisystemet innehåller data från 1995- och kan därför inte täcka hela den aktiva perioden för mer erfarna forskare. Oftast är det dock de senaste årens forskning som man önskar skaffa sig en överblick av. En 10-årsperiod brukar vara lämplig på individnivå för att antalet publikationer som analyseras inte ska bli för litet. För mer produktiva forskare kan en 5-årsperiod vara aktuell. Citeringsindikatorerna är inte rättvisande förrän tidigast ett år efter publicering och flera indikatorer utgår därför för de senaste 1-2 åren.
Tidsintervallet mellan när artiklar från skilda tidskrifter publiceras till de kommer in i Web of Science skiljer sig mycket åt mellan olika tidskrifter. Det är därför i de flesta fall olämpligt att ta med innevarande år även vid beräkning av övriga indikatorer.

Dokumenttyper för analys

Det finns en internationell konsensus om att det framför allt är originalartiklar (Articles) och översiktsartiklar (Reviews) som ska ingå i bibliometriska citeringsanalyser, och att dessa i fältnormerade indikatorer ska behandlas var för sig.10 Så ser också standarden ut för de analyser som levereras ur bibliometrisystemet.

Faktorer som påverkar bedömningen av bibliometriska analysresultat

Vid bedömningen av en bibliometrisk analys på individnivå bör man alltid ta i beaktande

  • personens aktiva forskningstid och antalet publikationer – ett stort antal publikationer ger större möjlighet att få höga värden, även på medelvärdesmåtten
  • vilket ämnesområde personen är aktiv inom – citeringsmönstret varierar kraftigt mellan olika discipliner. Till stöd för detta kan man titta på tidskriftskategorier och/eller MeSH-termer.
  • om personen huvudsakligen har publicerat sig i breda tidskrifter eller i snäva, ämnesspecifika tidskrifter (eftersom detta påverkar balansen mellan JCf och JIF)
  • att bra bibliometriska indikatorer ofta kan identifiera god kvalitet, men inte nödvändigtvis tvärtom
  • huruvida personen varit huvudansvarig för viktiga arbeten
  • om en stor andel av de högciterade artiklarna kan anses vara översiktsartiklar eller någon annan publikationstyp som systematiskt kan förväntas få fler citeringar än reguljära originalartiklar
  • eventuell förekomst av negativa citeringar11 eller en hög grad av självcitering

Dessa faktorer tas inte alls, eller bara delvis, hänsyn till i befintliga bibliometriska metoder.

Hans-Gustaf Ljungren

Dekanus

Styrelsen för forskning

Karolinska Institutet

Jan-Inge Henter

FoU-direktör

Karolinska Universitetssjukhuset

Brevhuvud för forskningsstrategiska kommittén från 2015. Innehåller logotype för Karolinska Institutet och Stockholms läns landsting.

Denna sida är ett diariefört dokument från 2013-03-05 (Dnr 2-1242/2013) som har tillgängliggjorts som webbversion. I och med att informationen på sidan är samma som i originalet kan t.ex. logotyper och kontaktuppgifter vara inaktuella. Dokumentet i originalversion finns tillgängligt som pdf via länk i botten på sidan.

Senast uppdaterad: 2021-12-07