Rekommendationer för användning av bibliometriska indikatorer i bedömning av enskilda forskares publikationer
Denna sida är ett diariefört dokument från 2013-03-05 (Dnr 2-1242/2013) som har tillgängliggjorts som webbversion. I och med att informationen på sidan är samma som i originalet kan t.ex. logotyper och kontaktuppgifter vara inaktuella. Dokumentet i originalversion finns tillgängligt som pdf via länk i botten på sidan.
Forskningsstrategiska kommittén
FOUU-Samverkan
Dnr 2-1242/2013
2013-03-05
Version 1.0
- Vid tolkning av en bibliometrisk analys på individnivå bör granskaren alltid beakta viss bakgrundsinformation om personen och dennes publikationer
- personens aktiva forskningstid och antalet publikationer
- vilket ämnesområde personen är aktiv inom
- om personen huvudsakligen har publicerat sig i breda tidskrifter eller i snäva, ämnesspecifika tidskrifter
- att bra bibliometriska indikatorer ofta kan identifiera god kvalitet, men inte nödvändigtvis tvärtom
- huruvida personen varit huvudansvarig för viktiga arbeten
- om en stor andel av de högciterade artiklarna kan anses vara översiktsartiklar eller någon annan publikationstyp som systematiskt kan förväntas få fler citeringar än reguljära originalartiklar
- eventuell förekomst av negativa citeringar eller en hög grad av självcitering
- En lämplig uppsättning bibliometriska mått för bedömning av enskilda forskares publikationer är
- Antal publikationer
- Summa Journal Impact Factor
- Antal publikationer bland världens 5% mest citerade publikationer, fältnormerat
- Medelcitering för de 5, 10 eller 15 mest högciterade publikationerna
- Medel-Journal Impact Factor (JIF) för individens 5, 10 eller 15 artiklar med högst JIF
- Fältnormerad tidskriftsciteringsgrad (JCf) i snitt för individens 5, 10 eller 15 artiklar med högst JCf
- En analys med nivåindelningar istället för indikatorvärden är att föredra eftersom skillnaden mellan individer i indikatorvärde måste vara relativt stor för att betyda något.
- Om bibliometriska mått skall användas för bedömning av enskilda individer eller grupper bör dessa antingen ge sitt godkännande eller uppmanas att skicka in materialet själva.
De senaste åren har en tydlig ökning skett, nationellt och internationellt, när det gäller användningen av bibliometri. Det har blivit en etablerad metod för att, genom statistiska analyser på publikationsdata, analysera kvantitet och kvalitet på forskningsoutput. På större mängder publikationer har höga bibliometriska indikatorer visat sig överensstämma med bra betyg från expertpaneler. Metoderna är dock mindre lämpliga för bedömning av enstaka individer eller mindre grupper. Det är ovanligt att dessa uppnår en publikationsmängd tillräcklig för att resultaten ska bli pålitliga och stabila.
Vid Karolinska Institutet/SLL finns möjlighet för samtliga anställda att beställa analyser ur organisationens eget bibliometrisystem. Syftet med bibliometrisystemet är
- att tillhandahålla kartläggningar av Karolinska Institutets/SLL:s forskningsoutput samt verktyg för att jämföra den med resten av världen
- att man som enskild forskare ska kunna förbättra sin genomslagskraft
- att leverera underlag för resursfördelning till institutioner/kliniker inom Karolinska Institutet/SLL
Med god kännedom om de begränsningar som finns på individnivå, så kan vissa bibliometriska mått även användas som komplement till en okulärbesiktning av en persons publikationslistor. Då det kan vara svårt för forskaren själv att hitta dessa mått för sina publikationer i databaser som t.ex. Thomson Reuters Web of Science finns en fördel med att de istället kan hämta data ur det lokala bibliometrisystemet, även om majoriteten av måtten går att ta fram även ur mer offentligt tillgängliga system.
Indikatorer möjliga att använda på individnivå
Om bibliometriska mått skall användas för bedömning av enskilda individer eller grupper bör dessa antingen ge sitt godkännande eller uppmanas att skicka in materialet själva.
I de fall man önskar begära in bibliometriska mått från individer inom Karolinska Institutet/SLL rekommenderas måtten
- Antal publikationer1
- Summa Journal Impact Factor2
- Antal publikationer bland världens 5% mest citerade, fältnormerat3
- Medelcitering för de 5, 10 eller 15 mest högciterade publikationerna4
- Medel-Journal Impact Factor (JIF) för individens 5, 10 eller 15 artiklar med högst JIF5
- Fältnormerad tidskriftsciteringsgrad (JCf) i snitt för individens 5, 10 eller 15 artiklar med högst JCf6
Sammansättningen av ovanstående mått ger en balans mellan mått på tidskriftsnivå och artikelnivå, storleksberoende och -oberoende mått, samt fältnormerade mått och ”råa” citeringstal och belyser därför flera aspekter av individens publiceringsmönster.
Det är inte lämpligt att beräkna medelvärden på hela publikationsmängden för enskilda forskare, då det skulle ge oönskade incitament för publicering och verifiering. Däremot kan det vara av intresse att titta på medelvärdet för individens 5, 10 eller 15 högsta indikatorvärden för varje enskild indikator för att identifiera huruvida forskaren har potential att producera t.ex. mycket välciterade publikationer. När sambandet mellan kollegial granskning och bibliometriska mått på individ-/gruppnivå studeras visar det sig dessutom att den extra information som kan utläsas av medelvärden på hela mängden är liten. Om man ska använda 5, 10 eller 15 publikationer i urvalet för medelvärdesindikatorer beror på det förväntade antalet publikationer i personens publikationslista. Om det inte rör sig om mycket produktiva forskare brukar 5 vara ett lämpligt antal.
För en mer fullständig bibliometrisk bild kan man även komplettera med ett eller flera av måtten
- Totalt antal citeringar för individens artiklar7
- Genomsnittlig fältnormerad citeringspercentil (Perc Cf) för individens 5, 10 eller 15 artiklar med högst Perc Cf8
- Summa fältnormerad citeringspercentil (Perc Cf) för individens samtliga analyserade artiklar9
I vissa fall kan man önska indikatorer på individuella publikationer i en persons lista. Lämpliga mått är då antal citeringar och senast kända Journal Impact Factor för den tidskrift artikeln är publicerad i.
Granskare bör ta de bibliometriska måtten i beaktande först efter att en traditionell granskning av CV och publikationslista har gjorts, då avsikten med ett bibliometriskt inslag i en bedömning av individer bör vara att komma med kompletterande information till det som redan är känt genom ansökan.
H-index
H-index är ett uppmärksammat mått som har som primärt syfte att illustrera en enskild forskares impact. Det har fördelen att det är relativt enkelt för den enskilde forskaren att ta fram, men är å andra sidan svårt att tolka korrekt. Det finns ett inbyggt bias till fördel för forskare med lång karriär och inom högciterade områden. Dessutom ligger värdet stabilt, eller till och med ökar, även för personer som helt slutat publicera sig eller som de senaste åren haft en lågciterad produktion. Vissa försök att få indikatorn att ta hänsyn till dessa faktorer har gjorts, men för närvarande överväger fördelarna med en kombination av de mer avancerade bibliometriska måtten.
Tidsperiod för analys
Bibliometrisystemet innehåller data från 1995- och kan därför inte täcka hela den aktiva perioden för mer erfarna forskare. Oftast är det dock de senaste årens forskning som man önskar skaffa sig en överblick av. En 10-årsperiod brukar vara lämplig på individnivå för att antalet publikationer som analyseras inte ska bli för litet. För mer produktiva forskare kan en 5-årsperiod vara aktuell. Citeringsindikatorerna är inte rättvisande förrän tidigast ett år efter publicering och flera indikatorer utgår därför för de senaste 1-2 åren.
Tidsintervallet mellan när artiklar från skilda tidskrifter publiceras till de kommer in i Web of Science skiljer sig mycket åt mellan olika tidskrifter. Det är därför i de flesta fall olämpligt att ta med innevarande år även vid beräkning av övriga indikatorer.
Dokumenttyper för analys
Det finns en internationell konsensus om att det framför allt är originalartiklar (Articles) och översiktsartiklar (Reviews) som ska ingå i bibliometriska citeringsanalyser, och att dessa i fältnormerade indikatorer ska behandlas var för sig.10 Så ser också standarden ut för de analyser som levereras ur bibliometrisystemet.
Faktorer som påverkar bedömningen av bibliometriska analysresultat
Vid bedömningen av en bibliometrisk analys på individnivå bör man alltid ta i beaktande
- personens aktiva forskningstid och antalet publikationer – ett stort antal publikationer ger större möjlighet att få höga värden, även på medelvärdesmåtten
- vilket ämnesområde personen är aktiv inom – citeringsmönstret varierar kraftigt mellan olika discipliner. Till stöd för detta kan man titta på tidskriftskategorier och/eller MeSH-termer.
- om personen huvudsakligen har publicerat sig i breda tidskrifter eller i snäva, ämnesspecifika tidskrifter (eftersom detta påverkar balansen mellan JCf och JIF)
- att bra bibliometriska indikatorer ofta kan identifiera god kvalitet, men inte nödvändigtvis tvärtom
- huruvida personen varit huvudansvarig för viktiga arbeten
- om en stor andel av de högciterade artiklarna kan anses vara översiktsartiklar eller någon annan publikationstyp som systematiskt kan förväntas få fler citeringar än reguljära originalartiklar
- eventuell förekomst av negativa citeringar11 eller en hög grad av självcitering
Dessa faktorer tas inte alls, eller bara delvis, hänsyn till i befintliga bibliometriska metoder.
1 Ur bibliometrisystemet kan fås av författaren verifierade publikationer 1995- från Web of Science och Medline.
2 Enbart tillgänglig för tidskrifter som täcks av Thomson Reuters Web of Science. Impact-faktorn omgenereras årligen för varje enskild tidskrift, och Inom KI är standarden att nyttja senast kända impact-faktor för den tidskrift artikeln är publicerad i vid bibliometriska analyser.
3 Kan enbart fås för publikationer verifierade i Karolinska Institutets bibliometridatabas som baseras på data från Thomson Reuters Web of Science 1995-.
4 Man bör vara medveten om att citeringssiffror går att få ur ett fåtal olika citeringsdatabaser och att underlaget skiljer sig mellan dessa. Vid Karolinska Institutet/SLL är Web of Science från Thomson Reuters i dagsläget förstahandsval.
5 Enbart tillgänglig för tidskrifter som täcks av Thomson Reuters Web of Science. Impact-faktorn omgenereras årligen för varje enskild tidskrift, och Inom KI är standarden att nyttja senast kända impact-faktor för den tidskrift artikeln är publicerad i vid bibliometriska analyser.
6 Kan enbart fås för publikationer verifierade i Karolinska Institutets bibliometridatabas som baseras på data från Thomson Reuters Web of Science 1995-.
7 Man bör vara medveten om att citeringssiffror går att få ur ett fåtal olika citeringsdatabaser och att underlaget skiljer sig mellan dessa. Vid Karolinska Institutet/SLL är Web of Science från Thomson Reuters i dagsläget förstahandsval.
8 Kan enbart fås för publikationer verifierade i Karolinska Institutets bibliometridatabas som baseras på data från Thomson Reuters Web of Science 1995-.
9 Kan enbart fås för publikationer verifierade i Karolinska Institutets bibliometridatabas som baseras på data från Thomson Reuters Web of Science 1995-.
10 Det är inte alltid som man i olika databaser, eller i kontakten mellan forskare och databasvärd, är överens om huruvida en publikation är en originalartikel eller t.ex. ett ”letter”. För vissa indikatorer kan fler dokumenttyper räknas med utan negativa konsekvenser, men för genomsnittliga värden bör man alltid begränsa sig till dokumenttyperna Article och Review. För t.ex. indikatorn Summa citeringar kan även publikationstypen Letter bli aktuell. Man bör dock vara medveten om att även publikationer som i tidskriften anges som ett letter (t.ex. i Physical Review letters eller Nature) som regel klassificeras i databaserna som en originalartikel och därmed räknas som en sådan i bibliometriska analyser.
11 En negativ citering är när den citerande artikeln av en eller annan anledning motsäger vad som står i den citerade artikeln.
Hans-Gustaf Ljungren
Dekanus
Styrelsen för forskning
Karolinska Institutet
Jan-Inge Henter
FoU-direktör
Karolinska Universitetssjukhuset
Denna sida är ett diariefört dokument från 2013-03-05 (Dnr 2-1242/2013) som har tillgängliggjorts som webbversion. I och med att informationen på sidan är samma som i originalet kan t.ex. logotyper och kontaktuppgifter vara inaktuella. Dokumentet i originalversion finns tillgängligt som pdf via länk i botten på sidan.
Om du vill att vi ska kontakta dig angående din feedback, var god ange dina kontaktuppgifter i formuläret nedan