"The Leiden Manifesto" – tio principer för bättre forskningsutvärdering

Som forskare blir din forskning regelbundet och i olika sammanhang utvärderad med hjälp av bibliometri. Men hur tillförlitliga är de bibliometriska metoderna? Tillämpas de på ett korrekt sätt? Och har de måhända en tendens att övertolkas?

En skepsis mot bibliometri finns bland många forskare – men nu finns gedigna rekommendationer publicerade, förpackade i ett manifest om tio riktlinjer! 

The Leiden Manifesto for Research Metrics from Diana Hicks on Vimeo.

I april i år lanserades The Leiden Manifesto for research metrics, publicerat i Nature, och författat av fem namnkunniga forskare som på ett eller annat sätt sysslar med forskningsutvärdering. Namnet kommer från att manifestet utarbetades och fastställdes på STI-konferensen i Leiden 2014. Vid universitetet i Leiden hittar man även CWTS som är ett världsledande forskningscentrum inom bibliometri.

Men varför skriva ett manifest inom ett ämne som kvantitativ forskningsutvärdering?

Enligt författarna ser problembilden ut enligt följande: Kvantitativa metoder för utvärdering av forskning, till exempel bibliometri, har blivit en integrerad och självklar del av forskningssamhället idag och används av beslutsfattare på olika nivåer för att bedöma forskningskvalitet. Samtidigt tillämpas bibliometri i många fall okritiskt och utan insikt om dess metodologiska begränsningar.

Som de själva pregnant sammanfattar det:

"Metrics have proliferated: usually well intentioned, not always well informed, often ill applied."

Därför har de nu formulerat en checklista i tio punkter som på utmärkt sätt sammanfattar hur kvantitativ forskningsutvärdering bör användas och vilka fallgropar man bör se upp med.

"We offer this distillation of best practice in metrics-based research assessment so that researchers can hold evaluators to account, and evaluators can hold their indicators to account."

Hur ser det då ut på Karolinska Institutet och Stockholms läns landsting, som har en gemensam modell för att använda bland annat bibliometri för utvärdering och vid resursfördelning? Följer vi den "best practice" som rekommenderas i manifestet?

Jag ställer tre frågor till Catharina Rehn, samordnare för bibliometriverksamheten på universitetsbiblioteket:

1. Vad tycker du om manifestet i allmänhet?

Vi var med på konferensen där manifestet hade sin början och det fanns ett stort konsensus kring riktlinjerna. Punkterna är egentligen inte några nyheter eller särskilt kontroversiella för en bibliometriker, men jag tycker att det är ett bra initiativ att på ett relativt lättillgängligt sätt sammanställa principerna. Det kommer till allt fler som vill ta fram eller använda bibliometriska metoder och resultat, och som nybörjare är det bra att ha något att luta sig mot.

2. Följer vi de tio principerna i manifestet när forskningen vid KI och SLL utvärderas?

Ja, det tycker jag. När det gäller de analyser som utförs med hjälp av bibliometrisystemet på universitetsbiblioteket så har vi i många år haft egna principer helt i linje med de som listas i manifestet, och jag upplever att vi har bra gehör för det hos såväl beställare som styrgrupp.

3. Till sist, vad ser du som den stora utmaning för bibliometrin framöver?

Bibliometriska metoder är, och måste vara, i ständig förändring och det finns mycket som behöver göras för att förbättra metoder och indikatorer. Men jag tror att den största utmaningen är det blir mer allmänt känt hur bibliometri kan och bör användas på ett nyanserat och ändamålsenligt sätt, och att i förlängningen forskarsamhället kan förstå och känna förtroende för hur deras output mäts och analyseras. Leiden-manifestet är definitivt av stort värde i det sammanhanget.

Hicks D, Wouters P, Waltman L, de Rijcke S, Rafols I. Bibliometrics: The Leiden Manifesto for research metrics. Nature. 2015 Apr 23;520(7548):429-31.

Carl Gornitzki

Bibliotekarie som sysslar med forskarstöd i olika former. Ansvarar för KIB:s sökuppdragsverksamhet. Undervisar på läkarprogrammet.