Google Scholar – recall revisited

Finns alla vetenskapliga artiklar i Google Scholar? Nej, inte alls hävdar författarna till “The comparative recall of Google Scholar versus Pubmed in identical searches for biomedical systematic reviews” 1. Google Scholar är bara mariginellt mer heltäckande än Pubmed, men skiljer ut sig med sämre sökmöjligheter.

För knappt ett år sedan rapporterade vi här i bloggen om en vetenskaplig artikel 2 som hävdade att Google Scholar kan användas som enda källa för systematiska översikter. Orsaken var den höga siffran för recall, alltså hur stor andel av de relevanta referenserna som täcks in. Vi skrev också om precisionen hos sökningar. Precisionen är ett mått för förhållandet mellan relevanta och irrelevanta artiklar i sökresultatet. Vid 50 % precision är till exempel hälften av de träffar man fått relevanta. I Gehannos artikel var precisionen mycket låg, under 0,1 %.

Vad har hänt sedan dess? Artikeln har väckt ganska stor uppmärksamhet, kommenterats i bloggar och kritiserats i ett antal andra artiklar. En del av debatten har gällt artikelns väg fram till publicering. Två granskare kom till helt olika slutsats, men artikeln publicerades ändå

Artikeln har också följts av andra studier som använt liknande metoder. Giustini et al. visar att det är en helt annan process att söka efter artiklar man redan känner till än att göra ämnessökningar för att hitta okända relevanta artiklar 3. Författarna utgår precis som i den ursprungliga artikeln från de originalartiklar som inkluderats i en systematisk översikt. De lyckas bra med att hitta artiklarna när de söker upp dem en och en, men de lyckas inte konstruera en fungerande sökstrategi som ger ett hanterbart resultat och samtidigt inkluderar de eftersökta artiklarna. Boeker et al. utgår likaså från originalartiklar i systematiska översikter 4. Deras sökstrategier resulterar i att 93 % av artiklarna i de 14 systematiska översikterna återfinns. Precisionen är 0,13 %. Författarna kritiserar i sin artikel framför allt de bristande möjligheter till avancerad sökning och hantering av sökresultaten i Google Scholar, och menar att dessa brister är allvarligare än den låga precision som deras studie visar.


Sökningen gav 3902 träffar, men efter 100 sidor med 10 träffar på varje tar träfflistan i Google Scholar slut. Du har troligen aldrig bläddrat så långt att detta spelat någon roll, men om man ska beräkna Google Scholars recall kan det vara avgörande.

Sökningen gav 3902 träffar, men efter 100 sidor med 10 träffar på varje tar träfflistan i Google Scholar slut. Du har troligen aldrig bläddrat så långt att detta spelat någon roll, men om man ska beräkna Google Scholars recall kan det vara avgörande.

Bramer et al. menar att ovanstående artiklar har missat en viktig begränsning hos Google Scholar 1. Google Scholars recall är i teorin hög. Men i praktiken finns en begränsning till de 1000 referenser som kommer först i träfflistan. Hur ser siffrorna för recall och precision ut beräknat på dessa referenser? Författarna utgår från 21 systematiska översikter där både Pubmed och Google Scholar har använts och där sökstrategier och antalet träffar har redovisats. När begränsningen till de 1000 första referenserna i Google Scholar tas i beaktande blir siffrorna för recall i Google Scholar betydligt lägre och faktiskt inte så mycket högre än Pubmeds: 72 % av originalartiklarna i de systematiska översikterna återfinns i Google Scholar och 68 % i Pubmed. Utifrån detta drar Bramer et al slutsatsen att det inte alls finns någon grund för att lyfta fram Google Scholar som en databas som täcker allt och kan användas som enda källa för systematiska översikter.

Å andra sidan blir Google Scholars precision också betydligt högre när bara de 1000 första träffarna i sökresultatet tas med i beräkningen: 1, 9 % i genomsnitt jämfört med 0,1 % som stickprov i den ursprungliga artikeln visade. Eftersom ambitionen i systematiska översikter är att inkludera alla relevanta artiklar är sökstrategierna ofta breda och uttömmande med en ganska låg precision. Enligt Sampson et al. är precisionen för en sökstrategi i en systematisk översikt i genomsnitt 2,9 % 5, så 1,9 % står sig inte så dåligt.

Bramer et al. ger alltså en annan bild av Google Scholar än de övriga refererade artiklarna. Deras resultat påvisar bättre recall och sämre precision i Google Scholar än i Pubmed, men inte på något avgörande sätt. Det finns stora skillnader mellan Google Scholar och databaser som Pubmed, men de ligger snarare i databasernas struktur och funktioner. Bristen på kontrollerad vokabulär och avancerade sökfunktioner i Google Scholar gör det svårare både att göra precisa, fokuserade sökningar och att göra breda, uttömmande sökningar. Det senare visade sig i den andra delen av Bramer et als studie. De identifierade de sökstrategier som gav sämst recall i Google Scholar respektive Pubmed och försökte förbättra dem. I Pubmed var recall för de sju sökstrategier som lyckades sämst 61 %. I de förbättrade sökstrategierna hade siffran stigit till 85 %. I Google Scholar var den genomsnittliga recall för de fem sämsta sökstrategierna 53 %. De förbättrade sökstrategierna gav recall på 66 %.

Bramer et al. menar också att bristen på sökhistorik och möjligheter att exportera mer än en referens i taget gör det svårt att hantera sökresultat. Eftersom Google Scholar inte redovisar vilka webbplatser och databaser som inkluderas, och inte heller hur rankningen sker blir det svårt att värdera sökresultat. Innehållet och rankningen kan variera över tid, vilket gör det svårt att reproducera ett sökresultat.

Den stora täckningen, den ofta effektiva rankningen och det enkla och välbekanta gränssnittet gör förstås ändå Google Scholar till en databas att räkna med – även för systematiska översikter. Men fortfarande inte som en ersättning för andra databaser utan som ett komplement.

Detta blogginlägg publicerades ursprungligen i bibliotekets gamla blogg C/O KIB 27 januari 2014. 

  1. Bramer WM, Giustini D, Kramer BM, Anderson P. The comparative recall of Google Scholar versus PubMed in identical searches for biomedical systematic reviews: a review of searches used in systematic reviews. Syst Rev. 2013 Dec 23;2(1):115. doi: 10.1186/2046-4053-2-115.
  2. Gehanno J-F, Laetitia R, Darmoni, S. Is the coverage of Google Scholar enough to be used alone for systematic reviews. BMC Med Inform Decis Mak. 2013 Jan 9;13:7. doi: 10.1186/1472-6947-13-7
  3. Giustini D, Bouols, MN. Google Scholar is not enough to be used alone for systematic reviews. Online J Public Health Inform. 2013; 5(2): 214. doi: 10.5210/ojphi.v5i2.4623
  4. Boeker M, Vach W, Motschall E. Google Scholar as replacement for systematic literature searches: good relative recall and precision are not enough. BMC Med Res Methodol. 2013 Oct 26;13(1):131
  5. Sampson M, Tetzlaff J, Urquhart C. Precision of healthcare systematic review searches in a cross-sectional sample. Res Synth Method. 2011;2: 119–125. doi: 10.1002/jrsm.42

Magdalena Svanberg (tjl.)

Bibliotekarie som handleder och undervisar studenter på alla nivåer. Är också del av bibliotekets sökargrupp.