KIB-podden

ALVIN 
Welcome to the KIB podcast, the podcast of the Karolinska Institutet Library. I'm Alvin Gavel, Bibliometric Analyst.

LOVISA
I'm Lovisa Liljegren, Librarian.

ANNA
And I'm Anna Borgström, Writing Instructor.

ALVIN 
This episode is going to be about large language models. Most of it is going to be a discussion where we try to answer questions that the library has received repeatedly from people at Karolinska Institutet. So we have a little stack of questions here that people keep sending to us every once in a while.

LOVISA
Yes, but I think that maybe we can start with, I found this tool called Notebook LM from Google that creates something that sounds like a podcast. You can give it papers, you can give it web pages and so on. So I gave it the staff pages about us. So I gave it a staff page on you, Anna. I gave it a staff page on you, Alvin, and on me. And I think we can listen to the output and then we can talk a little bit about that.

NB1
You mentioned we have profiles of three KIB staff members.

NB2
Yes, we do. Let's start with Alvin Gavel, a Bibliometric Analyst with a background that's, well, frankly, out of this world.

NB1
Oh, tell me more.

NB2
His research background is in astronomy, astrophysics, and cosmology pedagogy.

NB1
Wow.

NB2
It seems his interests lie among the stars. He's published work on topics like the history of astronomy education and even the use of virtual reality in teaching astronomy.

NB1
That's amazing. I'd love to pick his brain about how his experience in those fields informs his work with bibliometrics at KIB. Right. It must give him a unique perspective on the evaluation of knowledge and the impact of scientific discovery.

NB2
I would imagine. So now let's move on to Lovisa Liljegren, a librarian.

NB1
Okay.

NB2
Who plays a key role in teaching information searching and reference management. Skills that are absolutely essential for any researcher, especially in the digital age.

NB1
Especially with the sheer volume of research being published these days.

NB2
Right. It must be like trying to drink from a firehose.

NB1
It really is.

NB2
What's particularly interesting about Lovisa is her special interest in AI and information literacy.

NB1
That's incredibly timely. With AI tools like ChatGPT becoming increasingly prevalent, it's more important than ever for students and researchers to understand how to use them effectively and responsibly.

NB2
Right. It's not just about using the tools themselves. It's about critically evaluating the information they generate.  And understanding their limitations. Lovisa is clearly at the forefront of this emerging field.

NB1
And she's based in Flemmingsberg, but also available in Solna and via Zoom.

NB2
Yeah. Talk about meeting people where they are. And the last person we have a profile on is Anna Borgström, a writing instructor. Anna is clearly passionate about helping students develop their academic writing skills. She teaches group workshops, offers individual consultations, and has even presented at conferences on the topic. But what really struck me was her recent focus on teaching students how to use sources effectively, avoid plagiarism, and navigate the ethical considerations of using AI in writing.

NB1
That's really fascinating. It speaks to KIB's commitment to not just teaching practical skills.

LOVISA
Okay. So this was Google's Notebook LM.

ANNA
Wow. That's interesting. I didn't know all this about you, Alvin.

ALVIN 
Well, this is where it gets weird because that was sort of half true and half insane lies. Because I have worked in astronomy and teaching. I haven't really mixed those. I don't recall teaching the history of astronomy education ever. I also haven't done anything with VR in astronomy teaching. I've worn a VR headset for a little while one time. I hated it because I got seasick. That's kind of my entire contact with the VR field. So what we had there is a pretty clear case of what people tend to call hallucinations in generative AI. I don't really like that term because it's not actually, you know, qualitatively different from what the model does at any other time. And I know you, Anna, also don't like it for several reasons.

ANNA
I don't like it because I think it sounds as though we think these machines have consciousness and that they're doing something or that they have a purpose of doing something. And I think that gives us a weird sense about them. Alvin, would you like to explain a little bit more about large language models?

ALVIN 
I mean, you can get really far just by understanding that they are literally what the name says. A large language model is a large model of language. Like they're purely statistical models of what human language tends to look like. And with this particular architecture that's behind, for example ChatGPT, they essentially try to predict, given a string of words, what should the next word be? I'm simplifying a little bit here. Some of you listening might be yelling that, no, no, no, you don't mean words, you mean tokens, but whatever. This gives you the basic idea of what it does. And it so happens that if you have a really, really good statistical model of language, you have a model that will output language that happens to most of the time be true statements. Like it's more likely to output the sky is blue than the sky is green. Or fire is hot is more likely than fire is cold. That's kind of as far as it goes. Like it doesn't know what the color blue is, or what hot is. It only knows that these words tend to go together in a particular way.

ANNA
Yeah, but then I mean our presentations, they were a little bit funny, right? And super positive of course, and that's what you often get from these tools. But ours were a little bit more true, so to speak.

LOVISA
Yeah, and we need to know that the data that we gave this is that on our staff pages, Anna, we have written more about ourselves than Alvin has. On Alvin's staff page, you can find articles that he has published, but you haven't written a text about you, which we have done. So of course, there is more data from us and less to make things up from.

ALVIN 
Yeah, which meant that it, well, I would say that interpolated, I prefer that to saying hallucinated. It's just given what had been put into the context that I had been working with astronomy and teaching, sentences like he has been working in education of astronomy throughout history and so on, those are plausible sentences. They don't surprise you that they're there unless you're me and go, what? When did I do that? Obviously, then you'll be a bit confused. And that tends to be the case most of the time when you'd say that a language model hallucinates, that it says something that's, yeah, I mean, sounds reasonable and sounding reasonable is kind of all that actually encoded in the statistical model.

ANNA
Yeah, and I tend to think about these models as a little bit like the kids pastime of connecting dots. You know, when you have dots with numbers and you're supposed to connect every dot and you get a picture. And that picture is, I mean, it often looks like something. It doesn't look exactly like the animal that you're supposed to, what the animal actually looks like, but it looks okay. But then I think if those dots are a little bit more sparse, you may miss something like a tail or an ear. And I think, is it true perhaps that since we had less information on you Alvin, to give to the large language model, that it kind of tried to connect some dots in a statistically likely manner, but then made some connections that were in fact not the same as the true situation.

ALVIN 
Yeah, I suppose. Yeah, you could look at it that way. And of course, always keeping in mind that it never ever tries to say true things. It only tries to make, you know, statistically plausible sentences.

ANNA
Yes, exactly. And it doesn't have a mind of its own. It just does what it's programmed to do.

LOVISA
And I think maybe we can start with the first question. And that is about getting feedback from a large language model. So I can read the question maybe.

ANNA
Yeah, go ahead.

LOVISA
So I wrote an introduction to my text and I asked an LLM to improve the text and it got so much better. Can I use the LLM's version instead?

ANNA
Well, I'm happy you found the large language model useful, I would say. But I would say you have to be super cautious about getting feedback from these tools. And one reason is that, well, you will often get suggestions or rather rewrites of the text. And these rewrites, they're not based on, you know, rules about language or rules about or facts about the content, but they're just based on statistical significance. So that means, for example, if you've written treatment effectiveness and you get a rewritten text with treatment efficacy, these two are very much different in a medical context. However, these large language tools, they've been trained more on everyday language and there is a difference between effectiveness and efficacy. But the difference is not as pronounced as it is in a medical context. So, well, you can get feedback and sometimes you get a nicer flow. People often feel they get a nicer flow. But you may also get a text that lacks in precision, which is of course not what you want. So you have to check everything super carefully.

ANNA
And here I would say that don't fall asleep at the wheel. Meaning that if you just have one paragraph, you have to be super attentive and check everything so nothing changes. But, you know, if you just think, oh, this is good and you put in a bigger chunk of text, it's so easy just to lose track of what you're doing and you just think everything sounds good. So, well, you can use it, but you have to be super cautious. And I would say that some of the things you can use it for is brainstorming, like getting ideas or getting some feedback. But it may be better to ask for feedback than to get a rewrite.

LOVISA
Yeah, and of course to be able to evaluate this, you need to have some kind of background knowledge. You need to know that the sentence actually gets better and improved. You need to be able to see that yourself and be confident with that.

ALVIN 
Yeah, I'd also agree with all of that. But I'd also add, this isn't actually unique to language models. I would say exactly the same thing with your human co-authors if you're writing an article, for example. Because you'll discover they'll also do weird little things like replace the word method with methodology because they think it means the same thing and so on. That sort of thing happens when you let people change texts in general.

ANNA
Yeah, and I would like to say that there are some tools that you can use. That, for example, Grammarly, the main function of Grammarly or InstaText. Because if you use those tools and not large language models, instead of getting a rewrite that's based on statistical likelihood, you get just suggestions. And those suggestions are based on grammatical rules or rules about concision, precision, level of style, for example. So there's a pretty big difference there. But I mean, you can use them, but I would not just go for the ChatGPT version just because it looks better on the surface.  Can I use large language models to summarize texts? Because we all know that people are stressed out and having to read so many articles. So a lot of people seem to have taken the habit of using these to summarize.

LOVISA
Yes, and this is something we hear a lot about, that people use these tools to summarize text. So, can you?

ALVIN 
I would strongly discourage doing that. Large language models, they can shorten texts but they kind of can't actually summarize them. And that might actually be hard to notice unless you read very closely what comes out of it. Because the problem is, if you give ChatGPT or whatever a long text and you say, summarize this for me, it will say, yes, of course. And then you will get something back that is short, contains many keywords from the longer text and that stylistically looks like a summary. Because it can do all of those things. It can recognize that these words occur here, so they should probably be there. It recognizes what a summary tends to look like. It doesn't actually understand what the original text is about, which means it doesn't understand what's significant. So it doesn't know what part to pick out and what parts it can throw away. So it's kind of just going to throw away things a bit at random and give you a shorter text, which might reflect the original text and it might not.

LOVISA
Yeah, and we've seen this many times, like how the summary is sometimes correct, sometimes it makes things up. It includes things that is not true, that is not written in the original. But even if the summary or the shortened text is correct, we've seen that it misses the core, the core of the original text. So the core is completely removed.

ANNA
Yeah, I've talked to so many people who have actually used these to summarize texts and they have been kind of happy about what it does. But I would say that what they do is that they ask for a summary first because they think it's kind of daunting to read a long research article. So they read the summary first and then they, after they know a little bit about the topic, they read the entire article and they feel a little bit more prepared. But I guess it's really important that you understand that you're not really getting a summary. But maybe you're just getting some kind of, you know, introduction to the field and then you have to read thinking about was this a correct summary.

ALVIN 
Yeah, I'd also add the article probably has an abstract in it already. You can just read that.

LOVISA
Yeah, exactly. What is the point of these shortened texts when you have the abstract already?

ANNA
Another thing, this is quite related to the previous question, is about large language models that translate language like DeepL. 
Is it okay to use DeepL? People think it works so well.

ALVIN 
I would say sure, go ahead. Like I do think those are genuinely useful and I'm usually kind of negative otherwise about different types of language models. That said, the thing you have to keep at the back of your head is the sort of more even stronger version of what Lovisa said earlier. That how do you tell that a translation is any good? If I take a text in Finnish, translate to Swedish, well, I can look at the final product and see that, hey, this is probably a well-written text. But I don't know Finnish. I can't tell if it's actually a correct translation or if something terrible happened along the way.

LOVISA
But this is of course something you need to have a level of trust and you have to, if you have a translator, like a person who translates a text, you need to have a level of trust in that person as well.

ALVIN 
Yeah, sure. But if you ask me to translate a text, you can get mad at me afterwards and possibly fire me if I do a bad job. 
But what do you do when a language model screws up?

ANNA
Yeah, because I think that could be the consequence, right? That if we would write an email to someone who doesn't master Swedish or English and we just ask DeepL or a similar tool to translate the text, we could end up having major misunderstandings or even someone could become upset. Because I think also a professional translator would have some kind of understanding of the cultural context as well. Which of course a large language model probably doesn't.

ALVIN 
It might to some extent because to some extent, culture actually is encoded in the statistical properties of language. But you don't know how much it understands.

ANNA
So I guess it's a little bit dangerous.

LOVISA
But still we all agree here that you need to have some kind of background knowledge to be able to evaluate what you get out and the outputs that you get.

ANNA
Yeah, and I think here too it's kind of easy to fall asleep at the wheel. Because you do see the output that's so great. So you tend to trust these tools more and more. But don't do that. You have to really know if the translation is okay or not.
Lovisa, there are some questions too about using AI to find articles, research articles. What do you think about that?

LOVISA
Yeah, and when ChatGPT came, that was something that libraries around the world had to deal with, that library patron came with questions about articles that they have received from ChatGPT, but that they couldn't find anywhere. They had tried Google Scholar, they had tried different databases, but they couldn't find these articles. And I think now I think most people do know that large language models, they can, so to speak, hallucinate articles or make articles up that do not exist. Even though ChatGPT has become better now. But we need to understand that it is a large language model and it's not a search engine, it's not a database.

ANNA
Yeah, I think I've found that one of the most useful ways of explaining large language models, when you talk about these fake references that were generated, which is, I mean, it is a fake reference in the sense that it doesn't work, but it doesn't exist. But the thing is that these have been generated based on statistical likelihood. So basically, if you ask about an article on this topic, you will get a title that ChatGPT or similar would deem likely that someone would have written. If they wrote about a topic, they could have written an article with this title. And if someone wrote an article with this title, it's likely that they would have written it with this author. They didn't, but it's likely. And it goes on like that.

ALVIN 
I'd also add that you can integrate a database or a search engine into a large language model. There's a thing called RAG, retrieval augmented generation, for example, where you essentially, if you ask the model for, I don't know, an explanation of Newton's laws or something, it will check a database, find a text about Newton's laws, drop that into the context. window of the model. And what comes out will probably be true, like it's more likely that what you get is something true. But at the end, it doesn't remove the problem. Even when you do that sort of thing, it's still just fundamentally trying to figure out which words should follow which other words. It's just that hidden to you, it has some extra words that actually are true. And hopefully, it's going to sort of repeat the substance of those words. But still, it's not a physicist, it doesn't actually understand Newton's laws.

LOVISA
Yeah. And these tools that you are talking about are sometimes called AI search tool or large language models search tools. And there are several of those out there like illicit perplexity, and there are new tools coming all the time that works in the same way. And what usually happens is that you write a prompt into these tools, and then they work in a different way. Some of them translate that prompt that you write into a search query using so-called lexical search, the same traditional as you do in a traditional database. So it will pick up keywords and then search using those keywords. So the search is quite similar also to how you do it in a database. But then there are also tools that use semantic search, which is that it can understand the words in another way. It can understand the context of the words and so on. And what you usually get is the top five articles in these tools. And when you try different tools, you will realize that the top five articles are not the same in the different tools.
And it's not really transparent why you get those top five articles and why you don't get some other articles. So this is something that we usually say that you should be aware of when you're using these search tools that they are not transparent and they are not reproducible either. Like if you use the same prompt a week from now, you will probably get other articles. So you need to be careful to use these tools. You can of course use them as a starting point or as a complementary search, but you should probably not stick to one of these tools. You should probably try to use several of them or also do a traditional search in a traditional database. And when you're searching in a traditional database, what you get is that you get a list of articles. You don't get a summary of the different articles, but you get a list of all the articles that match the search query that you put in. And that is not the case when you're using these AI search tools.

ANNA
So I'm curious. So if you find a large language model that will give you an answer to the question that you ask it and you do get a lot of references in the text. And if I would then check up all those references and they seem okay, can I do that?

LOVISA
There is also a risk of confirmation bias, of course, that if you, for example, there are tools that that you can use when you write a text and then you can just use that text and trying to find a reference that will work to that text. But of course, then you don't know what's out there. You don't know what you're missing. You don't know. So that's something that you should also be aware of.

ANNA
It looks kind of like these are more reliable, but they're also a little bit more sneaky perhaps. In that sense, yeah.

ALVIN 
Also, there's the simple problem that it might give you an answer if you're asking something and have a bunch of references to that answer. And if you take the time to actually read them, it turns out that no, they say no such thing whatsoever. That's quite common. And of course, that's not just limited to large language models. If you've ever done a literature search, we read articles, read the articles that the first article referred to and see how well each particular article actually managed to summarize what the other one was about. You notice human beings are also pretty bad at this.

LOVISA
But something I also think you should be aware of when you're using these AI search tools is to know where you're searching because some of these tools are integrated with, for example, Semantic Scholar, which is a so-called mega database. You search in a large, large database. And you can compare that to, for example, PubMed, which has been indexed with specific journals and they have been quality assessed that they can be indexed into PubMed. And that, of course, is also different from, for example, Google Scholar, which is an academic search engine that will just find academic articles or articles that look like academic articles, but that can be, for example, there was recently an article was published where they found lots of GPT fabricated journals in Google Scholar. So these articles were just made up. They did exist, but they were just written by a large language model.

ANNA
So the research behind it didn't exist.

LOVISA
Yes, exactly.

ALVIN 
And I should say that's such a big topic in itself. I don't know, maybe we'll just make an episode about that one.

ANNA
There's another question linked to this. I found a blog post that's about my area of research and I was so intrigued. It mentions the article that produced the science but it doesn't give a proper reference and I haven't been able to find the reference. Could you help me with that?

LOVISA
Yes and this was a question that we did get at the library some time ago. We tried to find the article behind the blog post. We did some searches in Google Scholar, we did some searches in different databases but we couldn't find the article. And then we did eventually find it was very hidden that this web page was, it said, generated by AI or powered by AI, it said. So the blog post was probably completely made up but of course powered by AI can mean lots of different things. We don't really know what that means. Does it mean that it's a large language model that is just made this up and that the article does not exist or is it some kind of rag in this that the article does exist in some kind of sense? Most likely the article does not exist. But it was interesting because this also shows how hard it can be to actually evaluate when it comes to things generated by AI. Because even as a researcher it can be it can be hard to know that this is completely made up because it looks so good, it looks so true, it looks so like this could have been an article that was written.

ANNA
That is sneaky.

ALVIN 
Yeah and unfortunately I think that's going to be more and more common because well this is an easy way to make money. Just take stuff from a language model and publish it somewhere.

LOVISA
Yeah exactly.

ANNA
And then those texts will be used to train new language models. That's a scary thought I think.

LOVISA
It is scary.

ALVIN 
Yeah sometimes here people use the phrase Habsburg AI because the problem is that AIs they kind of have to be trained on actual human generated texts. If you feed AI with AI output you kind of get a form of inbreeding in a manner of speaking. So eventually they just start producing nonsense. And this is a huge problem for the AI companies now more or less irrespective of what we're talking about. Because if you do a Google picture search you're also going to get a bunch of stuff that doesn't exist because it's generated with GAI. So those are also going to well they'll be harder to train. It will be harder to find actual good data to train them with.

ANNA
Well data is the new gold. Is that what you normally say Lovisa?

LOVISA
Yes. So you should be careful what you put out there.

ANNA
Yeah. I was just going to say that we have a question about that too. Can I use generative AI? Is it safe or can my data be found and used by other people? And what about sensitive information?

LOVISA
We usually say that you should be careful about what data you're putting in there. You can also be aware that there are some settings. For example in ChatGPT there is a setting that says that you don't want the model to use the input that you give to train new models. But of course you should always be careful and maybe not trust this.

ALVIN 
Here's where I would introduce a really good rule of thumb called the My Friend Bob rule. Nobody in Sweden is named Bob so I guess we'd call it Min Kompis Leif Regeln or something like that. The basic idea in a way is that if you want some quick way of figuring out whether it's a really really bad idea to do something using an AI. Just in your head try replacing AI with My Friend Bob. If I say I had some trouble getting started writing this so I asked my friend Bob for some ideas and he was pretty helpful I managed to get started. That's a reasonable thing to say. If I say I asked my friend Bob to diagnose this patient. That's probably professional malpractice and may literally be a crime. So don't do it.

ANNA
Yeah so you're also saying that secrets you wouldn't tell your friend Bob you shouldn't share with.

LOVISA
Yeah because you never know what he's going to do with it.

ANNA
No that that's correct. So we're kind of approaching another question. Can I use generative AI?

LOVISA
Yes and that depends on how you're using it of course. But when it comes to academia there are many journals now that have different kinds of policies how you should disclose the use of AI.

ANNA
Thank god. You remember in the beginning right where we would see ChatGPT as a co-author?

LOVISA
Yeah.

ANNA
So those guidelines, they are quite different still, aren't they?

LOVISA
They are. And some journals want you to write in the method section how you used generative AI. And some want you to have an acknowledgment. And some want you to have an AI disclosure. So it's very different. We haven't really figured it out.

ANNA
No, but I think we're getting there. We don't have these crazy things like having ChatGPT as a co-author or someone thanking the developers at OpenAI in their acknowledgment section. So we're getting somewhere here. And I think if you look at these different policies, at least, there are some things that they all have in common. Transparency. You have to be very clear about how you use these tools. And accountability. You're always responsible for everything in the text. And then I think also that they all seem to be a little bit restrictive on how much you can use generative AI because of course they don't want to publish articles that have been just generated by generative AI tools. And I think here too that now we talked about journals. But if you're a student or a doctoral student, you should check with your teachers. And I think that not everyone may have figured everything out yet. But we should try to be as transparent as possible and as curious as possible about this. And always ask.
And I would say for students I always recommend having some kind of AI reflection. So that it isn't just a statement of how you used AI but that there's always this element of reflection. How did you use AI? How did it work? How did it not work? What did you learn? Because you have to think about that all the time. Can you really say that you're fulfilling the criteria for your degree if you use generative AI in this way? And I think there too my friend Bob can be very useful. I mean you can ask your friend Bob to test out some ideas. But you can't ask your friend Bob to write and finish your assignment for you. Of course your teacher wouldn't be happy with that. But I do think it's very nice to have this reflection and this transparency there too. Because I also think that if we're super transparent about our use as students, we should not risk being accused of cheating. Because cheating requires some intent. So if you're transparent about your use, yeah you shouldn't be accused of cheating.
So I think that creates a safe space which you can then enforce as a teacher through encouraging open dialogues.

ALVIN 
You kind of touched on a slightly larger problem there when you mentioned that you're responsible for what's in your articles. This has been a problem before large language models entered the picture. For a very long time in many fields there has been kind of a custom of gift authorship. That somehow I owe you for something so I add you as a co-author to my paper. Which you will see as a nice thing to do. And then it turns out that my paper is really bad. At which point you might feel that no, I haven't even read this paper. How can I be responsible for it? But the problem is that yeah, if you are an author, you're supposed to be able to stand behind every single word of the article.

ANNA
Yeah, I've seen retractions based on that very scenario that people didn't know that they were co-authors and weren't very happy about it. So my impression is that publishers are a little bit harsher on that now because they don't want drama like that.

ALVIN 
So I'm not the one who receives most of these requests, but I have gotten a question about how can I use AI to analyze data? The short answer is don't use ChatGPT or any other language model to analyze anything whatsoever, it will end horribly. That said, you can do really interesting things with machine learning algorithms. Step one is to find a programmer who actually understands machine learning and explain to that person exactly what it is you want to do. And they can probably, hopefully, do something really useful. Do that before you have your data, don't do it after. And that's true in general, even if you just want to do a basic statistical analysis. Talk to a statistician before you get your data. There is even a quote I've had reason to give several times, which is by R.A. Fisher saying, to consult the statistician after an experiment is finished is often merely to ask him to conduct a post-mortem examination. He can perhaps say what the experiment died of." So that's important to keep in mind.
If you're in the situation that you have a bunch of data and you're now thinking about how can I analyze it, how can I analyze this, things have gone wrong. So that's my one question. Do you have any more?

LOVISA
Well, there are many more things to talk about, of course. Now we haven't talked about, for example, open science, open data when it comes to the age of large language models.

ALVIN 
Yeah, and I think we should maybe start try to wrap up. But also, now we've been trying to answer people's questions, now I just want to check, do we have any questions of our own that we genuinely don't know, but we've been thinking about this?

LOVISA
There has been a huge hype around large language models lately, ever since ChatGPT. And I'm just thinking, are they here to stay or will we see kind of decline of them? What do you think? What is your thoughts on this?

ANNA
To me, I mean, yeah, they don't seem as hyped anymore. And I meet with a lot of students and they don't seem as excited about them. But they do seem to take them for granted and they do use them, often wisely, but they do seem to take them for granted. So I think the hype may be over, but I'm not sure that I think that large language models will disappear. What do you think, Alvin?

ALVIN 
Kind of the same. Like I don't foresee ever saying large language models are like zeppelins, like they're gone now. I don't think that will happen. That said, I think they'll be used a lot more rarely because now all of these services are more or less free. That's not sustainable. OpenAI are burning money all the time. They lose money every time you use ChatGPT. At some point they'll have to stop doing that. They'll have to switch to some kind of subscription based model. And once you look at how expensive it is, I don't think you get so much use of ChatGPT that you will be willing to pay for it. Large language models will be used less and also because, well, they don't really have that much in the way of clearly defined use cases that you could put into, you know, actual industrial use. So they'll mostly just be things you play around with.

ANNA
And I guess there's also the environmental aspect that powering these machines takes so much electricity and cooling down these servers takes so much water. So it's not really sustainable.

LOVISA
And I also agree with both of you about the future of large language models. And I think when it comes to searching, I think what we will see more of is semantic search. And maybe not as much the large language models search tools, but we'll see.

ANNA
That's interesting.

ALVIN 
Right. So I guess my question would be examinations. 
Like for a really long time we have been telling students, write a thing and hand it in by Friday. And there's been a decent chance that the student actually wrote what they handed in. Today there is, well, now everybody can use just a large language model to write for them. So will we have to change our format for evaluating student performance entirely? Or do you think we can sort of adapt what we're already doing?

ANNA
Well, I think that's a wonderful question. And I do think some teachers were understandably scared when ChatGPT was launched. And they tried to just avoid the issue by giving oral exams or by having just exams with no internet access. But I don't think that's sustainable. I do think that we're going to have to teach our students to use generative AI responsibly. And I do also think that students need to be able to write. And another thing, I liked how you started this question, Alvin. Because I think for too long we have kind of equaled a well-written text with a passing or passed with distinction grade. And now we can't. And I think it's kind of reasonable that we can't. And I think this kind of forces us to ask questions such as what is really the purpose of going to university? What do you as a student have to show to your teachers that you know? What do your teachers need to understand in order to assess you in a fair way? So I think these questions that we haven't talked so much about, I think when we talk about generative AI, this is our chance to return to these super important questions about education.

LOVISA
I think that's a nice way to wrap this up. But because I also think this question about examination is something that when we started going out and talk to researchers and teachers as KI, it was the most common question that we got. This question about examination and how to deal with that.

ANNA
Yeah, and I think it's important to just note that so far, there are no AI detectors that are really reliable. Those that have been in use have been proven to over identify text as AI generated when the author is a non native speaker of English, which of course isn't fair. And also I don't know what it tells you that someone used generative AI to write the text. Maybe they used it in an okay way. It doesn't really tell you anything. And if we compare this to if you have a non plagiarism tool, anti plagiarism tool, I mean that gives you the possibility to compare text to something else. And you will have a clear record of, okay, this is exactly the same text. So you can assess it whereas there are no traces like that with generative AI. So it's a completely different situation.

ALVIN 
Yeah, and I could add that I don't think there ever will be reliable AI detectors. The reason why I think that is a bit technical, so I'm just going to leave it out and say this is my bet about how the future will play out.

ANNA
A cliffhanger.

ALVIN 
All right, do you have any like, I don't know, shout outs, like recommendations to other podcasts or papers you've read or blogs or whatever that you would like to direct listeners to that, hey, here's a good place to learn more about this topic?

LOVISA
When it comes to AI in searching, I would recommend, there are many things to recommend, but if I only choose one, I would recommend Arante's blog about searching. And he writes a lot about AI search tools and the problems with them and how you can use them in a responsible way. You don't have to, Anna. You don't have to.

ANNA
Alvin, I'm sure you have enough tips for all of us.

ALVIN 
Yeah, I actually have lots of recommendations. So there will be a little Zotero library in the vicinity of wherever this podcast is uploaded where you can look up some things that we thought were relevant to look at. But off the top of my head, I would recommend a blog named Pivot to AI by Amy Castor and David Gerrard. David Gerrard is also the author of the book Attack of the 50-Float Blockchain, which is really good. Because that blog gives you a lot of the economic and social context to why the AI field currently looks the way it does. Because there are many things that kind of don't make sense if you only look at it from a technical point of view. This is going to sound weird, but in general, I recommend reading bitter tech bloggers who swear a lot if you want to understand the AI field. They're often the best source available and that's not a joke, that's just factually true.

ANNA
Yeah, well, I would say that my best advice would probably be to look at a reputable journal within your field. I look at Nature's homepage every now and then to see what they've written recently about generative AI. Which is interesting, not because they're experts, but it's interesting to see what concerns are hot right now. You know, what people are talking about right now in the field.

LOVISA
Yeah, I agree.

ALVIN 
Okay, so then I guess we're done.

LOVISA
Yeah, do the outro, Alvin.

ALVIN 
Yes, I'm outroing away. Thank you for listening to our FAQ on large language models. There will probably be more episodes about AI in the future, focusing on how the field of AI affects the library world. The podcast is made for the Karolinska Institutet Library and the responsible publisher is Miriam Nauri. I've been Alvin Gavel.

LOVISA
I'm Lovisa Liljegren.

ANNA
And I'm Anna Borgström.

ALVIN 
You can find out more about us and the library at kib.ki.se. There you can also find other episodes of this podcast and information about upcoming episodes.

00:00:06 Lina Lindstein 

Du lyssnar på KIB-podden. Det här är ett pilotavsnitt i en ny poddserie från Karolinska Institutets universitetsbibliotek där vi tänker oss ta oss an ämnen som rör det vetenskapliga publiceringslandskapet och forskningens infrastruktur. 

I dagens avsnitt ska vi prata om systematiska översikter, en form av litteraturöversikt som eftersträvar att sammanställa all tillgänglig forskning eller evidens inom ett avgränsat område utifrån en specifik metodologi. 

Karolinska Institutet bedriver ett brett spektrum av forskning inom det biomedicinska fältet och den systematiska översikten utgör en viktig del som eventuellt kan underlätta både praktik och vidare forskning. 

Nu över till dagens gäst Wim Grooten. 

00:01:01 Narcisa Hannerz 

Välkommen till KIB-podden Wim Grooten.

00:01:03 Wim Grooten 

Tack så mycket. 

00:01:04 Narcisa Hannerz 

Sa jag rätt?

00:01:05 Wim Grooten 

Ja ganska bra, lite längre ner i hasen kanske, Grooten. 

00:01:08 Narcisa Hannerz 

Grooten. Du får gärna berätta lite mer om vem du är och vad du jobbar. 

00:01:13 Wim Grooten 

Jag är fysioterapeut, jobbar på institutionen för NVS (neurobiologi, vårdvetenskap och samhälle) och är docent i fysioterapi. Men jag har en utbildning ifrån Holland som ni märker, en rörelsevetenskaplig utbildning och rörelsevetenskap är inte ett ämne i Sverige, så jag fick bli fysioterapeut istället och har inte ångrat mig.

Sen har jag blivit lärare, ergonom och forskare också. Jag leder en forskargrupp om biopsykosociala besvär, muskeloskeletala besvär.

00:01:51 Narcisa Hannerz 

Intressant, men du sa det här med att rörelsevetenskap inte är…

00:01:56 Wim Grooten 

Movement science. Men det finns ingenstans i Sverige där man kan plugga movement science vad jag vet.

00:01:59 Narcisa Hannerz 

Nej, men vad intressant att det är så olika i olika länder. Men idag så ska vi ju prata om systematiska översikter. Och du har ju publicerat en del systematiska översikter. 

00:02:14 Wim Grooten 

Ja, jag tittade i min lista, jag tror det… jag har precis fått proofs på den tolfte igår.  

00:02:21 Narcisa Hannerz 

På den tolfte?

00:02:22 Wim Grooten 

Så det är ju lite kul.

00:02:23 Narcisa Hannerz 

Ja det är ju en del. Och jag tänker liksom så här, vill du berätta lite om hur en idé till att skriva just en systematisk översikt tar form. 

00:02:34 Wim Grooten 

Just det, man tror kanske att det är en straight forward process, men så är det ofta inte. Att jag hamnade i det här var för att det var kollegor kring mig som behövde hjälp. För när man skriver en systematisk review kan du inte göra det ensam. Så man måste ha det i ett sammanhang och så fick jag hänga med i att granska.

Så ofta kommer man med som expert då inom området. Jag tittade på min första, det var nog om ländryggsbesvär och då var jag där och fick då frågan; Kan inte du titta på de här artiklarna för att se om de passade med inkluderings- och exkluderingskriterierna. Då kom jag in halvvägs kan man säga och jag tror att de flesta som startar med det här börjar därifrån.

Men naturligtvis måste någon ha idén och många gånger är det så att man idén kommer utifrån en frågeställning. Det är den som är helt avgörande för vad som ska hända. Så egentligen kommer frågeställningen först och sen kommer metodiken: ska det bli en systematisk, ska det bli en scoping eller ska jag göra en RCT på det här?

Men ofta har man redan egentligen bestämt sig, att nej, jag ska in i litteraturen. Men frågeställningen bestäms först. 

Och var kommer den ifrån då? Jo, ofta kommer den utifrån. Ett exempel, jag skrev en översiktsartikel om ergonomiska hjälpmedel för att folk ringde mig och sa Wim, hur ska jag göra en observationsmetod? Hur ska jag göra det där och det där? 

Ja, jag vet inte, du kan göra så eller du kan göra så. Men det finns väldigt många metoder, hur många metoder finns det? Ja, då fick jag en frågeställning. OK, jag ska sammanställa alla metoder. Så det var verkligen en helt praktisk fråga från någon som ringde mig. Och hur kan man då få svar på det? Det är ett sätt.

Och ett annat sätt är ofta också… om man tänker sig doktoranderna… de måste göra en översikt. De måste komma in i ämnet. Och då är det egentligen väldigt bra att starta med systematiska reviews. För då får man en hel bild av vad som är känt och vad som är okänt. Man brukar prata om the knowledge gap.

Och det är den som man identifierar då när man har gjort en systematisk review. Och det måste vara systematiskt, annars vet man inte vilken knowledge gap man har. Kunskapslucka, tror jag att man säger på svenska.

00:05:08 Narcisa Hannerz 

Ja, just det, det gör man nog. Men det är ju… jag tänker just på det här du sa om att du kommer liksom in när de är halvvägs klara. Hur känns det? 

00:05:19 Wim Grooten 

Det känns ofta lite kul att man ja, att man blir tillfrågad; Ja Wim, du ha gjort systematiska översikter några gånger, kan inte du hjälpa till?

Och man blir bara bättre och bättre på det. Det är precis… den första tog jättelång tid, men nu kan man göra det lite snabbare. Man är lite mer rakt på.

Nackdel med det är att man kanske kommer på, nej, men vänta de här sökorden var inte bra, och då måste man göra om det. Så det är lika bra att göra teamet från början egentligen. Inte att man kommer på halvvägs att nej juste, vi fick så många träffar och vi kan inte göra det med 2 personer, vi behöver ha 5 personer. 

I den senaste jag gjorde var vi elva personer.

00:05:55 Narcisa Hannerz 

Hur många träffar fick ni då? 

00:05:56 Wim Grooten 

Nja, det var lite för stort, men det var en review av reviews. Så jag tror vi började någonstans med mellan tre- och fyratusen träffar som vi screenade på title/abstract-nivå, och sen ner till ja, jag kommer inte riktigt ihåg, 120 fulltextartiklar kanske. Och då måste man ha mycket folk. 

00:06:16 Narcisa Hannerz 

Ja när man ska läsa så många fulltextartiklar för jag tänker just det här med title/abstract. När vi i sökargrupperna hjälper folk, så brukar vi alltid säga att ja, men title/abstract det läser du ju på en till två minuter så det är ingen fara om du får 10,000 träffar.

00:06:30 Wim Grooten 

Nej för mig tar det 5 sekunder.

00:06:36 Narcisa Hannerz 

Ja, ja men precis. Det är ju just den här slutscreeningen då som tar tid.  

00:06:39 Wim Grooten 

Ja när man sedan har dem [fulltexterna] det är då tiden drar iväg, med data extraction då. Att man tar ut datan och göra alla de här tabellerna, det tar aldrig slut. Så ja… mycket jobb med det som man tror, ja vi gör det lätt för oss och gör en litteraturstudie… nej.

00:07:03 Narcisa Hannerz 

Nej precis, det är kanske inte så lätt som man först tänker. Man just det här, jag tänker det här du berätta om data extraction är det liksom för själva metaanalysen då? 

00:07:12 Wim Grooten 

Nej, egentligen inte. För du måste alltid ta ut data i en systematisk review. Och kruxet är egentligen att man måste bestämma sig för vilken data man vill ha.

Jag kommer ihåg en av de första gångerna… Ja men det kan vara intressant att ta reda på vilket land de kommer ifrån eller det kan vara intressant att se vilken typ av behandling eller vilka övningar som använts. Så vi började mata in alla övningar och allt och ja då blev man aldrig klar. 

Men sen när jag hade den [datan], ja då blir det kanske en mening någonstans, t.ex. i snitt gjorde de 3 * 10 reps eller någonting sånt. Så kan man skriva då… men det är så mycket jobb för att skriva den meningen. Det kanske inte är värt det. Så bestäm dig för data extraction-tabellen. Vad är viktigast?

Och då måste man hela tiden gå tillbaka till frågeställningen. Vad vill ni veta? Så gör inte mera. Det där med länderna eller årtal eller typ av smärta de hade eller så. Det kanske inte alls är med i frågeställning, då behöver man inte ta ut data för det och då plötsligt går det mycket snabbare. 

00:08:19 Narcisa Hannerz 

Mycket snabbare, ja om man fokuserar på vad man vill och är ute efter från början.

00:08:21 [Jingel]

00:08:30 Narcisa Hannerz 

Ja, men intressant. Jag tänker också, vi har tagit upp lite det här med metanalys eller bara nämnt det och rent metodologiskt, vad tror du liksom särskiljer en systematiska översikt från andra övriga översikter? 

00:08:44 Wim Grooten 

Ja det finns en ganska lång lista med olika typer av reviews eller litteraturstudier. Intressant är då, jag undervisar på både bachelornivå/kandidat nivå  och master och sedan… doktorandnivå. Det är inte meningen att man gör en systematiskt review på kandidatnivå men på master vill man gärna ha det. Progressionen till doktorandnivå är då kanske att man går till en metanalys? Det kanske är så man kan tänka sig att det är, som en fördjupning.

Jag tycker att när man gör en systematiskt review då har man verkligen ett öppet mål för att göra en metaanalys.

Och även om man kan säga att nej, det går inte att sammanställa all data för att de är så olika, att det är heterogent eller så, då ger det en extra poäng för att då har man identifierat den här knowledge gapen. Så när man har gjort det systematiskt, titta en gång extra, kan man inte få ihop datan till någonting extra?

Och det var väldigt intressant för att vi hade bestämt oss för att vi inte skulle göra en metaanalys med våran senaste systematiska översikt. Men då skrev en reviewer och visst kan ni göra det om ni gör så och så. Så vi fick kommentarer från reviewers och fick då göra en metaanalys. Och då som vi sa om att plocka in data så var det tur att vi gjorde all data av dataloop, då gick det ganska snabbt att göra metaanalys.

Jag vet inte om lyssnarna vet vad en metaanalys är, men man sammanställer en gemensam effekt size, eller säger man effekt mått, på en behandling till exempel. 

Hur mycket effekt har den träningen jämfört mot den andra träningen. 

Och alla studier ska då ha samma population, P, samma intervention, samma kontrollgrupp, som en jämförelsegrupp och samma outcomes det vill säga samma utfallsmått. Så man brukar prata om PICO och om de här fyra delarna är lika då kan jag slå ihop de här olika studierna. En kanske hade 500 personer i studien, andra hade 20. 

Och då får den som hade haft flest deltagare lite mera poäng och väger lite tyngre. Och det är då olika datorprogram som kan räkna ut ett medelvärde och det ger verkligen ny information. Till exempel om jag har 5 studier där man inte visar någon effekt av något. 

När man gör metaanalys kan det hända så, att eftersom man har mycket fler personer i sin studie, att det här konfidensintervallet blir mindre och plötsligt får vi signifikanta effekter fast fem studier visar inga effekter. Så man skapar en helt ny kunskap. Och det tycker jag är det viktigaste med metaanalys, att man både blir mycket säkrare på sina slutsatser eftersom man inte bygger på en liten studie. Men också att man har tillräckligt med power för att kunna göra sådan här effekt size-analyser.

Men de här 4 grejerna måste vara samma.

00:11:55 Narcisa Hannerz 

Ja P, I, C och O

00:11:56 Wim Grooten 

PICO, kanske T också är time att uppföljningstiden är samma. PICOT brukar man pratar om. 

00:12:01 Narcisa Hannerz 

Just det, jag hörde för inte så jättelänge sedan att man faktiskt kan göra metaanalys på en studie.

00:12:08 Wim Grooten 

Ja

00:12:09 Narcisa Hannerz 

Det kändes lite som en chock för några av oss som hörde det 

00:12:12 Wim Grooten 

För att, då har man bestämt sig; jag ska göra en metaanalys. Och sen har man nog 15 studier inkluderade, men av någon anledning är då kanske I:et fel i den och C:et är fel på den och P:et är fel i den. Det är bara en som då följer dina inkluderingskriterier. Ja, då har vi bara en och då får den stå för alla andra. 

Och då tror jag att som författare ska man vara lite mera försiktig i sina slutsatser där naturligtvis. Men det är en metaanalys och man kan till exempel bestämma sig för att; OK, de här dåliga studier de här med 20 pers, de tar vi inte med. Så man går in i kvalitetsbedömning och just på så sätt kan också en del studier ramlar bort. Man vill bara göra metaanalys på bra studier. Ja, det kan vara bara en kvar eller noll kvar.

Och då har man gjort en metaanalys på noll och så säger man tyvärr, det gick ju inte - knowledge gap. Vi måste ha bättre studier.

00:13:14 Narcisa Hannerz 

Nej, men det är kul ändå att även om man inte får så mycket eller alltså att man märker att det inte finns ja, resultat så är det ju ändå ett resultat.

00:13:20 Wim Grooten 

Det är ett jätteviktigt resultat och därför är det jättebra att man nu får använda systematiska reviews i en avhandling. Det var ett tag sedan, att man var lite tveksamt till om det verkligen är ny kunskap eller nya… Man ska lära sig forska, man ska inte lära sig läsa litteratur. Jo, men det här är forskning. Det här är att man skapar nya… nytt svar, man kommer vidare. 

00:13:45 [jingel]

00:13:53 Narcisa Hannerz 

Men vad ser du liksom för fördelar med systematiska översikter? 

00:13:57 Wim Grooten 

Ja, det finns en hel lista med vad man kan göra, man brukar prata om stepping stone. Hur säger man på svenska, man kommer in i ett ämne, en tröskel. Om du har ett ämne som du inte vet någonting om ja, vad börjar man läsa? Ja man kan googla runt lite. Men om man istället får tag på en bra systematisk review eller metaanalys får man direkt svaret på vad det finns för kunskap i ämnet. Det här är fantastiskt för en läsare eller forskningskonsument. Man får en jättefin bakgrund, de har dammsugit hela litteraturen och så här ser det ut och det här vet vi och det här vet vi inte. Det står ofta väldigt tydligt om future studies och sånt där. 

Så att, att gå in dit är det första. Sen är det en annan grej om man nu som vårdpersonal måste veta vilken typ av behandlingar ska jag välja? Ja då pratar man om evidens och man kan inte få evidens av en enda stark studie, så vi måste få tag på de här systematiska reviews där man visar att; OK, men den här effekten kan vi förvänta oss och den här effekten är större än den andra behandlingsmetoden, eller den här kostar lite mera. Så kan man välja utifrån de andra delarna av evidens där du också måste ta hänsyn till din erfarenhet och patienters preferenser. Men det här vetenskapliga finns där och som ett första steg i evidensbaserad medicin.

Så det tycker jag också är en bra grej både för terapeuten att välja, men också för policy makers som gör olika riktlinjer de måste uppdatera sig hela tiden eftersom det kommer ny forskning. Ska vi göra de här översikterna? Och nu finns det då så mycket reviews att man kan göra reviews of reviews. Det var mina senaste två som hamnade på den nivån. Det kallas för umbrella review.

Och jag trodde jag hade någonstans en fråga om vad är nackdelen med det här? Jo, det kan bli lite viskningslek här nu. 

00:16:07 Narcisa Hannerz 

Ja om an gör en umbrella review.

00:16:08 Wim Grooten 

Om man tar reviews av reviews, för att jag tar din data som någon annan har läst. Och då när jag verkligen skulle göra metaanalysen av det där, då gick jag in i datan och då hade de skrivit fel siffror och sen hade de glömt någonting… och det var inte rätt population. Då var det frågan, ska jag då göra min metaanalys på dåligt material eller ska jag ta bort det? Så jag hade många diskussioner här. 

Att här då… ett litet fel kan egentligen bli förstärkt. Och det var inte bara ett litet fel, vi såg ganska många slarvfel. 

Narcisa Hannerz 00:16:46 

I flera olika studier då?

00:16:46 Wim Grooten 

I olika, i de här översikterna och varför blir det så? Jo, vi har en peer review-process, men det finns inte en enda reviewer som hinner granska alla tabellerna. De får 10 dagar på sig att reviewa och när jag får en förfråga om jag ska vara reviewer för en artikel då läser jag, systematisk review  - nej tack. Jag kan inte läsa det där inom 10 dagar eller 20 dagar och jag vill inte lägga en vecka på att kontrolläsa alla deras siffror, för ingen gör det så. 

Jag har sett… de har glömt ett minustecken någonstans. OK ja, är det mera smärta eller mindre smärta? Ett minustecken bara som blev fel. Då faller hela metaanalysen och det är fel som finns där, så akta er så. 

00:17:38 Narcisa Hannerz 

Så även liksom om det är en systematisk översikt så måste man ju ändå göra någon form av granskning [kvalitetsgranskning].

00:17:42 Wim Grooten 

Ja precis, och vi hoppas då att de här olika författarna gör det jobbet. Men många gånger är det en i teamet som gör metaanalys, en andra skriver den. Man delar upp jobbet och därför är det så otroligt viktig att man är två som gör samma sak och sen kontrollerar man, vad fick du för tabell? Vad fick jag för tabell? Oj, du har skrivit så, jag har skrivit så.

Då är det viktigt att man har ett inbyggt system för kontroll och att man är 100 % säkert för det är så lätt att en siffra blir fel och då blir hela analysen naturligtvis…

00:18:15 Narcisa Hannerz 

Ja självklart, blir en liten siffra fel, så blir det ju helt… Men jag tänker just apropå det här med peer review.  De här översikterna som du har skickat till tidskrifter och så, har ni någonsin fått någon kommentar om era sökstrategier?

00:18:32 Wim Grooten 

Nej, väldigt intressant att du ställde den frågan, för även om till exempel jag också har reviewat folk då är det egentligen redan kört. Om man säger du har gjort fel där och där, man skulle kunna påpeka det. Jag tror jag gjorde det en gång när jag var reviewer, då tyckte jag att de kunde inte dra naturliga slutsatser eftersom de hade inte valt utifrån populationen. De generaliserade alldeles för långt fram, men deras sökningar var på en viss population. Så jag använde då deras sökning för att säga, ja men ni har ju tagit lite för mycket. Men jag har aldrig fått någon person som har tittat på det och själv, som enskild forskare, kan jag inte det där med sökstrategi. Alla de här AND och OR och alla kolons och alla små prickar.

Jag kan förstå vad som har hänt när man får den, sökstrategin, tillbaka. Men jag skulle aldrig kunna göra det och därför tror jag att reviewers som läser det här, de har ingen aning. Nu kan vi inte det, så om man skulle skicka det här till biblioteksfolk istället. De ska granska den egentligen, men de… ni är aldrig några granskare för systematiska reviews. Eller är ni det? 

00:19:49 Narcisa Hannerz 

Nej men jag tro, nej men det finns nån, nu kommer jag inte på vad det heter, men det finns något liksom form av nätverk där man försöker samla informationsspecialister och bibliotekarier för att reviewa. Men jag tror också att kravet var då att man skulle ha förf… varit författare på en artikel. 

00:19:58 Wim Grooten 

Ja och det kanske inte alla…

00:20:07 Narcisa Hannerz 

Och det har ju inte alla bibliotekarie. 

00:20:10 Wim Grooten 

Nej för att jag tror editors, de letar efter folk som kan ämnet och inte metoden. 

00:20:16 Narcisa Hannerz 

Nej, precis. 

00:20:17 Wim Grooten 

Men mycket bra fråga för att jag kan tänka mig att om man har valt en för snäv söksträng, ja då har man inte allting. Då är det inte längre systematiskt. Det kan man inte generalisera. Det är lätt hänt att de… att författare drar stora slutsatser. Så det kommer jag ihåg att jag påpekade en gång. 

00:20:39 Narcisa Hannerz 

Nej men det är ju en väldigt liksom viktig del ändå i metoden att man har en bra sök[strategi]

00:20:45 Wim Grooten 

Ja och den ska alltid vara bifogad som appendix och jag brukar kika på den och lära mig varje gång jag läser en sån. 

00:20:56 Narcisa Hannerz 

Ja… och apropå det här med tidskrifter, är det liksom någonting som du önskar från tidskrifternas håll som skulle underlätta publicerandet av en systematisk översikt.

00:21:06 Wim Grooten 

Ja, jag tänkte just nu finns det ju väldigt fina guidelines, otroligt, livet har blivit så mycket lättare med PRISMA guidelines. Och det är bara att följa dem. Så tidskrifterna behöver inte göra så mycket mer, utan mera ge reviwers tid att verkligen granska en sån. Vi kan inte göra det på några dagar. Det är helt omöjligt. Så det tycker jag, och sen är det att vissa tidskrifter har en begränsning med antal ord och sånt. Där det är ganska omöjligt, det går inte. 

Så vi har valt till exempel BMC Musculoskeletal för att den är inom vårt ämne men också för att de inte har några begränsningar. Så jag tror att vi fick ladda upp 14 appendix och får in allting där som kan vara intressant för någon någonstans i världen. Och det är jätteskönt som författare att den möjligheten finns möjlighet.

Men naturligtvis nu… Jag kan förstå att man [svårt att höra] Men det här var väldigt skönt… att ha möjligheten att äntligen kunna prata av sig och verkligen berätta vad man har gjort. Och det är så himla viktigt när man då, ja till exempel läser en systematiskt review av systematiska reviews att man har förstått hur de har gjort. Så att begränsa en författare och skriva att du får bara skriva 5000 ord. Ja… men då vet inte jag hur det har gått till och kan inte ta ställning till det. Så skriv så mycket som möjligt. Nu är det auto-online. Det kostar inga papper. 

00:22:38 Narcisa Hannerz 

Nej juste, så man behöver inte tänka på det längre.

00:22:40 Wim Grooten 

Nej du behöver inte tänka på det. 

00:22:42 Narcisa Hannerz 

Nej men jag tänker det här just… du skrev… du sa att ni har publicerat i BMC Musculoskeletal för att de har så mycket utrymme. Tänker ni på, har ni liksom bestämt er på förhand vilken tidskrift ni vill publicera i och att ni liksom på något sätt formar er efter den. Eller kommer det senare i process? 

00:23:01 Wim Grooten 

Ja, det är en intressant fråga, det tror jag är lite så att det kommer och går. Och man har det någonstans i bakhuvudet, men ofta börjar man egentligen tänka på den när man kommer till manuskrivfasen, ofta är det egentligen bara göra innan. Så när resultatet börjar komma på plats och man märker vilka rubriker de vill ha. Vad ska ha vi in?

Och nu måste jag tänka jättemycke på strategi, ska vi ha hög impact factor eller ska vi nå dem som vi vill nå? Till exempel inom fysioterapi så har vi ett sånt här dilemma, ska vi publicera i våra dåliga med impact factor på kanske max två, tre, Men nå alla våra fysioterapeuter. Eller ska vi gå till en mera public Health tidskrift med kanske en impact factor på åtta, tio. Men jag vet inte hur många fysioterapeuter som läser såna tidskrifter.

Så ja, det är jättesvårt, det där kan man säga är politiskt och jag är bara forskare så jag kan… jag väljer den som går in. Och når väl egentligen ut med det, så då jag håller mig ofta till mitt ämnesspecifika. Jag tror nog att det egentligen är det som avgör mest. 

Jag tror impact factor är då näst som nummer två och trean är då, har jag verkligen jättemånga text och tabeller ja och de säger nej, du får inte det. Ja då väljer jag inte dem. Och i den ordningen. 

00:24:28 Narcisa Hannerz 

Ja men funderar du också på open access?

00:24:30 Wim Grooten 

Ja precis det är nog egentligen nästan alla numera, öppen access.  

Och så har då KIB avtal med dem, för att inte behöva betala publiceringsavgiften. Ofta gör man det här helt utanför alla andra system. Man behöver inte söka medel från en forskningsfond eller någonting sånt för att göra en sån här studie.

00:24:51 Wim Grooten 

För det här blir ofta inom ramen för ett doktoranterarbet, ett magisterarbete, en fråga som kommer utifrån, zå jag har absolut inga extra medel för det, så att betala 30,000 för en artikel skulle jag aldrig gör. 

00:25:06 Narcisa Hannerz 

Det här med impactfaktorn tänkte jag. Du sa att ja, men tidskrifterna inom fysioterapi, de har kanske två, tre men jag tänker inom sitt område då kanske två, tre är ganska mycket. Så att man kan ju inte bara kolla på den unika siffran, asså, utan man får ju ändå kolla inom…

00:25:23 Wim Grooten 

Nej precis. Ja fältspecifikt, på något sätt, så brukar man pratar om det. Och det är väldigt ja, det är väldigt lågt. Men ofta blir det då, till exempel på NVS, att du ju måste konkurrera med de som publicerar någon annanstans och så därför ligger fysioterapi alltid så lågt. Men jag tror det handlar om ja att vårt område inte har så högt impact. 

[Jingel]

00:25:54 Narcisa Hannerz 

Vilken del är den svåraste när det kommer till att publicera en systematisk översikt? 

00:26:01 Wim Grooten 

Jag tänkte, vill du veta vad som är det svåraste är att utföra, att göra eller att… när man har sin färdiga produkt att få den publicerad eller? 

00:26:11 Narcisa Hannerz 

Att utföra och göra i själva processen.

00:26:16 Wim Grooten 

Processen. Ofta har man en fråga. Ja, men det här ska vi göra och sen börjar man, väldigt glad, och börjar söka och göra en söksträng och sen kommer man på, nej, jag skulle inte ha formulerat det på det här sättet.

Det svåraste är att börja om, men det bästa är egentligen att börja om. För att det kommer inte gå när man har missat någonting i början. Och det där är jättejobbigt, för man har lagt ganska många timmar och sen gör man om det. Och egentligen gör det ingenting om man gör om sökningen, men man måste börja om processen. Det är det som är det jobbigaste. 

Så nu har jag lärt mig att inte vara så snabb på bollen och tänker efter, vad… göra en provsökning och ser, funkar den? Och helst då göra en provsökning till när man har ett… har bestämt sig och då ofta kör man. Men tar jag en till, så vänta lite grann med det.

Och sen är det egentligen, det svåraste är att man ska ha uthållighet. För att man måste gå igenom så många olika steg så man kan tröttna och då är det väldigt bra med de här studentuppsatserna för de har en deadline.  

Har man… i en forskargrupp finns det ingen deadline och plötsligt tänker man oj, det var ett år sedan vi gjorde sökningen, nu måste vi uppdatera den och då kommer det nya grejer. Och nej, ska vi verkligen… hoppas inte att det kommer några nya. Och vi gör den nya men ska vi ta in den? Nej orkar inte.

Då blir det som med… med uthålligheten, den är jätteviktig att ha och det gäller egentligen i alla processer. Och sen ofta vill man bli av med arbetet på slutet och slarvar igenom diskussionen.

Och det är också en sån där grej, verkligen sitt i lugn och ro, gå ut och fiska, cykla eller någonting. Att vad har vi egentligen kommit fram till? Vad betyder den här effekt size på 2,0? Är det något som man ska lita på? Eller är det här egentligen bias? Eller vad är det för någonting? Innan man börjar skriva. Så att skriva en bara diskussion tror jag nog att det kräver sin man. Det andra är bara att göra.

00:28:23 Narcisa Hannerz 

Ja juste, men hur märker man då att man måste börja om? Alltså, hur långt kommer man?

00:28:28 Wim Grooten 

Nja, det märk… Ja precis det kan vara hela vägen och då gör det ingenting och då kan man skriva det i sin diskussion. Vi skulle ha gjort så och så och den här gäller bara där och där. Men om man märker till exempel… om man ville göra en sån metaanalys och man har inkluderat alldeles för många olika typer av interventioner. Ja men nu blir det bara heterogent. Det blir bara en stor röra av allting. Jag kan inte dra någon slutsats alls. Och det, det vill vi inte heller. 

Mera forskning behövs? Nej, du skulle ha sammanställt det på ett annat sätt. Så när man börjar göra fel då är det ganska jobbigt, men…Och då skulle man kunna då dela upp den. Och så har vi gjort någon gång, att OK, vi hade en sökning. Vi ville veta effekterna på folk som har gått igenom en multimodal rehabilitering. 

Och då, vad är det för effekter då? Vi hade öppet på outcomes så vi hade effekter på smärta, på funktion, på livskvalité, på pengar och det växte bara så mycket. Så insåg vi nej, men okej. Vi kan inte skriva alltihopa så nu väljer vi en artikel på funktion och sen tar vi nästa artikel på quality of life. 

Och så har man förhoppningsvis, att man delar upp det på outcome, då har vi tre, fyra artiklar. Men sen blev det naturligtvis bara två. 

Jag orkade inte skriva upp alla. Och sen efter… sökningen blev för gammal och sånt där under tiden, så då märkte vi att om jag hade gjort den här begränsningen till funktion redan från början, ja vad livet hade varit mycket lättare, för nu har vi gått igenom så många studier. Aha, det var den outkommen och det var den outcomen. Vi har inte tittat på O:et där i vårt PICOT. 

Så nu har jag blivit hårdare själv att… följa PICOT

00:30:16 Narcisa Hannerz 

Ja, jag tänker också ur ett sökarperspektiv, det är ju väldigt sällan vi söker på O:et, i PICOT.

00:30:22 Wim Grooten 

Nej precis, jag förstår det. Man vet inte riktigt vad som finns där ute och då lämnar man det öppet. Men i vårt fall blev det ja… vi drunknade där ja. 

00:30:31 Narcisa Hannerz 

Ja, så ibland så behöver man ju helt enkelt lägga till det.

00:30:33 Wim Grooten 

Ja och då skulle vi kanske ha gjort om sökningen med O först.

00:30:38 Narcisa Hannerz 

Men det är ju sånt man märker först i efter ja, tyvärr. 

Brukar du ta hjälp liksom… Ni brukar vara en del, som jobbar med översikten, brukar ni ta hjälp av någon utomstående? I olika delar. 

00:30:52 Wim Grooten 

Ja både utomstående… biblioteket är helt nödvändigt. Jag menar utan er skulle vi aldrig kunna överleva. Så jag vet inte om ni kallas för utomstående eller om ni är med i vårt… på KI. 

Men vi har ju en ganska stor forskargrupp så det finns folk som är intresserade. Sen är det massor med doktorander och studenter. De är inte heller utomstående. Nej, jag vet inte. Nej, jag skulle inte säga… Ja, man håller sig till de som man kan jobba med. Det är det som är som är viktig för att man kommer jobba med dem ganska länge, under en lång period.

Så man måste ha ett bra arbetsklimat och man kanske åker iväg någonstans och sitter och pillar med det och så. Ja, man måste ha bra kemi med varandra, så jag tror inte att vi jobbar med någon utanför. Förutom, just det, med den här… med multimodala rehabilitering. Då tog vi in experter som kunde kolla vad multimodal rehabilitering är. För att det är en sån otroligt vag term. Vad är multimodal? 

Och då tog vi in experter från Linköping som kunde det här. Så vi tog in dem speciellt bara för att granska på titel/abstractnivå för att se; är det multimodal ja eller nej.

Och det var jätteskönt för att, eftersom vi jobbar inte… eller jag jobbar, har inte jobbat med den typen av rehab. Så när jag läser en studie som säger interdisciplinär. Vad… är det multimodal eller?  Eller ja bara olika personer med olika bakgrund? Ja, samma sak, då är det inte multimodal.

Så då tog vi in experter därifrån så… och nu kom jag på det , att vi gjorde det.  

00:32:27 Narcisa Hannerz 

Ja, ja, men det är bra att man ändå kan ta hjälp av varandra.

00:32:31 Wim Grooten 

Ja, och de var jätte jätte tacksamma. Och de tyckte det var jätteroligt att hänga på. Vi fick tre, fyra   

professorer med på distans som jobbade. De hade inte så mycket tid så de fick kämpa med mig. Ja, jag jagade dem.

00:32:42 Narcisa Hannerz 

Ja, de tyckte nog att det var viktigt. 

00:32:45 Wim Grooten 

Jag tror det. Ja. 

[jingel]

00:32:52 Narcisa Hannerz 

Men brukar ni använda verktyg? 

00:32:55 Wim Grooten 

Ja, utan det går det inte. De första gjorde jag för hand. Det tog så lång tid och sånt där va, men nu finns det fina, jag vet inte för att nämna kanske Covidence och Rayyan. För att sortera sina studier, vilken ska in och vilken ska ut.

00:33:11 Wim Grooten 

Och på… ofta gör man då kanske en uppladdning för titel/abstract-nivå och sen gör man en ny för fulltext.

Jag tror i Covidence kan man göra båda samtidigt och även där finns det mallar hur man skriver artiklar. Jag brukar inte använda det egentligen utan jag brukar mest använda det som en sorteringsmaskin och det blir väldigt systematiskt. Man ser vem som har gjort vad och hur många man har kvar och man kan göra det på bussen. Nu finns det appar kring det, man kan swipea left eller swipea right. Vilka artiklar som ska inkluderars och vilka som ska exkluderas. 

00:33:46 Wim Grooten 

Så nej, det är jättebra. Ja, sånt där, men jag var på ett webbinarium med de [Covidence], för att de förstod att den här processen med att välja artiklar när man har 3000 träffar verkligen är tidskrävande. Men om jag har bra definitioner på alla mina PICO-dealar borde kanske en artificiell intelligens klara det? Så det var många som då diskuterade och de var alltså nöjda… Ja, men vi har väl 95 % rätt så där… Ja men vänta, det är 5 % fel fortfarande, det är inte systematiskt längre. 

Så jag vill ha hundra procent rätt… eller?

00:34:20 Narcisa Hannerz 

Ja, men frågan är hur mycket mer rätt gör vi som människor, vi kan ju missa…

00:34:25 Wim Grooten 

Vi kan väldigt… vi är människor, så det vore jätteintressant att följa den utvecklingen. Och det skulle underlätta livet väldigt mycket ifall… om vi har AI-tools som funkar. 

00:34:38 Narcisa Hannerz 

Det tror jag också. Jag var på en konferens förra året där man diskuterade just det här med AI inom screeningprocessen. Och då sa hon som höll i konferensen att… eller hon som höll i själva workshopen att det förmodligen är de nya disciplinerna som gör, alltså som precis har börjat med systematiska översikter som kommer anamma de här metoderna för att de ju inte har den här ryggsäcken med så här ska man göra.

00:34:57 Wim Grooten 

Precis, jag är för gammal i gamet här kanske.

00:35:04 Narcisa Hannerz 

Nej, nej men, jag tror liksom att de vågar kanske lita lite mer eller så… Ja, jag det var ganska intressant ändå att det...

00:35:13 Wim Grooten 

Kanske är det så att man… eftersom vi alltid måste gör det i duo, eller minst två måste göra det, Om jag har en som blir AI och en som är människan. Men nackdel är då att man inte vinner tid på det.

Så man kanske skulle ha två olika AI-system och se vad de säger.  

00:35:34 Narcisa Hannerz 

Det skulle vara väldigt intressant. 

00:35:35 Wim Grooten 

Ja. Nej, jag står verkligen och väntar tills någon säger att det här funkar. Men än så länge… Ja, jag tar allt.

00:35:45 Narcisa Hannerz 

Men jag tror också att det inom vissa såna här program finns som en RCT- klassificerare… Så det skulle ju vara jättebra om man kunde slippa ha RCT-filter i en sökning. Ja, som ändå måste liksom anpassas till olika databaser och det blir inte likadant utan att man har en klassificerare som gör likadant på alla referenser.

00:36:07 Wim Grooten 

Ja, det är bra. Men jag förstår att även om man har gjort en radomiserad kontrollerad trial… ibland döper man det till double blinded clinical trial och så är inte ordet randomiserad med och så hittar man inte det så det... Jag som läser kan förstår ja, men det här ska jag ha, men en AI kan inte förstå om ordet randomisering inte är med.

00:36:32 Narcisa Hannerz 

Nej, och om det utvecklats…. Så långt kanske…

00:36:34 Wim Grooten 

Kanske så långt att den fattade ändå, just det, ja men vi får hoppas det.

00:36:36 Narcisa Hannerz 

Narcisa

Ja det kan vi hoppas. Det skulle vara något

00:36:41 Wim Grooten 

Ja, ja gärna. Jag skulle köpa det på en gång.  

00:36:49 Wim Grooten 

Ja, vi hade en stor kurs på 7,5 poäng, som var då för doktorander att söka här på KI. Men även om man är utanför KI kan man söka den. Vi märkte att 7,5 poäng var väldigt mycket poäng inom en 30-poängsutbildning. Det är nästan en fjärdedel så då känner man… vissa vill inte skriva en hel, men nån vill veta hur man gör, men vill egentligen inte ha med det i sin avhandling. 

Till exempel vill man bara skriva en litteratur review i halvtidskappan egentligen och man vill förstå metodiken för att kunna ta till sig systematiska reviews för att förstå hur det går till. Så då tänkte vi, då gör vi den i 2 delar, en 4,5 poäng, där man går igenom hela metodiken och vilka steg som ingår.

Så vi har pratat om inclusion, exclusion och sen har man quality assesment, data extraction, metaanalys och sånt där. Så man går igenom de stegen, men man behöver inte göra dem utan bara förstå dem.

Och då skriver de ett PM för ifall… om man vill göra en litteraturstudie. Och hur ska det se ut? Och då gör man sökningen också med hjälp av biblioteket och så presenterar man det och det är egentligen… Det är precis som ett protokoll som man lägger upp i PROSPERO. Då bygger man bara… så det finns olika system. Men till exempel i PROSPERO kan man då anmäla att nu kommer jag att göra en systematisk review med den och den frågeställningen.

Sen kan man titta om det finns någon annan som håller på med det och sen kan man anpassa det och sånt där. Så vi… Fyra och en halv poängerna sluter med Prospero.  

Och sen, de som verkligen vill göra en systematisk översikt kan då gå den här trepoängskursen och göra hela jobbet då. 

00:38:33 Narcisa 

På tre och en halv poäng?

00:38:35 Wim Grooten 

På tre poäng då. Ja, OK, så det är lite. Men som jag sa från början har man gjort det där första bra, då är det egentligen bara uthållighet som gäller. Och då gör man klart.

Så då börjar jag då första dagen på terminen och examinationen på slutet av terminen så man får en hel termin på sig att skriva sin vetenskapliga artikel på. Och ofta ingår det ändå i avhandlingen så på så sätt får de då 7,5 poäng och en artikel som ändå år en fjärdedel av avhandling. Så de två tillsammans känns bra, men jag förstår att när man inte vill göra allt det andra jobbet då var 7,5 poäng ganska mycket för dem. 

Att verkligen sitta och med title/abstract… fast det är ganska bra att göra det, för att då får man verkligen… Komma in i jobbet då man lär sig läsa artiklar. För man kan inte läsa en artikel från första ordet till sista ordet. Man hoppar och det är en skill som jag inte vet hur man ska lära ut. Det är bara att göra.

00:39:39 Narcisa Hannerz 

Det känns som att det är en jättesvår skill som jag inte har. 

00:39:42 Wim Grooten 

Och vissa har fastnat då. Jag märkte det på mina bachelorstudenter när de ska läsa en vetenskaplig artikel och säger att nej det tar mig 4 timmar att läsa. Och nej, det borde kunna ta 35 sekunder att läsa en vetenskaplig artikeln och det där är något som man lär sig då, genom att verkligen göra en systematisk review.

Och man kan inte fastna, man måste gå till aimet, titta lite på tabeller. Vad står det i första raden av diskussionen? Ja, in out - out. 

00:40:09 Narcisa Hannerz 

Jo precis, nej men har man 120 fulltexter att läsa så kan man ju inte läsa dem från…

00:40:13 Wim Grooten 

Nej och det där är då en liten extra skill, så man tycker att den här kursen ligger väldigt bra som början av en doktorandutbildning, att man lär sig hur en vetenskaplig artikel är uppbyggd, hur man skriver dem. Och jag tror man får ganska mycket med sig där till de andra artiklarna där man ska skriva en egen RCT och hur de har gjort.

Så ja, nu hörde jag precis att den här uppföljningskursen på 3 poängen inte går till våren men det är bara att kämpa för att försöka ge den ändå på något sätt. 

00:40:47 Narcisa Hannerz 

Ja, det får vi hoppas att det går, på något sätt. 

00:40:51 Narcisa Hannerz 

Men vad verkar liksom doktoranderna tycka är det svåra med metoden? När de är i den här fösta delen t.ex.?

00:40:59 Wim Grooten 

I den första? Ja, det är det här med inkluderings- och exkluderingskriterier. Vad vill jag? Ofta är de ambitiösa och vill ha allt möjligt med. Kill your darlings där också. Nej, den här studien ska ju bara titta på funktionen och inte någonting annat. Så egentligen att våga begränsa sig. Men naturligtvis är man helt ny i ett ämne hur ska jag veta vad jag ska begränsa?

Och därför tycker jag att handledarna ska vara med i den processen. 

00:41:26 Wim Grooten 

Men jag tror inte att handledarna ska vara med och bedöma artiklar och sånt där. Så det gäller att ha ett team med doktorand egentligen som jobbar kring samma metod eller samma patientgrupp att man hjälps åt då.

Så får ni en fråga… ja, vill ni vara med? Och säger nej, men jag har inte tid för det där, det kan jag inte sitta… Då tycker jag att du ska tänka om, ja visst, det kan jag göra i några dagar för det här och du lär dig så mycket och har du möjlighet att utföra en systematisk review, då tycker jag att du ska hoppa på tåget. 

00:42:03 Narcisa Hannerz 

Ja nej men det, det var en bra avslutning tänker jag till vårt samtal. Jag har inga fler frågor, har du några frågor? 

00:42:16 Wim Grooten 

Nej, jag tror att vi kan prata en timme till, men det kan vi nog säga att det är.

00:42:21 Narcisa Hannerz 

Ja nej, men det känns… man skulle ju kunna prata hur mycket som helst om det och verkligen dela upp det i flera avsnitt ochdjupdyka.

00:42:26 Wim Grooten 

Ja vi har inte gått igenom quality assesment.

00:42:30 Narcisa Hannerz 

Nej precis.

00:42:31 Wim Grooten 

Men det tar vi en annan gång.

00:42:31 Narcisa Hannerz 

Det tar vi en annan gång, precis. Tack så jättemycket Wim för att du var här och ville delta i vårat pilotavsnitt för våran podd. 

00:42:41Wim Grooten 

Självklart att jag ställer upp på sånt. Tack.

 00:42:43 Narcisa Hannerz 

Tack

00:42:45 Lina Lindstein 

Du har hört ett avsnitt av KIB-podden, en poddserie från Karolinska institutet universitetsbibliotek. 

Du som forskar vid KI kan få stöd och vägledning från biblioteket i allt som rör vetenskaplig informationssökning, referenshantering och publicering. Från oss kan du även beställa sökuppdrag, till exempel för en systematisk översikt, boka handledning eller delta i någon av våra öppna workshoppar om du vill veta mer om våra tjänster besök oss på www.kib.ki.se. 

 Vi som gör den här podden är David Herron, Narcisa Hannerz, Karolina Karjalainen och Lina Lindstein. Ansvarig utgivare är Miriam Nauri och vi jobbar alla på Karolinska institutets bibliotek. Tack för att du lyssnade.