4 vragen aan Joanna Ng
Bespreking van een evaluatie van de kunstmatige intelligentie van Rayyan hulpmiddel voor systematische literatuuronderzoek.
Wat heeft dit onderzoek geïnspireerd?
Mijn posterpresentatie evalueert de Rayyan-tool voor kunstmatige intelligentie (AI) voor systematische literatuuronderzoek.
AI is een groeiend onderwerp binnen de gezondheidszorg en verschillende gebieden van de gezondheidszorg proberen het op verschillende manieren te integreren, van patiëntenzorg tot gegevensaggregatie.
Bij Cencora voeren we regelmatig systematisch literatuuronderzoek uit, een proces dat veel tijd en moeite kost. Doorgaans kost het doorzoeken van de enorme hoeveelheid literatuur in de screeningsfase van de titel/samenvatting vele uren. We wilden manieren onderzoeken om de screeningfase van titel/abstract te stroomlijnen met behulp van de Rayyan AI-tool.
Was er een hypothese die door het onderzoek werd bevestigd?
Ons doel was om te evalueren of de AI-tool relevante literatuur effectief kon identificeren in de screeningsfase van titel/abstract. Onderzoekers staan voor de uitdaging om elk stuk literatuur binnen een grote hoeveelheid zoekresultaten te lezen en te beoordelen op relevantie voor hun onderwerp; daarom hebben we geprobeerd de prestaties en efficiëntie van de Rayyan AI-tool te evalueren in de fase van systematische literatuuronderzoektitel/abstractscreening. Over verschillende onderwerpen, waaronder klinische, humanistische en economische gebieden, presteerde de tool uitzonderlijk goed bij het selecteren van de relevante artikelen van belang. Deze consistentie verzekerde ons van de betrouwbaarheid ervan.
Wat is de belangrijkste conclusie van uw onderzoek?
We hebben de Rayyan AI-tool getraind op 20% van de referenties voor twee systematische literatuuronderzoeken die eerder werden uitgevoerd door menselijke reviewers. De tool voorspelde vervolgens de relevantie van de resterende referenties op een schaal van 1-5, variërend van "meest waarschijnlijk om uit te sluiten" tot "meest waarschijnlijk om op te nemen". We vergeleken de beoordelingen met die van menselijke recensenten en ontdekten dat de gevoeligheid van de tool varieerde van 79% tot 100% voor alle uitkomsten. De specificiteit varieerde van 8% tot 62% voor alle uitkomsten. Het onderzoek bevestigde dat de Rayyan AI-tool een hoge gevoeligheid heeft, waardoor relevante artikelen effectief worden geïdentificeerd. Het heeft echter een lage tot matige specificiteit, wat betekent dat het moeite heeft om irrelevante artikelen uit te sluiten.
Er is potentieel voor tijdbesparing met het gebruik van de Rayyan AI-tool. De tijdsbesparing varieerde van 6% tot 47% voor een enkele beoordelaar die de Rayyan AI-tool gebruikte. De tijdsbesparing voor dubbele screening, de typische standaard voor spiegelreflexcamera's, met 1 menselijke beoordelaar en Rayyan AI-tool, was echter bescheiden (3%-23%).
Wat is de volgende stap voor dit onderzoek?
Hoewel de Rayyan AI-tool een matige tijdsbesparing en een hoge gevoeligheid oplevert, onderzoeken we manieren om tijdwinst en specificiteit te vergroten. Daarnaast overwegen we hoe we AI-tools verder kunnen integreren in het bredere systematische literatuuronderzoekproces. Mijn evaluatie was gericht op het screenen van samenvattingen en titels, maar er kunnen andere stadia van het systematische literatuuronderzoek zijn waarin AI-tools nuttig kunnen zijn.
Voor meer informatie over Joanna's onderzoek, bekijk haar poster hier.
Citaten die relevant zijn voor de hierin beschreven inhoud worden gegeven in het artikel waarnaar hier wordt gelinkt. Lezers dienen alle beschikbare informatie met betrekking tot de hierin genoemde onderwerpen te bekijken en te vertrouwen op hun eigen ervaring en expertise bij het nemen van beslissingen die daarmee verband houden.
