4 vragen aan Joanna Ng
Bespreking van een evaluatie van de kunstmatige intelligentie van Rayyan hulpmiddel voor systematische literatuuronderzoek.
Wat heeft dit onderzoek geïnspireerd?
Mijn posterpresentatie evalueert de Rayyan-tool voor kunstmatige intelligentie (AI) voor systematische literatuuronderzoek.
AI is een groeiend onderwerp binnen de gezondheidszorg en verschillende gebieden van de gezondheidszorg proberen het op verschillende manieren te integreren, van patiëntenzorg tot gegevensaggregatie.
Bij Cencora voeren we regelmatig systematisch literatuuronderzoek uit, een proces dat veel tijd en moeite kost. Doorgaans kost het doorzoeken van de enorme hoeveelheid literatuur in de screeningsfase van de titel/samenvatting vele uren. We wilden manieren onderzoeken om de screeningfase van titel/abstract te stroomlijnen met behulp van de Rayyan AI-tool.
Was er een hypothese die door het onderzoek werd bevestigd?
Ons doel was om te evalueren of de AI-tool relevante literatuur effectief kon identificeren in de screeningsfase van titel/abstract. Onderzoekers staan voor de uitdaging om elk stuk literatuur binnen een grote hoeveelheid zoekresultaten te lezen en te beoordelen op relevantie voor hun onderwerp; daarom hebben we geprobeerd de prestaties en efficiëntie van de Rayyan AI-tool te evalueren in de fase van systematische literatuuronderzoektitel/abstractscreening. Over verschillende onderwerpen, waaronder klinische, humanistische en economische gebieden, presteerde de tool uitzonderlijk goed bij het selecteren van de relevante artikelen van belang. Deze consistentie verzekerde ons van de betrouwbaarheid ervan.
Wat is de belangrijkste conclusie van uw onderzoek?
We hebben de Rayyan AI-tool getraind op 20% van de referenties voor twee systematische literatuuronderzoeken die eerder werden uitgevoerd door menselijke reviewers. De tool voorspelde vervolgens de relevantie van de resterende referenties op een schaal van 1-5, variërend van "meest waarschijnlijk om uit te sluiten" tot "meest waarschijnlijk om op te nemen". We vergeleken de beoordelingen met die van menselijke recensenten en ontdekten dat de gevoeligheid van de tool varieerde van 79% tot 100% voor alle uitkomsten. De specificiteit varieerde van 8% tot 62% voor alle uitkomsten. Het onderzoek bevestigde dat de Rayyan AI-tool een hoge gevoeligheid heeft, waardoor relevante artikelen effectief worden geïdentificeerd. Het heeft echter een lage tot matige specificiteit, wat betekent dat het moeite heeft om irrelevante artikelen uit te sluiten.
Er is potentieel voor tijdbesparing met het gebruik van de Rayyan AI-tool. De tijdsbesparing varieerde van 6% tot 47% voor een enkele beoordelaar die de Rayyan AI-tool gebruikte. De tijdsbesparing voor dubbele screening, de typische standaard voor spiegelreflexcamera's, met 1 menselijke beoordelaar en Rayyan AI-tool, was echter bescheiden (3%-23%).
Wat is de volgende stap voor dit onderzoek?
Hoewel de Rayyan AI-tool een matige tijdsbesparing en een hoge gevoeligheid oplevert, onderzoeken we manieren om tijdwinst en specificiteit te vergroten. Daarnaast overwegen we hoe we AI-tools verder kunnen integreren in het bredere systematische literatuuronderzoekproces. Mijn evaluatie was gericht op het screenen van samenvattingen en titels, maar er kunnen andere stadia van het systematische literatuuronderzoek zijn waarin AI-tools nuttig kunnen zijn.
Voor meer informatie over Joanna's onderzoek, bekijk haar poster hier.
Citaten die relevant zijn voor de hierin beschreven inhoud worden gegeven in het artikel waarnaar hier wordt gelinkt. Lezers dienen alle beschikbare informatie met betrekking tot de hierin genoemde onderwerpen te bekijken en te vertrouwen op hun eigen ervaring en expertise bij het nemen van beslissingen die daarmee verband houden.
Related resources
Cencora.com biedt geautomatiseerde vertalingen om te helpen bij het lezen van de website in andere talen dan het Engels. Voor deze vertalingen zijn redelijke inspanningen geleverd om een nauwkeurige vertaling te leveren, maar geen enkele geautomatiseerde vertaling is perfect en is ook niet bedoeld om menselijke vertalers te vervangen. Deze vertalingen worden aangeboden als een service aan gebruikers van Cencora.com en worden geleverd 'in de huidige staat'. Er wordt geen enkele garantie gegeven, expliciet of impliciet, met betrekking tot de nauwkeurigheid, betrouwbaarheid of juistheid van deze vertalingen die vanuit het Engels in een andere taal zijn gemaakt. Sommige inhoud (zoals afbeeldingen, video's, Flash, enz.) wordt mogelijk niet nauwkeurig vertaald vanwege de beperkingen van de vertaalsoftware.
Eventuele discrepanties of verschillen die ontstaan bij het vertalen van deze inhoud van het Engels naar een andere taal zijn niet bindend en hebben geen rechtsgevolgen voor naleving, handhaving of enig ander doel. Als er fouten worden vastgesteld, neem dan contact met ons op . Als er vragen rijzen met betrekking tot de juistheid van de informatie in deze vertalingen, raadpleeg dan de Engelse versie van de pagina.