4 spørsmål med Joanna Ng

Hva har inspirert denne forskningen?

Plakatpresentasjonen min evaluerer Rayyans verktøy for kunstig intelligens (AI) for systematisk litteraturgjennomgangsscreening.

AI er et økende tema av interesse innen helsevesenet, og ulike områder av helsevesenet søker å integrere det på forskjellige måter, fra pasientbehandling til dataaggregering.

Hos Cencora gjennomfører vi ofte systematiske litteraturgjennomganger, en prosess som krever mye tid og krefter. Vanligvis tar det mange timer å sortere gjennom den enorme mengden litteratur i tittel-/abstraktscreeningsfasen. Vi hadde som mål å utforske måter å strømlinjeforme tittel-/abstraktvisningsfasen ved hjelp av Rayyan AI-verktøyet.

Var det en hypotese som ble bekreftet gjennom forskningen?

Målet vårt var å evaluere om AI-verktøyet effektivt kunne identifisere relevant litteratur i tittel-/abstraktscreeningsfasen. Forskere står overfor utfordringen med å lese og vurdere hvert stykke litteratur innenfor et stort volum av søkeresultater for relevans for deres emne; derfor forsøkte vi å evaluere ytelsen og effektiviteten til Rayyan AI-verktøyet i den systematiske litteraturgjennomgangstittelen/abstraktscreeningsfasen. På tvers av ulike emner, inkludert kliniske, humanistiske og økonomiske felt, fungerte verktøyet eksepsjonelt godt i å velge de relevante artiklene av interesse. Denne konsistensen forsikret oss om påliteligheten.

Hva er det viktigste å ta med seg fra forskningen din?

Vi trente Rayyan AI-verktøyet på 20 % av referansene for to systematiske litteraturoversikter som tidligere ble utført av menneskelige anmeldere. Verktøyet forutsa deretter relevansen til de gjenværende referansene på en skala fra 1-5, alt fra «mest sannsynlig å ekskludere» til «mest sannsynlig å inkludere». Vi sammenlignet vurderingene med menneskelige anmeldere og fant ut at verktøyets følsomhet varierte fra 79 % til 100 % på tvers av alle utfall. Spesifisiteten varierte fra 8 % til 62 % på tvers av alle utfall. Forskningen bekreftet at Rayyan AI-verktøyet har høy følsomhet, og effektivt identifiserer relevante artikler. Den har imidlertid lav til moderat spesifisitet, noe som betyr at den sliter med å ekskludere irrelevante artikler.

Det er potensial for tidsbesparelser ved å bruke Rayyan AI-verktøyet. Tidsbesparelsene varierte fra 6 % til 47 % for en enkelt korrekturleser som bruker Rayyan AI-verktøyet. Tidsbesparelsene for dobbel screening, som er den typiske standarden for speilreflekskameraer, med 1 menneskelig anmelder og Rayyan AI-verktøy, var imidlertid beskjedne (3 %-23 %).

Hva er det neste for denne forskningen?

Mens Rayyan AI-verktøyet gir moderate tidsbesparelser og høy følsomhet, utforsker vi måter å øke tidsbesparelser og spesifisitet på. I tillegg vurderer vi hvordan vi kan integrere AI-verktøy ytterligere i den bredere systematiske litteraturgjennomgangsprosessen. Evalueringen min fokuserte på abstrakt- og tittelscreening, men det kan være andre stadier av den systematiske litteraturgjennomgangsprosessen der AI-verktøy kan være nyttige.

For å lære mer om Joannas forskning, se plakaten hennes her.

Sitater som er relevante for innholdet beskrevet her, er gitt i artikkelen som er lenket til her. Lesere bør gjennomgå all tilgjengelig informasjon relatert til emnene nevnt her og stole på sin egen erfaring og ekspertise for å ta beslutninger relatert til dette.