4 domande a Joanna Ng

Cosa ha ispirato questa ricerca?

La mia presentazione poster valuta lo strumento di intelligenza artificiale (AI) Rayyan per lo screening sistematico della revisione della letteratura.

L'intelligenza artificiale è un argomento di crescente interesse all'interno dell'assistenza sanitaria e varie aree dell'assistenza sanitaria stanno cercando di integrarla in modi diversi, dalla cura del paziente all'aggregazione dei dati.

Noi di Cencora conduciamo spesso revisioni sistematiche della letteratura, un processo che richiede molto tempo e impegno. In genere, l'ordinamento della grande quantità di letteratura nella fase di screening del titolo/abstract richiede molte ore. Il nostro obiettivo era quello di esplorare modi per semplificare la fase di screening del titolo/abstract con l'assistenza dello strumento Rayyan AI.

C'è stata un'ipotesi che è stata confermata attraverso la ricerca?

Il nostro obiettivo era quello di valutare se lo strumento di IA potesse identificare efficacemente la letteratura pertinente nella fase di screening del titolo/abstract. I ricercatori affrontano la sfida di leggere e valutare ogni pezzo di letteratura all'interno di un pesante volume di risultati di ricerca per la pertinenza al loro argomento; pertanto, abbiamo cercato di valutare le prestazioni e le efficienze dello strumento Rayyan AI nella fase di screening del titolo/abstract della revisione sistematica della letteratura. In vari argomenti, tra cui quelli clinici, umanistici ed economici, lo strumento si è comportato eccezionalmente bene nella selezione degli articoli di interesse pertinenti. Questa coerenza ci ha rassicurato sulla sua affidabilità.

Qual è il punto chiave della tua ricerca?

Abbiamo addestrato lo strumento Rayyan AI sul 20% dei riferimenti per due revisioni sistematiche della letteratura che in precedenza erano state condotte da revisori umani. Lo strumento ha quindi previsto la pertinenza dei riferimenti rimanenti su una scala da 1 a 5, che va da "più probabile da escludere" a "più probabile da includere". Abbiamo confrontato le sue valutazioni con quelle dei revisori umani e abbiamo scoperto che la sensibilità dello strumento variava dal 79% al 100% in tutti i risultati. La specificità variava dall'8% al 62% in tutti i risultati. La ricerca ha confermato che lo strumento Rayyan AI ha un'elevata sensibilità, identificando efficacemente gli articoli pertinenti. Tuttavia, ha una specificità da bassa a moderata, il che significa che fatica a escludere articoli irrilevanti.

C'è un potenziale di risparmio di tempo con l'utilizzo dello strumento Rayyan AI. Il risparmio di tempo variava dal 6% al 47% per un singolo revisore che utilizzava lo strumento Rayyan AI. Tuttavia, il risparmio di tempo per il doppio screening, che è lo standard tipico per le reflex, con 1 revisore umano e lo strumento Rayyan AI, è stato modesto (3%-23%).

Quali sono le prospettive di questa ricerca?

Sebbene lo strumento Rayyan AI offra un moderato risparmio di tempo e un'elevata sensibilità, stiamo esplorando modi per aumentare il risparmio di tempo e la specificità. Inoltre, stiamo valutando come integrare ulteriormente gli strumenti di IA nel più ampio processo di revisione sistematica della letteratura. La mia valutazione si è concentrata sulla selezione degli abstract e dei titoli, ma potrebbero esserci altre fasi del processo di revisione sistematica della letteratura in cui gli strumenti di intelligenza artificiale potrebbero essere utili.

Per saperne di più sulla ricerca di Joanna, guarda il suo poster qui.

Le citazioni rilevanti per il contenuto qui descritto sono fornite nell'articolo collegato qui. I lettori dovrebbero esaminare tutte le informazioni disponibili relative agli argomenti menzionati nel presente documento e fare affidamento sulla propria esperienza e competenza nel prendere decisioni in merito.