4 întrebări cu Joanna Ng

Ce a inspirat această cercetare?

Prezentarea mea de poster evaluează instrumentul de inteligență artificială (AI) Rayyan pentru verificarea sistematică a revizuirii literaturii.

AI este un subiect de interes din ce în ce mai mare în domeniul sănătății și diverse domenii ale sănătății încearcă să o integreze în diferite moduri, de la îngrijirea pacienților până la agregarea datelor.

La Cencora, efectuăm frecvent analize sistematice ale literaturii, un proces care necesită mult timp și efort. De obicei, sortarea cantității mari de literatură în faza de examinare a titlurilor / rezumatului necesită multe ore. Ne-am propus să explorăm modalități de a eficientiza faza de screening a titlului/rezumatului cu ajutorul instrumentului Rayyan AI.

A existat o ipoteză care a fost confirmată prin cercetare?

Obiectivul nostru a fost de a evalua dacă instrumentul AI poate identifica în mod eficient literatura relevantă în faza de screening a titlului/rezumatului. Cercetătorii se confruntă cu provocarea de a citi și evalua fiecare literatură într-un volum mare de rezultate de căutare pentru relevanța pentru subiectul lor; prin urmare, am căutat să evaluăm performanța și eficiența instrumentului Rayyan AI în faza de examinare a titlului / rezumatului revizuirii sistematice a literaturii. Pe diverse subiecte, inclusiv în domeniile clinice, umaniste și economice, instrumentul a funcționat excepțional de bine în selectarea articolelor relevante de interes. Această consecvență ne-a asigurat de fiabilitatea sa.

Care este principala concluzie a cercetării dvs.?

Am antrenat instrumentul Rayyan AI pe 20% din referințele pentru două revizuiri sistematice ale literaturii care au fost efectuate anterior de revizori umani. Instrumentul a prezis apoi relevanța referințelor rămase pe o scară de la 1 la 5, variind de la "cel mai probabil de a exclude" la "cel mai probabil de a include". Am comparat evaluările sale cu cele ale recenzenților umani și am constatat că sensibilitatea instrumentului a variat de la 79% la 100% pentru toate rezultatele. Specificitatea a variat de la 8% la 62% în toate rezultatele. Cercetarea a confirmat că instrumentul Rayyan AI are o sensibilitate ridicată, identificând eficient articolele relevante. Cu toate acestea, are o specificitate scăzută până la moderată, ceea ce înseamnă că se luptă să excludă articolele irelevante.

Există potențial de economisire a timpului cu utilizarea instrumentului Rayyan AI. Economia de timp a variat de la 6% la 47% pentru un singur recenzor care folosește instrumentul Rayyan AI. Cu toate acestea, economiile de timp pentru screening-ul dublu, care este standardul tipic pentru SLR-uri, cu 1 recenzor uman și instrumentul Rayyan AI, au fost modeste (3%-23%).

Ce urmează pentru această cercetare?

În timp ce instrumentul Rayyan AI oferă economii moderate de timp și sensibilitate ridicată, explorăm modalități de a crește economisirea de timp și specificitatea. În plus, luăm în considerare cum să integrăm în continuare instrumentele AI în procesul mai larg de revizuire sistematică a literaturii. Evaluarea mea s-a concentrat pe evaluarea abstractelor și a titlului, dar pot exista și alte etape ale procesului de revizuire sistematică a literaturii în care instrumentele AI ar putea fi benefice.

Pentru a afla mai multe despre cercetarea Joannei, vizualizați posterul ei aici.

Citate relevante pentru conținutul descris aici sunt furnizate în articolul legat aici. Cititorii ar trebui să revizuiască toate informațiile disponibile legate de subiectele menționate aici și să se bazeze pe propria experiență și expertiză în luarea deciziilor legate de acestea.