4 otázky s Joannou Ng

Co inspirovalo tento výzkum?

Ve své posterové prezentaci hodnotím nástroj umělé inteligence (AI) Rayyan pro systematický screening literatury.

Umělá inteligence je ve zdravotnictví stále větším tématem zájmu a různé oblasti zdravotnictví se ji snaží integrovat různými způsoby, od péče o pacienty až po agregaci dat.

Ve společnosti Cencora často provádíme systematické rešerše literatury, což je proces, který vyžaduje značné množství času a úsilí. Třídění obrovského množství literatury ve fázi screeningu názvu/abstraktu obvykle vyžaduje mnoho hodin. Naším cílem bylo prozkoumat způsoby, jak zefektivnit fázi projekce názvu/abstraktu s pomocí nástroje Rayyan AI.

Byla nějaká hypotéza, která se výzkumem potvrdila?

Naším cílem bylo vyhodnotit, zda nástroj umělé inteligence dokáže efektivně identifikovat relevantní literaturu ve fázi screeningu názvu/abstraktu. Výzkumní pracovníci čelí výzvě číst a posuzovat každou literaturu v rámci velkého objemu výsledků vyhledávání z hlediska relevance k jejich tématu; proto jsme se snažili zhodnotit výkon a efektivitu nástroje Rayyan AI ve fázi systematického screeningu názvu literatury/abstraktu. Napříč různými tématy, včetně klinických, humanitních a ekonomických oborů, si tento nástroj vedl výjimečně dobře při výběru relevantních článků, které vás zajímají. Tato konzistence nás ujistila o jeho spolehlivosti.

Co je klíčovým poznatkem z vašeho výzkumu?

Nástroj Rayyan AI jsme vytrénovali na 20 % referencí pro dva systematické přehledy literatury, které dříve provedli lidští recenzenti. Nástroj poté předpověděl relevanci zbývajících odkazů na stupnici od 1 do 5 v rozmezí od "s největší pravděpodobností vyloučí" po "s největší pravděpodobností zahrnou". Porovnali jsme jeho hodnocení s hodnocením lidských recenzentů a zjistili jsme, že citlivost nástroje se ve všech výsledcích pohybovala od 79 % do 100 %. Specificita se pohybovala od 8 % do 62 % napříč všemi výsledky. Výzkum potvrdil, že nástroj Rayyan AI má vysokou citlivost a efektivně identifikuje relevantní články. Má však nízkou až střední specifičnost, což znamená, že se snaží vyloučit irelevantní články.

S používáním nástroje Rayyan AI existuje potenciál pro úsporu času. Úspora času se pohybovala od 6 % do 47 % pro jednoho recenzenta pomocí nástroje Rayyan AI. Úspora času u duálního screeningu, který je typickým standardem pro zrcadlovky, s 1 lidským recenzentem a nástrojem Rayyan AI, však byla skromná (3–23 %).

Co bude s tímto výzkumem dál?

Zatímco nástroj Rayyan AI poskytuje mírnou úsporu času a vysokou citlivost, zkoumáme způsoby, jak zvýšit úsporu času a specifičnost. Kromě toho zvažujeme, jak dále integrovat nástroje umělé inteligence do širšího procesu systematické rešerše literatury. Moje hodnocení se zaměřilo na screening abstraktů a názvů, ale mohou existovat i další fáze procesu systematické rešerše literatury, kde by mohly být nástroje umělé inteligence přínosné.

Chcete-li se dozvědět více o Joannině výzkumu, podívejte se na její plakát zde.

Citace relevantní k zde popsanému obsahu jsou uvedeny v článku, na který je zde odkazováno. Čtenáři by si měli přečíst všechny dostupné informace týkající se zde uvedených témat a při rozhodování s nimi se spolehnout na své vlastní zkušenosti a odborné znalosti.