Joanna Ng ile 4 soru

Bu araştırmaya ne ilham verdi?

Poster sunumum, sistematik literatür taraması taraması için Rayyan yapay zeka (AI) aracını değerlendiriyor.

Yapay zeka, sağlık hizmetlerinde giderek artan bir ilgi konusudur ve sağlık hizmetlerinin çeşitli alanları, onu hasta bakımından veri toplamaya kadar farklı şekillerde entegre etmeye çalışmaktadır.

Cencora'da sık sık sistematik literatür taraması yaparız ve bu süreç oldukça zaman ve çaba gerektirir. Tipik olarak, başlık/özet tarama aşamasında çok miktarda literatürü sıralamak saatler gerektirir. Rayyan AI aracının yardımıyla başlık/özet tarama aşamasını kolaylaştırmanın yollarını keşfetmeyi amaçladık.

Araştırma yoluyla doğrulanan bir hipotez var mıydı?

Amacımız, yapay zeka aracının başlık/özet tarama aşamasında ilgili literatürü etkili bir şekilde tanımlayıp tanımlayamayacağını değerlendirmekti. Araştırmacılar, her bir literatür parçasını, konularıyla alaka düzeyi açısından çok sayıda arama sonucu içinde okuma ve değerlendirme zorluğuyla karşı karşıyadır; bu nedenle, sistematik literatür taraması başlık/özet taraması aşamasında Rayyan AI aracının performansını ve verimliliğini değerlendirmeye çalıştık. Klinik, insancıl ve ekonomik alanlar da dahil olmak üzere çeşitli konularda, araç ilgili makaleleri seçmede son derece iyi performans gösterdi. Bu tutarlılık, güvenilirliği konusunda bize güvence verdi.

Araştırmanızdan elde ettiğiniz temel çıkarım nedir?

Rayyan AI aracını, daha önce insan hakemler tarafından yürütülen iki sistematik literatür taraması için referansların %20'si üzerinde eğittik. Araç daha sonra kalan referansların alaka düzeyini "hariç tutma olasılığı en yüksek" ile "dahil etme olasılığı en yüksek" arasında değişen 1-5 arasında bir ölçekte tahmin etti. Derecelendirmelerini insan gözden geçirenlerinkilerle karşılaştırdık ve aracın hassasiyetinin tüm sonuçlarda %79 ile %100 arasında değiştiğini gördük. Özgüllük tüm sonuçlarda %8 ile %62 arasında değişmektedir. Araştırma, Rayyan AI aracının yüksek bir hassasiyete sahip olduğunu ve ilgili makaleleri etkili bir şekilde tanımladığını doğruladı. Bununla birlikte, düşük ila orta derecede özgüllüğe sahiptir, yani alakasız makaleleri hariç tutmakta zorlanır.

Rayyan AI aracını kullanarak zamandan tasarruf etme potansiyeli vardır. Zaman tasarrufu, Rayyan AI aracını kullanan tek bir yorumcu için %6-%47 arasında değişiyordu. Bununla birlikte, 1 insan gözden geçiren ve Rayyan AI aracıyla SLR'ler için tipik standart olan ikili tarama için zaman tasarrufu mütevazıydı (%3-%23).

Bu araştırma için sırada ne var?

Rayyan AI aracı orta düzeyde zaman tasarrufu ve yüksek hassasiyet sağlarken, zaman tasarrufunu ve özgüllüğü artırmanın yollarını araştırıyoruz. Ek olarak, yapay zeka araçlarını daha geniş sistematik literatür tarama sürecine nasıl daha fazla entegre edebileceğimizi düşünüyoruz. Değerlendirmem özet ve başlık taramasına odaklandı, ancak sistematik literatür tarama sürecinin yapay zeka araçlarının faydalı olabileceği başka aşamaları da olabilir.

Joanna'nın araştırması hakkında daha fazla bilgi edinmek için posterini buradan görüntüleyin.

Burada açıklanan içerikle ilgili alıntılar, burada bağlantısı verilen makalede verilmiştir. Okuyucular, burada belirtilen konularla ilgili mevcut tüm bilgileri gözden geçirmeli ve bunlarla ilgili karar verirken kendi deneyim ve uzmanlıklarına güvenmelidir.