4 Fragen an Joanna Ng

Was hat Sie zu dieser Forschung inspiriert?

In meiner Posterpräsentation evaluiere ich das Rayyan-Tool für künstliche Intelligenz (KI) für das systematische Screening von Literaturrecherchen.

KI ist ein wachsendes Thema des Interesses im Gesundheitswesen, und verschiedene Bereiche des Gesundheitswesens versuchen, sie auf unterschiedliche Weise zu integrieren, von der Patientenversorgung bis hin zur Datenaggregation.

Bei Cencora führen wir häufig systematische Literaturrecherchen durch, ein Prozess, der viel Zeit und Mühe erfordert. In der Regel dauert das Sortieren der riesigen Menge an Literatur in der Titel-/Abstract-Screening-Phase viele Stunden. Unser Ziel war es, Wege zu finden, um die Titel-/Abstract-Screening-Phase mit Hilfe des Rayyan-KI-Tools zu rationalisieren.

Gab es eine Hypothese, die durch die Forschung bestätigt wurde?

Unser Ziel war es, zu evaluieren, ob das KI-Tool relevante Literatur in der Titel-/Abstract-Screening-Phase effektiv identifizieren kann. Forschende stehen vor der Herausforderung, jedes Stück Literatur in einer großen Menge von Suchergebnissen auf Relevanz für ihr Thema zu lesen und zu bewerten. Daher haben wir versucht, die Leistung und Effizienz des Rayyan-KI-Tools in der Phase des Titel-/Abstract-Screenings der systematischen Literaturrecherche zu bewerten. In verschiedenen Themenbereichen, darunter klinische, geisteswissenschaftliche und wirtschaftliche Bereiche, schnitt das Tool bei der Auswahl der relevanten Artikel von Interesse außergewöhnlich gut ab. Diese Konsistenz hat uns von seiner Zuverlässigkeit überzeugt.

Was ist die wichtigste Erkenntnis aus Ihrer Forschung?

Wir haben das Rayyan-KI-Tool mit 20 % der Referenzen für zwei systematische Literaturrecherchen trainiert, die zuvor von menschlichen Gutachtern durchgeführt wurden. Das Tool prognostizierte dann die Relevanz der verbleibenden Referenzen auf einer Skala von 1 bis 5, die von "am wahrscheinlichsten ausschließen" bis "am wahrscheinlichsten einschließen" reichte. Wir verglichen die Bewertungen mit denen menschlicher Gutachter und stellten fest, dass die Sensitivität des Tools über alle Endpunkte hinweg zwischen 79 % und 100 % lag. Die Spezifität lag bei allen Endpunkten zwischen 8 % und 62 %. Die Untersuchung bestätigte, dass das Rayyan-KI-Tool eine hohe Empfindlichkeit aufweist und relevante Artikel effektiv identifiziert. Es hat jedoch eine geringe bis moderate Spezifität, was bedeutet, dass es Schwierigkeiten hat, irrelevante Artikel auszuschließen.

Es besteht Potenzial für Zeiteinsparungen durch den Einsatz des Rayyan AI-Tools. Die Zeitersparnis lag zwischen 6 % und 47 % für einen einzelnen Prüfer, der das Rayyan AI-Tool verwendete. Die Zeitersparnis für das duale Screening, das der typische Standard für Spiegelreflexkameras ist, mit 1 menschlichem Prüfer und dem Rayyan-KI-Tool, war jedoch bescheiden (3%-23%).

Wie geht es mit dieser Forschung weiter?

Während das KI-Tool von Rayyan eine moderate Zeitersparnis und eine hohe Empfindlichkeit bietet, suchen wir nach Möglichkeiten, die Zeitersparnis und Spezifität zu erhöhen. Darüber hinaus überlegen wir, wie wir KI-Tools weiter in den breiteren systematischen Literaturrechercheprozess integrieren können. Meine Bewertung konzentrierte sich auf das Screening von Abstracts und Titeln, aber es kann auch andere Phasen des systematischen Literaturrechercheprozesses geben, in denen KI-Tools von Vorteil sein könnten.

Um mehr über Joannas Forschung zu erfahren, sehen Sie sich ihr Poster hieran.

Zitate, die für den hier beschriebenen Inhalt relevant sind, finden Sie in dem hier verlinkten Artikel. Die Leser sollten alle verfügbaren Informationen zu den hier genannten Themen überprüfen und sich bei der Entscheidungsfindung auf ihre eigenen Erfahrungen und ihr Fachwissen verlassen.