4 questions à Joanna Ng

Qu’est-ce qui a inspiré cette recherche ?

Ma présentation par affiche évalue l’outil d’intelligence artificielle (IA) Rayyan pour le criblage systématique de revues de littérature.

L’IA est un sujet d’intérêt croissant dans le domaine de la santé et divers domaines de la santé cherchent à l’intégrer de différentes manières, des soins aux patients à l’agrégation de données.

Chez Cencora, nous effectuons fréquemment des revues systématiques de la littérature, un processus qui demande beaucoup de temps et d’efforts. En règle générale, le tri de la grande quantité de littérature au cours de la phase de sélection des titres et des résumés prend de nombreuses heures. Notre objectif était d’explorer des moyens de rationaliser la phase de sélection des titres/résumés avec l’aide de l’outil d’IA Rayyan.

Y a-t-il une hypothèse qui a été confirmée par la recherche ?

Notre objectif était d’évaluer si l’outil d’IA pouvait identifier efficacement la littérature pertinente lors de la phase de sélection des titres et des résumés. Les chercheurs sont confrontés au défi de lire et d’évaluer chaque œuvre littéraire dans un volume important de résultats de recherche pour en déterminer la pertinence par rapport à leur sujet. Par conséquent, nous avons cherché à évaluer la performance et l’efficacité de l’outil d’IA Rayyan dans la phase de criblage systématique des titres et des résumés de la revue de la littérature. Sur divers sujets, y compris les domaines cliniques, humanistes et économiques, l’outil a obtenu des résultats exceptionnels dans la sélection des articles d’intérêt pertinents. Cette constance nous a rassurés sur sa fiabilité.

Qu’est-ce qui ressort de vos recherches ?

Nous avons entraîné l’outil d’IA Rayyan sur 20 % des références de deux revues systématiques de la littérature qui ont été précédemment menées par des examinateurs humains. L’outil a ensuite prédit la pertinence des références restantes sur une échelle de 1 à 5, allant de « le plus susceptible d’exclure » à « le plus susceptible d’inclure ». Nous avons comparé ses évaluations avec celles des examinateurs humains et avons constaté que la sensibilité de l’outil variait de 79 % à 100 % pour tous les résultats. La spécificité variait de 8 % à 62 % pour tous les résultats. La recherche a confirmé que l’outil d’IA Rayyan a une sensibilité élevée, identifiant efficacement les articles pertinents. Cependant, il a une spécificité faible à modérée, ce qui signifie qu’il a du mal à exclure les articles non pertinents.

Il y a un potentiel de gain de temps avec l’utilisation de l’outil d’IA Rayyan. Le gain de temps a varié de 6 % à 47 % pour un seul réviseur utilisant l’outil d’IA Rayyan. Cependant, les gains de temps pour le double dépistage, qui est la norme typique pour les reflex, avec 1 examinateur humain et l’outil d’IA Rayyan, ont été modestes (3 % à 23 %).

Quelle est la prochaine étape de cette recherche ?

Bien que l’outil d’IA Rayyan offre un gain de temps modéré et une sensibilité élevée, nous explorons des moyens d’augmenter le gain de temps et la spécificité. De plus, nous réfléchissons à la manière d’intégrer davantage les outils d’IA dans le processus plus large d’examen systématique de la littérature. Mon évaluation s’est concentrée sur la sélection des résumés et des titres, mais il peut y avoir d’autres étapes du processus d’examen systématique de la littérature où les outils d’IA pourraient être bénéfiques.

Pour en savoir plus sur les recherches de Joanna, consultez son affiche ici.

Les citations pertinentes pour le contenu décrit ici sont fournies dans l’article lié ici. Les lecteurs sont invités à examiner toute l’information disponible sur les sujets mentionnés dans le présent document et à se fier à leur propre expérience et à leur expertise pour prendre des décisions à cet égard.