4 questions à Joanna Ng

Qu’est-ce qui a inspiré cette recherche ?

Ma présentation par affiche évalue l’outil d’intelligence artificielle (IA) Rayyan pour le criblage systématique de la revue de littérature.

L’IA est un sujet d’intérêt croissant dans le domaine de la santé et divers domaines de la santé cherchent à l’intégrer de différentes manières, des soins aux patients à l’agrégation de données.

Chez Cencora, nous effectuons fréquemment des revues systématiques de la littérature, un processus qui exige beaucoup de temps et d’efforts. En règle générale, le tri de la grande quantité de littérature à l’étape de la sélection des titres et des résumés nécessite de nombreuses heures. Notre objectif était d’explorer des moyens de rationaliser la phase de sélection des titres/résumés avec l’aide de l’outil d’IA Rayyan.

Y a-t-il une hypothèse qui a été confirmée par la recherche ?

Notre objectif était d’évaluer si l’outil d’IA pouvait identifier efficacement la littérature pertinente lors de la phase de sélection des titres/résumés. Les chercheurs sont confrontés au défi de lire et d’évaluer la pertinence de chaque document dans un grand volume de résultats de recherche par rapport à leur sujet. Par conséquent, nous avons cherché à évaluer la performance et l’efficacité de l’outil d’IA Rayyan dans la phase de sélection systématique des titres et des résumés de la revue de la littérature. Sur divers sujets, y compris les domaines clinique, humaniste et économique, l’outil a obtenu des résultats exceptionnels dans la sélection des articles d’intérêt pertinents. Cette constance nous a rassurés sur sa fiabilité.

Qu’est-ce qu’il faut retenir de vos recherches ?

Nous avons entraîné l’outil d’IA Rayyan sur 20 % des références de deux revues systématiques de la littérature qui étaient auparavant menées par des évaluateurs humains. L’outil a ensuite prédit la pertinence des références restantes sur une échelle de 1 à 5, allant de « le plus susceptible d’exclure » à « le plus susceptible d’inclure ». Nous avons comparé ses évaluations avec celles des évaluateurs humains et avons constaté que la sensibilité de l’outil variait de 79 % à 100 % pour tous les résultats. La spécificité variait de 8 % à 62 % pour tous les résultats. La recherche a confirmé que l’outil d’IA Rayyan a une sensibilité élevée, identifiant efficacement les articles pertinents. Cependant, il a une spécificité faible à modérée, ce qui signifie qu’il a du mal à exclure les articles non pertinents.

L’utilisation de l’outil d’IA Rayyan offre un potentiel de gain de temps. Le gain de temps a varié de 6 % à 47 % pour un seul réviseur utilisant l’outil d’IA Rayyan. Cependant, les gains de temps pour le double criblage, qui est la norme typique pour les reflex, avec 1 examinateur humain et l’outil d’IA Rayyan, ont été modestes (3 % à 23 %).

Quelle est la prochaine étape de cette recherche ?

Bien que l’outil d’IA Rayyan offre un gain de temps modéré et une sensibilité élevée, nous explorons des moyens d’augmenter le gain de temps et la spécificité. De plus, nous réfléchissons à la manière d’intégrer davantage les outils d’IA dans le processus plus large d’examen systématique de la littérature. Mon évaluation s’est concentrée sur la sélection des résumés et des titres, mais il peut y avoir d’autres étapes du processus d’examen systématique de la littérature où les outils d’IA pourraient être bénéfiques.

Pour en savoir plus sur les recherches de Joanna, consultez son affiche ici.

Les citations pertinentes pour le contenu décrit ici sont fournies dans l’article lié ici. Les lecteurs sont invités à examiner toutes les informations disponibles sur les sujets mentionnés dans le présent document et à se fier à leur propre expérience et à leur expertise pour prendre des décisions à ce sujet.