4 preguntas con Joanna Ng

¿Qué ha inspirado esta investigación?

Mi presentación de póster evalúa la herramienta de inteligencia artificial (IA) de Rayyan para la revisión sistemática de la literatura.

La IA es un tema de creciente interés dentro de la atención médica y varias áreas de la atención médica están tratando de integrarla de diferentes maneras, desde la atención al paciente hasta la agregación de datos.

En Cencora, llevamos a cabo con frecuencia revisiones bibliográficas sistemáticas, un proceso que requiere mucho tiempo y esfuerzo. Por lo general, clasificar la gran cantidad de literatura en la fase de selección de títulos/resúmenes requiere muchas horas. Nuestro objetivo era explorar formas de agilizar la fase de selección de títulos/resúmenes con la ayuda de la herramienta Rayyan AI.

¿Hubo alguna hipótesis que se confirmara a través de la investigación?

Nuestro objetivo fue evaluar si la herramienta de IA podía identificar de manera efectiva la literatura relevante en la fase de selección de títulos/resúmenes. Los investigadores se enfrentan al reto de leer y evaluar cada pieza de literatura dentro de un gran volumen de resultados de búsqueda para determinar su relevancia para su tema; por lo tanto, buscamos evaluar el rendimiento y la eficiencia de la herramienta de IA Rayyan en la fase de selección de títulos/resúmenes de la revisión sistemática de la literatura. En varios temas, incluidos los campos clínico, humanístico y económico, la herramienta funcionó excepcionalmente bien en la selección de los artículos relevantes de interés. Esta consistencia nos aseguró su fiabilidad.

¿Cuál es la conclusión clave de su investigación?

Entrenamos la herramienta de IA de Rayyan con el 20% de las referencias de dos revisiones sistemáticas de la literatura que fueron realizadas previamente por revisores humanos. Luego, la herramienta predijo la relevancia de las referencias restantes en una escala de 1 a 5, que va desde "más probable que excluya" hasta "más probable que incluya". Comparamos sus calificaciones con las de los revisores humanos y descubrimos que la sensibilidad de la herramienta osciló entre el 79% y el 100% en todos los resultados. La especificidad varió del 8% al 62% en todos los resultados. La investigación confirmó que la herramienta de IA de Rayyan tiene una alta sensibilidad, identificando eficazmente los artículos relevantes. Sin embargo, tiene una especificidad de baja a moderada, lo que significa que tiene dificultades para excluir artículos irrelevantes.

Existe la posibilidad de ahorrar tiempo con el uso de la herramienta de IA de Rayyan. El ahorro de tiempo osciló entre el 6 % y el 47 % para un solo revisor que utilizara la herramienta de IA de Rayyan. Sin embargo, el ahorro de tiempo para la detección dual, que es el estándar típico para las SLR, con 1 revisor humano y la herramienta de IA Rayyan, fue modesto (3%-23%).

¿Cuál es el siguiente paso para esta investigación?

Si bien la herramienta de IA de Rayyan proporciona un ahorro de tiempo moderado y una alta sensibilidad, estamos explorando formas de aumentar el ahorro de tiempo y la especificidad. Además, estamos considerando cómo integrar aún más las herramientas de IA en el proceso más amplio de revisión sistemática de la literatura. Mi evaluación se centró en la selección de resúmenes y títulos, pero puede haber otras etapas del proceso de revisión sistemática de la literatura en las que las herramientas de IA podrían ser beneficiosas.

Para obtener más información sobre la investigación de Joanna, vea su póster aquí.

Las citas relevantes para el contenido descrito en este documento se proporcionan en el artículo vinculado aquí. Los lectores deben revisar toda la información disponible relacionada con los temas mencionados en este documento y confiar en su propia experiencia y conocimientos para tomar decisiones relacionadas con los mismos.