Artikel
De kwaliteit van literatuuronderzoek verbeteren met AI om gemist bewijs en handmatig herwerk te verminderen
-
Shilpa Patil, PhD
-
Angela Vogt-Eisele, PhD
Het verbeteren van de kwaliteit van het zoeken naar literatuur met AI kan helpen om het risico op het missen van kritieke publicaties te verminderen en tegelijkertijd de ruis te filteren
Het beoordelen van wetenschappelijke literatuur die beschikbaar is in het publieke domein is een centrale vereiste voor het opstellen van tal van regelgevende documenten, waaronder klinische en niet-klinische overzichten, aanduidingen van weesgeneesmiddelen of pediatrische onderzoeksplannen. Deze documenten vereisen een uitgebreide en actuele samenvatting van de informatie die beschikbaar is in de wetenschappelijke literatuur.
Regelgevers kunnen vragen om een reproduceerbaar systematisch literatuuronderzoek, wat betekent dat de aanvrager informatie moet kunnen verstrekken over de exacte doorzochte databases/platforms, de volledige zoekreeksen (alle trefwoorden/gecontroleerde termen), de datumbereiken en andere toegepaste limieten/filters, de datum(s) waarop de zoekopdrachten zijn uitgevoerd en het aantal records/resultaten, zodat de zoekopdracht kan worden herhaald en geverifieerd.1,2
Afhankelijk van het onderwerp kan de hoeveelheid informatie die bij de primaire zoekopdracht wordt opgehaald uitgebreid zijn en vereist dit vervelende en tijdrovende handmatige zoekopdrachten. Pogingen om chatbotvragen en -antwoorden te gebruiken zijn onbetrouwbaar gebleken, terwijl filterfuncties die beschikbaar zijn in openbare databases niet specifiek genoeg zijn en het risico inhouden dat er te veel ruis wordt geretourneerd (d.w.z. dat de informatie niet efficiënt wordt beperkt tot de relevante artikelen) of dat belangrijke informatie ontbreekt.
Regelgevers kunnen vragen om een reproduceerbaar systematisch literatuuronderzoek, wat betekent dat de aanvrager informatie moet kunnen verstrekken over de exacte doorzochte databases/platforms, de volledige zoekreeksen (alle trefwoorden/gecontroleerde termen), de datumbereiken en andere toegepaste limieten/filters, de datum(s) waarop de zoekopdrachten zijn uitgevoerd en het aantal records/resultaten, zodat de zoekopdracht kan worden herhaald en geverifieerd.1,2
Afhankelijk van het onderwerp kan de hoeveelheid informatie die bij de primaire zoekopdracht wordt opgehaald uitgebreid zijn en vereist dit vervelende en tijdrovende handmatige zoekopdrachten. Pogingen om chatbotvragen en -antwoorden te gebruiken zijn onbetrouwbaar gebleken, terwijl filterfuncties die beschikbaar zijn in openbare databases niet specifiek genoeg zijn en het risico inhouden dat er te veel ruis wordt geretourneerd (d.w.z. dat de informatie niet efficiënt wordt beperkt tot de relevante artikelen) of dat belangrijke informatie ontbreekt.
Bovendien geven chatbots geen verifieerbare antwoorden, kunnen ze de volledigheid niet garanderen en vormen ze ook uitdagingen met betrekking tot de traceerbaarheid in een later stadium. Instrumenten voor het minen van kunstmatige-intelligentieliteratuur hebben het potentieel om deze problemen aan te pakken. Door logische verbanden tussen termen te kunnen leggen, in plaats van te filteren op artikelen die alleen een combinatie van bepaalde termen vermelden, kunnen specifieke, gerichte zoekopdrachten worden uitgevoerd op gedefinieerde wetenschappelijke vragen en wordt het risico op het missen van relevante informatie verkleind.
Gerichte en grondige literatuur stelt regelgevende teams in staat om goed geïnformeerde, genuanceerde documenten op te stellen die het betreffende onderwerp ondersteunen - zoals indicaties en contra-indicaties van een geneesmiddel, bespreking van geneesmiddelinteracties of de veiligheidsmarge van het product in gedefinieerde patiëntenpopulaties.
Hoe AI-literatuurmining onderzoekers helpt bij het verbeteren van efficiëntie en gevoeligheid
1. Belangrijke artikelen vinden in grote hoeveelheden literatuur
Het implementeren van een semantische zoekfunctie kan artikelen identificeren die relevant zijn voor het gewenste onderwerp met grote nauwkeurigheid en efficiëntie, wat cruciaal is, vooral voor zoekopdrachten met grote aantallen primaire hits.
In een pilotstudie heeft Cencora gebruik gemaakt van een intern en gevalideerd hulpmiddel voor literatuuronderzoek om te zoeken naar interacties tussen geneesmiddelen waarbij werkzame stof A en verschillende gelijktijdig toegediende verbindingen (B-E) betrokken zijn. De conventionele op trefwoorden gebaseerde primaire zoekopdracht leverde meer dan 7.000 artikelen op, grotendeels gedreven door uitgebreide publicaties over de goed beschreven interactie van A met B.
Daarentegen was het identificeren van interacties tussen A en C-E moeilijk omdat de standaardzoekmachine voornamelijk artikelen opdook die de interactie van A en B beschreven, waarin C-E alleen als secundaire vermeldingen voorkwam, niet in de context van interactie met A.
Het gebruik van de semantische zoekfunctie maakte een gerichte zoektocht mogelijk naar artikelen die specifiek de geneesmiddelinteracties van A met C, D en E afzonderlijk beschrijven. Met deze aanpak was het mogelijk om het aantal primaire hits voor handmatige verificatie aanzienlijk te beperken - van meer dan 7.000 in een eerste PubMed-query tot ongeveer 950. Wat nog belangrijker is, de tool identificeerde publicaties over schaars bestudeerde en zeldzame interacties die bij een eerdere handmatige zoekopdracht waren gemist.
Over het algemeen illustreert deze pilot de belangrijke rol die AI kan spelen bij het verbeteren van literatuuronderzoek: het maakt screening met hoge doorvoer van zeer grote sets primaire hits mogelijk zonder te vertrouwen op al te beperkende filters, en het verbetert de precisie door records te rangschikken op basis van een logische relatie tussen concepten (bijv. een daadwerkelijke interactie tussen A en C/D/E) in plaats van eenvoudig gelijktijdig voorkomen van termen.
In een pilotstudie heeft Cencora gebruik gemaakt van een intern en gevalideerd hulpmiddel voor literatuuronderzoek om te zoeken naar interacties tussen geneesmiddelen waarbij werkzame stof A en verschillende gelijktijdig toegediende verbindingen (B-E) betrokken zijn. De conventionele op trefwoorden gebaseerde primaire zoekopdracht leverde meer dan 7.000 artikelen op, grotendeels gedreven door uitgebreide publicaties over de goed beschreven interactie van A met B.
Daarentegen was het identificeren van interacties tussen A en C-E moeilijk omdat de standaardzoekmachine voornamelijk artikelen opdook die de interactie van A en B beschreven, waarin C-E alleen als secundaire vermeldingen voorkwam, niet in de context van interactie met A.
Het gebruik van de semantische zoekfunctie maakte een gerichte zoektocht mogelijk naar artikelen die specifiek de geneesmiddelinteracties van A met C, D en E afzonderlijk beschrijven. Met deze aanpak was het mogelijk om het aantal primaire hits voor handmatige verificatie aanzienlijk te beperken - van meer dan 7.000 in een eerste PubMed-query tot ongeveer 950. Wat nog belangrijker is, de tool identificeerde publicaties over schaars bestudeerde en zeldzame interacties die bij een eerdere handmatige zoekopdracht waren gemist.
Over het algemeen illustreert deze pilot de belangrijke rol die AI kan spelen bij het verbeteren van literatuuronderzoek: het maakt screening met hoge doorvoer van zeer grote sets primaire hits mogelijk zonder te vertrouwen op al te beperkende filters, en het verbetert de precisie door records te rangschikken op basis van een logische relatie tussen concepten (bijv. een daadwerkelijke interactie tussen A en C/D/E) in plaats van eenvoudig gelijktijdig voorkomen van termen.
Zodra de zoekopdracht is beperkt, moet het geïdentificeerde materiaal handmatig worden gevalideerd. AI verbetert de efficiëntie van deze taak aanzienlijk en genereert bovendien een beknopte in- of uitsluitingsreden voor elk artikel. Menselijke beoordelaars kunnen vervolgens de beslissing bevestigen - of valse positieven of valse negatieven identificeren - door de redenering te vergelijken met de relevante passages in de brontekst. Het hebben van een mens in de lus is de sleutel tot het controleren en verfijnen van het model.
2. Complexe logische relaties kunnen opvragen
Zoals hierboven uiteengezet, wordt semantisch begrip (natuurlijke taalverwerking of NLP) gebruikt voor het literatuuronderzoek in plaats van eenvoudige trefwoordmatching, waardoor beoordeling van contextuele relevantie mogelijk is om de vals-positieve resultaten te elimineren.
Bovendien kan de verkregen pool van primaire treffers verder worden doorzocht op gedefinieerde aspecten – bv. farmacokinetiek in verschillende patiëntenpopulaties, specifieke veiligheidsaspecten of het onderzoek van bepaalde eindpunten. Dit levert een gestructureerde output op van de beschikbare informatie over het betreffende onderwerp, gekoppeld aan de oorspronkelijke publicatie waarin deze informatie wordt verstrekt.
Bovendien kan de verkregen pool van primaire treffers verder worden doorzocht op gedefinieerde aspecten – bv. farmacokinetiek in verschillende patiëntenpopulaties, specifieke veiligheidsaspecten of het onderzoek van bepaalde eindpunten. Dit levert een gestructureerde output op van de beschikbare informatie over het betreffende onderwerp, gekoppeld aan de oorspronkelijke publicatie waarin deze informatie wordt verstrekt.
3. Controleerbaarheid en traceerbaarheid
AI biedt ook een volledige lijst van toegepaste trefwoorden en filters en het aantal artikelen dat in elke stap wordt geïdentificeerd, zoals vereist voor systematisch literatuuronderzoek voor regelgevende inzendingen. De in- en uitsluitingscriteria en relevantiecriteria, toegewezen aan de resulterende artikelen, maken traceerbaarheid mogelijk voor toekomstige analyse en beoordeling. Het is bijvoorbeeld mogelijk om onafhankelijk artikelen te selecteren over "geneesmiddelinteracties die de absorptie beïnvloeden", "geneesmiddelinteracties die de werkzaamheid beïnvloeden bij indicatie X", "geneesmiddel-geneesmiddelinteracties geassocieerd met bijwerkingen" enz.
De AI-tool voegde waarde toe aan het proces en maakte een objectieve, herhaalbare rechtvaardiging voor opname en uitsluiting mogelijk, die door de menselijke beoordelaar kan worden bevestigd of afgewezen. Bovendien maakt de beknopte beschrijving van de redenering voor opneming of uitsluiting van een voorwerp een snelle en efficiënte handmatige verificatie van de selectie door de deskundige mogelijk en zorgt het ervoor dat de redenering achter de in- en uitsluitingscriteria wordt vastgelegd op traceerbaarheid en controleerbaarheid.
Het door AI gegenereerde auditspoor naar de zoekcriteria en welke artikelen zijn geselecteerd of uitgesloten, toont een belangrijke waarde van AI aan: experts vrijmaken om goed toezicht te houden en de volledige verantwoordelijkheid voor de uiteindelijke literatuurselectie te beheren.
De AI-tool voegde waarde toe aan het proces en maakte een objectieve, herhaalbare rechtvaardiging voor opname en uitsluiting mogelijk, die door de menselijke beoordelaar kan worden bevestigd of afgewezen. Bovendien maakt de beknopte beschrijving van de redenering voor opneming of uitsluiting van een voorwerp een snelle en efficiënte handmatige verificatie van de selectie door de deskundige mogelijk en zorgt het ervoor dat de redenering achter de in- en uitsluitingscriteria wordt vastgelegd op traceerbaarheid en controleerbaarheid.
Het door AI gegenereerde auditspoor naar de zoekcriteria en welke artikelen zijn geselecteerd of uitgesloten, toont een belangrijke waarde van AI aan: experts vrijmaken om goed toezicht te houden en de volledige verantwoordelijkheid voor de uiteindelijke literatuurselectie te beheren.
4. Datastructurering voor voorspellende analyse en inzichten
AI genereert ook een systematische en gestructureerde analyse van belangrijke gegevenselementen uit relevante artikelen, zoals veiligheidsgegevens per leeftijdsgroep of een samenvatting van farmacokinetische geneesmiddelinteracties in beschikbare onderzoeken. Deze gestructureerde gegevens kunnen bijvoorbeeld worden gebruikt ter ondersteuning van de bespreking van de formulering van een geneesmiddel of de veiligheid ervan bij specifieke patiëntenpopulaties. Ook kan het bewijsniveau in kaart worden gebracht op basis van artikeltype en onderzoeksgrootte of -ontwerp, enz.
Een dergelijke gestructureerde, diepgaande analyse van literatuurgegevens kan de responsbereidheid verbeteren, met name wanneer regelgevers om opheldering vragen over de veiligheidscontext of ondersteunend bewijs.
Een dergelijke gestructureerde, diepgaande analyse van literatuurgegevens kan de responsbereidheid verbeteren, met name wanneer regelgevers om opheldering vragen over de veiligheidscontext of ondersteunend bewijs.
Conclusie:
Verbetering van literatuuronderzoek en vermindering van het risico op tekortkomingen in de regelgeving
AI-ondersteunde literatuurmining kan een belangrijke rol spelen bij het inbouwen van diepgang en verdedigbaarheid in de voorbereiding van regelgevingsdocumenten die uitgebreid, up-to-date wetenschappelijk bewijs uit gepubliceerde literatuur vereisen. Door uitgebreide primaire literatuurschermen mogelijk te maken, waaruit relevante artikelen worden geselecteerd op basis van semantisch begrip, verbetert deze tool de doeltreffendheid aanzienlijk en vermindert het risico op het missen van kritische publicaties. Menselijk toezicht is beschikbaar in alle stadia van het selectieproces.
Goed ontworpen AI-workflows verbeteren ook de traceerbaarheid en controleerbaarheid door zoekstrategieën, in- en uitsluitingslogica en de grondgedachte voor artikelprioritering vast te leggen. In combinatie met human-in-the-loop-validatie ondersteunt deze aanpak consistente, herhaalbare beslissingen en vermindert het de variabiliteit die inherent is aan handmatige screening. Ten slotte legt het structureren van geëxtraheerde gegevenselementen in relevante publicaties een basis voor diepere analyse (bijv. inzichten in subpopulaties, beoordeling van bewijsmateriaal, trenddetectie) en versterkt het regelgevingsverhalen en reactiebereidheid.
In het algemeen kan op AI gebaseerde literatuuronderzoek de volledigheid en kwaliteit van de empirische basis ter ondersteuning van wettelijke inzendingen aanzienlijk verbeteren, waardoor het risico op tekortkomingen in de beoordelingscyclus aanzienlijk wordt verminderd.
Goed ontworpen AI-workflows verbeteren ook de traceerbaarheid en controleerbaarheid door zoekstrategieën, in- en uitsluitingslogica en de grondgedachte voor artikelprioritering vast te leggen. In combinatie met human-in-the-loop-validatie ondersteunt deze aanpak consistente, herhaalbare beslissingen en vermindert het de variabiliteit die inherent is aan handmatige screening. Ten slotte legt het structureren van geëxtraheerde gegevenselementen in relevante publicaties een basis voor diepere analyse (bijv. inzichten in subpopulaties, beoordeling van bewijsmateriaal, trenddetectie) en versterkt het regelgevingsverhalen en reactiebereidheid.
In het algemeen kan op AI gebaseerde literatuuronderzoek de volledigheid en kwaliteit van de empirische basis ter ondersteuning van wettelijke inzendingen aanzienlijk verbeteren, waardoor het risico op tekortkomingen in de beoordelingscyclus aanzienlijk wordt verminderd.
*Bronnen worden hieronder vervolgd
Over de auteurs:
Shilpa Patil, PhD, is Senior Scientist in de digitale innovatiegroep van Cencora. Ze heeft meer dan acht jaar ervaring op het gebied van translationeel onderzoek en gezondheidszorg, gespecialiseerd in het ontdekken van geneesmiddelen, biomarkeronderzoek en AI-ondersteunde gepersonaliseerde geneeskunde in de oncologie. Shilpa en haar team werken aan het definiëren en bouwen van op AI gebaseerde oplossingen die gericht zijn op het toevoegen van waarde en efficiëntie aan de aangeboden regelgevingstoepassingen en adviesdiensten.
Angela Vogt-Eisele, PhD, is directeur CDS, Team Lead Global Medical Writing, bij Cencora. Angela werkt al meer dan 15 jaar voor de farmaceutische industrie en ondersteunt niet-klinische en klinische ontwikkelingsprogramma's voor geneesmiddelen voor menselijk gebruik. Angela en het wereldwijde schrijfteam hebben een sterke staat van dienst in het schrijven en bijwerken van een breed scala aan regelgevingsdocumenten in verschillende modaliteiten, van kleine moleculen tot biologische geneesmiddelen en AMTP's, en implementeren momenteel AI-mogelijkheden om deze activiteiten naar een hoger niveau te tillen in samenwerking met de digitale innovatiegroep van Cencora.
Angela Vogt-Eisele, PhD, is directeur CDS, Team Lead Global Medical Writing, bij Cencora. Angela werkt al meer dan 15 jaar voor de farmaceutische industrie en ondersteunt niet-klinische en klinische ontwikkelingsprogramma's voor geneesmiddelen voor menselijk gebruik. Angela en het wereldwijde schrijfteam hebben een sterke staat van dienst in het schrijven en bijwerken van een breed scala aan regelgevingsdocumenten in verschillende modaliteiten, van kleine moleculen tot biologische geneesmiddelen en AMTP's, en implementeren momenteel AI-mogelijkheden om deze activiteiten naar een hoger niveau te tillen in samenwerking met de digitale innovatiegroep van Cencora.
Disclaimer:
De informatie in dit artikel vormt geen juridisch advies. Cencora, Inc. raadt lezers ten zeerste aan om de beschikbare informatie met betrekking tot de besproken onderwerpen door te nemen en te vertrouwen op hun eigen ervaring en expertise bij het nemen van beslissingen met betrekking tot deze onderwerpen.
Neem contact op met ons team
Ons ervaren team van waarde-experts creëert op basis van bewijsmateriaal, beleidsinzichten en marktinformatie effectieve strategieën voor toegang tot wereldwijde markten. We maken u wegwijs in de complexe wereld van de gezondheidszorg in verschillende delen van de wereld. Neem contact op om te ontdekken hoe we uw doelen kunnen ondersteunen.
Bronnen
1. Richtlijn inzake goede geneesmiddelenbewakingspraktijken (GVP), HMA, EMA, december 2013. https://www.ema.europa.eu/en/documents/scientific-guideline/guideline-good-pharmacovigilance-practices-gvp-module-vii-periodic-safety-update-report_en.pdf
2. Leidraad voor de industrie, toepassingen die vallen onder sectie 505(b)(2), FDA, oktober 1999. https://www.fda.gov/media/72419/download
.jpg)