Articolo
Miglioramento della qualità della ricerca bibliografica con l'intelligenza artificiale per ridurre le evidenze mancanti e le rielaborazioni manuali
-
Shilpa Patil, PhD
-
Angela Vogt-Eisele, PhD
Migliorare la qualità della ricerca bibliografica con l'intelligenza artificiale può aiutare a ridurre il rischio di perdere pubblicazioni critiche filtrando il rumore
La revisione della letteratura scientifica disponibile di dominio pubblico è un requisito fondamentale per la preparazione di numerosi documenti normativi, tra cui panoramiche cliniche e non cliniche, designazioni di farmaci orfani o piani di sperimentazione pediatrica. Questi documenti richiedono una sintesi completa e aggiornata delle informazioni disponibili nella letteratura scientifica.
Le autorità di regolamentazione possono richiedere una ricerca sistematica riproducibile nella letteratura, il che significa che il richiedente deve essere in grado di fornire informazioni sulle esatte banche dati/piattaforme cercate, le stringhe di ricerca complete (tutte le parole chiave/termini controllati), gli intervalli di date e altri limiti/filtri applicati, la data o le date in cui sono state eseguite le ricerche e i conteggi/risultati dei record in modo che la ricerca possa essere ripetuta e verificata.1,2
A seconda dell'argomento, la quantità di informazioni recuperate nella ricerca primaria può essere ampia e richiede ricerche manuali noiose e dispendiose in termini di tempo. I tentativi di utilizzare le domande e le risposte dei chatbot si sono dimostrati inaffidabili, mentre le funzioni di filtro disponibili nei database pubblici non sono sufficientemente specifiche e presentano il rischio di restituire troppo rumore (cioè non restringere in modo efficiente le informazioni agli articoli pertinenti) o di perdere informazioni chiave.
Le autorità di regolamentazione possono richiedere una ricerca sistematica riproducibile nella letteratura, il che significa che il richiedente deve essere in grado di fornire informazioni sulle esatte banche dati/piattaforme cercate, le stringhe di ricerca complete (tutte le parole chiave/termini controllati), gli intervalli di date e altri limiti/filtri applicati, la data o le date in cui sono state eseguite le ricerche e i conteggi/risultati dei record in modo che la ricerca possa essere ripetuta e verificata.1,2
A seconda dell'argomento, la quantità di informazioni recuperate nella ricerca primaria può essere ampia e richiede ricerche manuali noiose e dispendiose in termini di tempo. I tentativi di utilizzare le domande e le risposte dei chatbot si sono dimostrati inaffidabili, mentre le funzioni di filtro disponibili nei database pubblici non sono sufficientemente specifiche e presentano il rischio di restituire troppo rumore (cioè non restringere in modo efficiente le informazioni agli articoli pertinenti) o di perdere informazioni chiave.
Inoltre, i chatbot non forniscono risposte verificabili, non possono garantire la completezza e presentano anche sfide con la tracciabilità in una fase successiva. Gli strumenti di estrazione della letteratura sull'intelligenza artificiale hanno il potenziale per affrontare questi problemi. Essere in grado di stabilire connessioni logiche tra i termini, piuttosto che filtrare gli articoli che menzionano semplicemente una combinazione di determinati termini, consente ricerche specifiche e mirate su determinate questioni scientifiche e riduce il rischio di perdere informazioni rilevanti.
Una letteratura mirata e approfondita consente ai team normativi di creare documenti ben informati e ricchi di sfumature a supporto del rispettivo argomento, come le indicazioni e le controindicazioni di un medicinale, la discussione delle interazioni farmacologiche o il margine di sicurezza del prodotto in popolazioni di pazienti definite.
In che modo l'estrazione della letteratura sull'IA aiuta i ricercatori a migliorare l'efficienza e la sensibilità
1. Trovare articoli chiave tra grandi volumi di letteratura
L'implementazione di uno strumento di ricerca semantica può identificare gli articoli rilevanti per l'argomento desiderato con grande precisione ed efficienza, il che è fondamentale soprattutto per le ricerche con un gran numero di risultati primari.
In uno studio pilota, Cencora ha sfruttato uno strumento interno e convalidato di estrazione della letteratura per cercare interazioni farmacologiche che coinvolgono il principio attivo A e diversi composti co-somministrati (B-E). La ricerca primaria convenzionale basata su parole chiave ha recuperato più di 7.000 articoli, in gran parte guidati da un'ampia pubblicazione sull'interazione ben descritta di A con B.
Al contrario, identificare le interazioni tra A e C-E era difficile perché il motore di ricerca standard mostrava principalmente articoli che descrivevano l'interazione di A e B in cui C-E appariva solo come menzioni secondarie, non nel contesto dell'interazione con A.
L'utilizzo dello strumento di ricerca semantica ha consentito una ricerca mirata di articoli che descrivono specificamente le interazioni farmaco-farmaco di A con C, D ed E separatamente. Con questo approccio, è stato possibile restringere notevolmente il numero di hit primari per la verifica manuale, da oltre 7.000 in una query PubMed iniziale a circa 950. Ancora più importante, lo strumento ha identificato pubblicazioni su interazioni rare e scarsamente studiate che erano state perse in una precedente ricerca manuale.
Nel complesso, questo progetto pilota illustra il ruolo significativo che l'IA può svolgere nel migliorare le ricerche in letteratura: consente lo screening ad alto rendimento di insiemi molto ampi di risultati primari senza fare affidamento su filtri eccessivamente restrittivi e migliora la precisione classificando i record in base a una relazione logica tra concetti (ad esempio, un'interazione effettiva tra A e C/D/E) piuttosto che alla semplice co-occorrenza di termini.
In uno studio pilota, Cencora ha sfruttato uno strumento interno e convalidato di estrazione della letteratura per cercare interazioni farmacologiche che coinvolgono il principio attivo A e diversi composti co-somministrati (B-E). La ricerca primaria convenzionale basata su parole chiave ha recuperato più di 7.000 articoli, in gran parte guidati da un'ampia pubblicazione sull'interazione ben descritta di A con B.
Al contrario, identificare le interazioni tra A e C-E era difficile perché il motore di ricerca standard mostrava principalmente articoli che descrivevano l'interazione di A e B in cui C-E appariva solo come menzioni secondarie, non nel contesto dell'interazione con A.
L'utilizzo dello strumento di ricerca semantica ha consentito una ricerca mirata di articoli che descrivono specificamente le interazioni farmaco-farmaco di A con C, D ed E separatamente. Con questo approccio, è stato possibile restringere notevolmente il numero di hit primari per la verifica manuale, da oltre 7.000 in una query PubMed iniziale a circa 950. Ancora più importante, lo strumento ha identificato pubblicazioni su interazioni rare e scarsamente studiate che erano state perse in una precedente ricerca manuale.
Nel complesso, questo progetto pilota illustra il ruolo significativo che l'IA può svolgere nel migliorare le ricerche in letteratura: consente lo screening ad alto rendimento di insiemi molto ampi di risultati primari senza fare affidamento su filtri eccessivamente restrittivi e migliora la precisione classificando i record in base a una relazione logica tra concetti (ad esempio, un'interazione effettiva tra A e C/D/E) piuttosto che alla semplice co-occorrenza di termini.
Una volta ristretta la ricerca, il materiale identificato deve essere convalidato manualmente. L'intelligenza artificiale migliora notevolmente l'efficienza di questo compito, generando inoltre una logica concisa di inclusione o esclusione per ogni articolo. I revisori umani possono quindi confermare la decisione – o identificare falsi positivi o falsi negativi – controllando la motivazione rispetto ai passaggi rilevanti nel testo di partenza. Avere un essere umano nel ciclo è la chiave per controllare e perfezionare il modello.
2. Essere in grado di interrogare relazioni logiche complesse
Come accennato in precedenza, la comprensione semantica (elaborazione del linguaggio naturale o NLP) viene utilizzata per la ricerca bibliografica piuttosto che la semplice corrispondenza delle parole chiave, consentendo la valutazione della rilevanza contestuale per eliminare i risultati falsi positivi.
Inoltre, il pool di risultati primari ottenuto può essere ulteriormente ricercato per aspetti definiti, ad esempio la farmacocinetica in diverse popolazioni di pazienti, aspetti specifici di sicurezza o l'indagine di determinati endpoint. Ciò fornisce un output strutturato sulle informazioni disponibili sul rispettivo argomento, collegato alla pubblicazione originale che fornisce queste informazioni.
Inoltre, il pool di risultati primari ottenuto può essere ulteriormente ricercato per aspetti definiti, ad esempio la farmacocinetica in diverse popolazioni di pazienti, aspetti specifici di sicurezza o l'indagine di determinati endpoint. Ciò fornisce un output strutturato sulle informazioni disponibili sul rispettivo argomento, collegato alla pubblicazione originale che fornisce queste informazioni.
3. Verificabilità e tracciabilità
L'intelligenza artificiale fornisce anche un elenco completo delle parole chiave e dei filtri applicati e il numero di articoli identificati in ogni fase come richiesto per ricerche sistematiche in letteratura per le richieste di regolamentazione. I criteri di inclusione ed esclusione, nonché i criteri di pertinenza, mappati sugli articoli risultanti, consentono la tracciabilità per qualsiasi analisi e revisione futura. Ad esempio, è possibile selezionare autonomamente articoli che studiano "interazioni farmaco-farmaco che influenzano l'assorbimento", "interazioni farmaco-farmaco che influenzano l'efficacia nell'indicazione X", "interazioni farmaco-farmaco associate a eventi avversi" ecc.
Aggiungendo valore al processo, lo strumento di intelligenza artificiale ha consentito una giustificazione oggettiva e ripetibile per l'inclusione e l'esclusione, che può essere confermata o rifiutata dal revisore umano. Inoltre, la descrizione sintetica del motivo dell'inclusione o dell'esclusione di un articolo consente una verifica manuale rapida ed efficiente della selezione da parte dell'esperto e garantisce che il ragionamento alla base dei criteri di inclusione ed esclusione sia registrato per la tracciabilità e la verificabilità.
L'audit trail generato dall'IA nei criteri di ricerca e quali articoli sono stati selezionati o esclusi dimostra un valore chiave dell'IA: liberare gli esperti per garantire un'adeguata supervisione e gestire la piena responsabilità della selezione finale della letteratura.
Aggiungendo valore al processo, lo strumento di intelligenza artificiale ha consentito una giustificazione oggettiva e ripetibile per l'inclusione e l'esclusione, che può essere confermata o rifiutata dal revisore umano. Inoltre, la descrizione sintetica del motivo dell'inclusione o dell'esclusione di un articolo consente una verifica manuale rapida ed efficiente della selezione da parte dell'esperto e garantisce che il ragionamento alla base dei criteri di inclusione ed esclusione sia registrato per la tracciabilità e la verificabilità.
L'audit trail generato dall'IA nei criteri di ricerca e quali articoli sono stati selezionati o esclusi dimostra un valore chiave dell'IA: liberare gli esperti per garantire un'adeguata supervisione e gestire la piena responsabilità della selezione finale della letteratura.
4. Strutturazione dei dati per analisi predittive e approfondimenti
L'IA genera anche un'analisi sistematica e strutturata degli elementi di dati chiave degli articoli pertinenti, come i dati sulla sicurezza per fascia di età o un riepilogo delle interazioni farmacocinetiche farmacocinetica tra farmaci negli studi disponibili. Questi dati strutturati possono essere utilizzati per supportare, ad esempio, la discussione della formulazione di un medicinale o della sua sicurezza in specifiche popolazioni di pazienti. Inoltre, il livello di evidenza può essere mappato in base al tipo di articolo e alle dimensioni o al design dello studio, ecc.
Un'analisi strutturata e approfondita dei dati della letteratura può migliorare la prontezza alla risposta, in particolare quando le autorità di regolamentazione richiedono chiarimenti sul contesto della sicurezza o prove a supporto.
Un'analisi strutturata e approfondita dei dati della letteratura può migliorare la prontezza alla risposta, in particolare quando le autorità di regolamentazione richiedono chiarimenti sul contesto della sicurezza o prove a supporto.
Conclusione:
Migliorare le ricerche bibliografiche e ridurre il rischio di carenze normative
L'estrazione della letteratura assistita dall'intelligenza artificiale può svolgere un ruolo importante nel costruire profondità e difendibilità nella preparazione di documenti normativi che richiedono prove scientifiche complete e aggiornate dalla letteratura pubblicata. Consentendo ampie schermate di letteratura primaria, da cui vengono selezionati articoli rilevanti in base alla comprensione semantica, questo strumento migliora notevolmente l'efficacia riducendo il rischio di perdere pubblicazioni critiche. La supervisione umana è disponibile in tutte le fasi del processo di selezione.
I flussi di lavoro di intelligenza artificiale ben progettati migliorano anche la tracciabilità e la verificabilità registrando le strategie di ricerca, la logica di inclusione ed esclusione e la logica per la definizione delle priorità degli articoli. Se abbinato alla convalida human-in-the-loop, questo approccio supporta decisioni coerenti e ripetibili e riduce la variabilità inerente allo screening manuale. Infine, la strutturazione degli elementi di dati estratti tra le pubblicazioni pertinenti crea una base per un'analisi più approfondita (ad esempio, approfondimenti sulle sottopopolazioni, classificazione delle evidenze, rilevamento delle tendenze) e rafforza le narrazioni normative e la prontezza alla risposta.
In generale, l'estrazione della letteratura abilitata dall'IA può migliorare sostanzialmente la completezza e la qualità della base di evidenze a supporto delle richieste normative, riducendo così notevolmente il rischio di carenze nel ciclo di revisione.
I flussi di lavoro di intelligenza artificiale ben progettati migliorano anche la tracciabilità e la verificabilità registrando le strategie di ricerca, la logica di inclusione ed esclusione e la logica per la definizione delle priorità degli articoli. Se abbinato alla convalida human-in-the-loop, questo approccio supporta decisioni coerenti e ripetibili e riduce la variabilità inerente allo screening manuale. Infine, la strutturazione degli elementi di dati estratti tra le pubblicazioni pertinenti crea una base per un'analisi più approfondita (ad esempio, approfondimenti sulle sottopopolazioni, classificazione delle evidenze, rilevamento delle tendenze) e rafforza le narrazioni normative e la prontezza alla risposta.
In generale, l'estrazione della letteratura abilitata dall'IA può migliorare sostanzialmente la completezza e la qualità della base di evidenze a supporto delle richieste normative, riducendo così notevolmente il rischio di carenze nel ciclo di revisione.
*Le fonti continuano di seguito
Informazioni sugli autori:
Shilpa Patil, PhD, è Senior Scientist nel gruppo di innovazione digitale di Cencora. Ha più di otto anni di esperienza nel campo della ricerca traslazionale e dell'assistenza sanitaria, specializzandosi nella scoperta di farmaci, nella ricerca sui biomarcatori e nella medicina personalizzata assistita dall'intelligenza artificiale in oncologia. Shilpa e il suo team stanno lavorando alla definizione e alla costruzione di soluzioni basate sull'intelligenza artificiale che mirano ad aggiungere valore ed efficienza alle applicazioni normative e ai servizi di consulenza offerti.
Angela Vogt-Eisele, PhD, è Direttore CDS, Team Lead Global Medical Writing, presso Cencora. Angela lavora per l'industria farmaceutica da oltre 15 anni a supporto di programmi di sviluppo clinico e non clinico per i medicinali per uso umano. Angela e il team di redazione globale hanno una solida esperienza nella scrittura e nell'aggiornamento di un'ampia gamma di documenti normativi in tutte le modalità, dalle piccole molecole ai farmaci biologici e agli AMTP, e stanno attualmente implementando funzionalità abilitate all'intelligenza artificiale per portare queste attività a un livello superiore in collaborazione con il gruppo di innovazione digitale Cencora.
Angela Vogt-Eisele, PhD, è Direttore CDS, Team Lead Global Medical Writing, presso Cencora. Angela lavora per l'industria farmaceutica da oltre 15 anni a supporto di programmi di sviluppo clinico e non clinico per i medicinali per uso umano. Angela e il team di redazione globale hanno una solida esperienza nella scrittura e nell'aggiornamento di un'ampia gamma di documenti normativi in tutte le modalità, dalle piccole molecole ai farmaci biologici e agli AMTP, e stanno attualmente implementando funzionalità abilitate all'intelligenza artificiale per portare queste attività a un livello superiore in collaborazione con il gruppo di innovazione digitale Cencora.
Dichiarazione di non responsabilità:
Le informazioni fornite in questo articolo non costituiscono una consulenza legale. Cencora, Inc. incoraggia vivamente i lettori a rivedere le informazioni disponibili relative agli argomenti discussi e a fare affidamento sulla propria esperienza e competenza nel prendere decisioni correlate.
Mettiti in contatto con il nostro team
Il nostro team di esperti di valore leader si dedica a trasformare evidenze, approfondimenti sulle politiche e informazioni di mercato in efficaci strategie di accesso al mercato globale. Lascia che ti aiutiamo a navigare con sicurezza nel complesso panorama sanitario odierno. Contattaci per scoprire come possiamo supportare i tuoi obiettivi.
Fonti
1. Linee guida sulle buone pratiche di farmacovigilanza (GVP), HMA, EMA, dicembre 2013. https://www.ema.europa.eu/en/documents/scientific-guideline/guideline-good-pharmacovigilance-practices-gvp-module-vii-periodic-safety-update-report_en.pdf
2. Linee guida per l'industria, applicazioni coperte dalla Sezione 505(b)(2), FDA, ottobre 1999. https://www.fda.gov/media/72419/download
.jpg)