Articol
Îmbunătățirea calității căutării prin literatură cu IA pentru a reduce lipsa dovezilor și reprelucrarea manuală
-
Shilpa Patil, PhD
-
Angela Vogt-Eisele, PhD
Îmbunătățirea calității căutării în literatură cu IA poate ajuta la reducerea riscului de a pierde publicații critice, filtrând în același timp zgomotul
Revizuirea literaturii științifice disponibile în domeniul public este o cerință centrală pentru pregătirea a numeroase documente de reglementare, inclusiv prezentări clinice și non-clinice, desemnări de medicamente orfane sau planuri de investigație pediatrică. Aceste documente necesită un rezumat cuprinzător și actualizat al informațiilor disponibile în literatura științifică.
Autoritățile de reglementare pot solicita o căutare sistematică în literatura de specialitate reproductibilă, ceea ce înseamnă că solicitantul trebuie să poată furniza informații despre bazele de date/platformele exacte căutate, șirurile de căutare complete (toate cuvintele cheie/termenii controlați), intervalele de date și alte limite/filtre aplicate, data (datele) la care au fost efectuate căutările și numărul de înregistrări/rezultate, astfel încât căutarea să poată fi repetată și verificată.1,2
În funcție de subiect, cantitatea de informații recuperate în căutarea primară poate fi extinsă și necesită căutări manuale plictisitoare și consumatoare de timp. Încercările de utilizare a întrebărilor și răspunsurilor chatbot-ului s-au dovedit a fi nesigure, în timp ce funcțiile de filtrare disponibile în bazele de date publice nu sunt suficient de specifice și prezintă riscul fie de a returna prea mult zgomot (adică nu se restrâng eficient informațiile la articolele relevante), fie de a lipsi informații cheie.
Autoritățile de reglementare pot solicita o căutare sistematică în literatura de specialitate reproductibilă, ceea ce înseamnă că solicitantul trebuie să poată furniza informații despre bazele de date/platformele exacte căutate, șirurile de căutare complete (toate cuvintele cheie/termenii controlați), intervalele de date și alte limite/filtre aplicate, data (datele) la care au fost efectuate căutările și numărul de înregistrări/rezultate, astfel încât căutarea să poată fi repetată și verificată.1,2
În funcție de subiect, cantitatea de informații recuperate în căutarea primară poate fi extinsă și necesită căutări manuale plictisitoare și consumatoare de timp. Încercările de utilizare a întrebărilor și răspunsurilor chatbot-ului s-au dovedit a fi nesigure, în timp ce funcțiile de filtrare disponibile în bazele de date publice nu sunt suficient de specifice și prezintă riscul fie de a returna prea mult zgomot (adică nu se restrâng eficient informațiile la articolele relevante), fie de a lipsi informații cheie.
În plus, chatbot-urile nu oferă răspunsuri verificabile, nu pot asigura caracterul complet și prezintă provocări cu trasabilitatea într-o etapă ulterioară. Instrumentele de extragere a literaturii de inteligență artificială au potențialul de a aborda aceste probleme. Capacitatea de a stabili conexiuni logice între termeni, mai degrabă decât filtrarea articolelor care menționează doar o combinație de anumiți termeni, permite căutări specifice și țintite pe întrebări științifice definite și reduce riscul de a pierde informații relevante.
Seturile de literatură focalizate și amănunțite permit echipelor de reglementare să construiască documente bine informate și nuanțate care să susțină subiectul respectiv – cum ar fi indicațiile și contraindicațiile unui medicament, discuții despre interacțiunile medicamentoase sau marja de siguranță a produsului în grupuri de pacienți definite.
Cum exploatarea literaturii AI îi ajută pe cercetători să îmbunătățească eficiența și sensibilitatea
1. Găsirea articolelor cheie în volume mari de literatură
Implementarea unui instrument de căutare semantică poate identifica articolele relevante pentru subiectul dorit cu mare acuratețe și eficiență, ceea ce este crucial mai ales pentru căutările cu un număr mare de rezultate primare.
Într-un studiu pilot, Cencora a utilizat un instrument intern și validat de extragere a literaturii pentru a căuta interacțiuni medicamentoase-medicamente care implică substanța activă A și mai mulți compuși administrați concomitent (B-E). Căutarea primară convențională bazată pe cuvinte cheie a recuperat peste 7.000 de articole, în mare parte determinată de publicarea extinsă a interacțiunii bine descrise a lui A cu B.
În schimb, identificarea interacțiunilor dintre A și C-E a fost dificilă, deoarece motorul de căutare standard a apărut în principal lucrări care descriau interacțiunea dintre A și B în care C-E a apărut doar ca mențiuni secundare, nu în contextul interacțiunii cu A.
Utilizarea instrumentului de căutare semantică a permis o căutare concentrată pentru articole care descriu în mod specific interacțiunile medicamentoase-medicamentoase ale A cu C, D și E separat. Cu această abordare, a fost posibilă restrângerea semnificativă a numărului de accesări primare pentru verificarea manuală – de la peste 7.000 într-o interogare inițială PubMed la aproximativ 950. Mai important, instrumentul a identificat publicații despre interacțiuni puțin studiate și rare care au fost ratate într-o căutare manuală anterioară.
În general, acest pilot ilustrează rolul semnificativ pe care îl poate juca IA în îmbunătățirea căutărilor în literatura de specialitate: permite verificarea cu randament ridicat a seturilor foarte mari de rezultate primare fără a se baza pe filtre prea restrictive și îmbunătățește precizia prin clasificarea înregistrărilor pe baza unei relații logice între concepte (de exemplu, o interacțiune reală între A și C/D/E) mai degrabă decât pe simpla co-apariție a termenilor.
Într-un studiu pilot, Cencora a utilizat un instrument intern și validat de extragere a literaturii pentru a căuta interacțiuni medicamentoase-medicamente care implică substanța activă A și mai mulți compuși administrați concomitent (B-E). Căutarea primară convențională bazată pe cuvinte cheie a recuperat peste 7.000 de articole, în mare parte determinată de publicarea extinsă a interacțiunii bine descrise a lui A cu B.
În schimb, identificarea interacțiunilor dintre A și C-E a fost dificilă, deoarece motorul de căutare standard a apărut în principal lucrări care descriau interacțiunea dintre A și B în care C-E a apărut doar ca mențiuni secundare, nu în contextul interacțiunii cu A.
Utilizarea instrumentului de căutare semantică a permis o căutare concentrată pentru articole care descriu în mod specific interacțiunile medicamentoase-medicamentoase ale A cu C, D și E separat. Cu această abordare, a fost posibilă restrângerea semnificativă a numărului de accesări primare pentru verificarea manuală – de la peste 7.000 într-o interogare inițială PubMed la aproximativ 950. Mai important, instrumentul a identificat publicații despre interacțiuni puțin studiate și rare care au fost ratate într-o căutare manuală anterioară.
În general, acest pilot ilustrează rolul semnificativ pe care îl poate juca IA în îmbunătățirea căutărilor în literatura de specialitate: permite verificarea cu randament ridicat a seturilor foarte mari de rezultate primare fără a se baza pe filtre prea restrictive și îmbunătățește precizia prin clasificarea înregistrărilor pe baza unei relații logice între concepte (de exemplu, o interacțiune reală între A și C/D/E) mai degrabă decât pe simpla co-apariție a termenilor.
Odată ce căutarea a fost restrânsă, materialul identificat trebuie validat manual. IA îmbunătățește considerabil eficiența acestei sarcini, generând în plus o justificare concisă de includere sau excludere pentru fiecare articol. Recenzorii umani pot apoi confirma decizia – sau pot identifica fals pozitive sau fals negative – verificând raționamentul în raport cu pasajele relevante din textul sursă. A avea un om în buclă este cheia pentru verificarea și perfecționarea modelului.
2. Capacitatea de a interoga relații logice complexe
După cum s-a subliniat mai sus, înțelegerea semantică (procesarea limbajului natural sau NLP) este utilizată pentru căutarea literaturii, mai degrabă decât pentru simpla potrivire a cuvintelor cheie, permițând evaluarea relevanței contextuale pentru a elimina rezultatele fals pozitive.
Mai mult, bazinul obținut de rezultate primare poate fi căutat în continuare pentru aspecte definite – de exemplu, farmacocinetica la diferite populații de pacienți, aspecte specifice de siguranță sau investigarea anumitor criterii finale. Acesta oferă o ieșire structurată a informațiilor disponibile pe tema respectivă, legată de publicația originală care furnizează aceste informații.
Mai mult, bazinul obținut de rezultate primare poate fi căutat în continuare pentru aspecte definite – de exemplu, farmacocinetica la diferite populații de pacienți, aspecte specifice de siguranță sau investigarea anumitor criterii finale. Acesta oferă o ieșire structurată a informațiilor disponibile pe tema respectivă, legată de publicația originală care furnizează aceste informații.
3. Auditabilitate și trasabilitate
AI oferă, de asemenea, o listă completă a cuvintelor cheie și a filtrelor aplicate și numărul de articole identificate în fiecare etapă ca fiind solicitate pentru căutările sistematice în literatura de specialitate pentru propunerile de reglementare. Criteriile de includere și excludere, precum și criteriile de relevanță, mapate la articolele rezultate, permit trasabilitatea pentru orice analiză și revizuire viitoare. De exemplu, este posibil să selectați în mod independent articole care studiază "interacțiuni medicamentoase-medicamentoase cu impact asupra absorbției", "interacțiuni medicamentoase-medicamentoase cu impact asupra eficacității în indicația X", "interacțiuni medicamentoase-medicamentoase asociate cu evenimente adverse" etc.
Adăugând valoare procesului, instrumentul IA a permis o justificare obiectivă și repetabilă pentru incluziune și excludere, care poate fi confirmată sau respinsă de recenzorul uman. Mai mult, descrierea condensată a raționamentului pentru includerea sau excluderea unui articol permite o verificare manuală rapidă și eficientă a selecției de către expert și asigură înregistrarea raționamentului din spatele criteriilor de includere și excludere pentru trasabilitate și auditabilitate.
Pista de audit generată de IA a criteriilor de căutare și a articolelor care au fost selectate sau excluse demonstrează o valoare cheie a IA: eliberarea experților pentru a asigura o supraveghere adecvată și pentru a gestiona întreaga responsabilitate a selecției finale a literaturii.
Adăugând valoare procesului, instrumentul IA a permis o justificare obiectivă și repetabilă pentru incluziune și excludere, care poate fi confirmată sau respinsă de recenzorul uman. Mai mult, descrierea condensată a raționamentului pentru includerea sau excluderea unui articol permite o verificare manuală rapidă și eficientă a selecției de către expert și asigură înregistrarea raționamentului din spatele criteriilor de includere și excludere pentru trasabilitate și auditabilitate.
Pista de audit generată de IA a criteriilor de căutare și a articolelor care au fost selectate sau excluse demonstrează o valoare cheie a IA: eliberarea experților pentru a asigura o supraveghere adecvată și pentru a gestiona întreaga responsabilitate a selecției finale a literaturii.
4. Structurarea datelor pentru analiză predictivă și informații
IA generează, de asemenea, o analiză sistematică și structurată a elementelor cheie de date din articolele relevante, cum ar fi datele de siguranță pe grupe de vârstă sau un rezumat al interacțiunilor farmacocinetice medicamentoase din studiile disponibile. Aceste date structurate pot fi utilizate pentru a sprijini, de exemplu, discuția despre formularea unui medicament sau siguranța acestuia la anumite grupuri de pacienți. De asemenea, nivelul de dovezi poate fi cartografiat pe baza tipului de articol și a dimensiunii sau designului studiului etc.
O astfel de analiză structurată și aprofundată a datelor din literatură poate îmbunătăți pregătirea pentru răspuns, în special atunci când autoritățile de reglementare solicită clarificări cu privire la contextul de siguranță sau dovezi justificative.
O astfel de analiză structurată și aprofundată a datelor din literatură poate îmbunătăți pregătirea pentru răspuns, în special atunci când autoritățile de reglementare solicită clarificări cu privire la contextul de siguranță sau dovezi justificative.
Concluzie:
Îmbunătățirea căutărilor în literatura de specialitate și reducerea riscului de deficiențe de reglementare
Extragerea literaturii asistată de inteligența artificială poate juca un rol important în construirea profunzimii și a apărării în pregătirea documentelor de reglementare care necesită dovezi științifice cuprinzătoare și actualizate din literatura publicată. Prin permiterea unor ecrane extinse ale literaturii primare, din care sunt selectate articolele relevante pe baza înțelegerii semantice, acest instrument îmbunătățește considerabil eficacitatea, reducând în același timp riscul de a pierde publicații critice. Supravegherea umană este disponibilă în toate etapele procesului de selecție.
Fluxurile de lucru IA bine concepute îmbunătățesc, de asemenea, trasabilitatea și auditabilitatea prin înregistrarea strategiilor de căutare, a logicii de includere și excludere și a raționamentului pentru prioritizarea articolelor. Atunci când este asociată cu validarea human-in-the-loop, această abordare sprijină deciziile consecvente și repetabile și reduce variabilitatea inerentă verificării manuale. În cele din urmă, structurarea elementelor de date extrase în publicațiile relevante creează o bază pentru o analiză mai profundă (de exemplu, informații despre subpopulație, clasificarea dovezilor, detectarea tendințelor) și consolidează narațiunile de reglementare și pregătirea pentru răspuns.
În linii mari, extragerea literaturii bazată pe IA poate îmbunătăți substanțial exhaustivitatea și calitatea bazei de dovezi pentru a susține propunerile de reglementare, reducând astfel considerabil riscul de deficiențe în ciclul de revizuire.
Fluxurile de lucru IA bine concepute îmbunătățesc, de asemenea, trasabilitatea și auditabilitatea prin înregistrarea strategiilor de căutare, a logicii de includere și excludere și a raționamentului pentru prioritizarea articolelor. Atunci când este asociată cu validarea human-in-the-loop, această abordare sprijină deciziile consecvente și repetabile și reduce variabilitatea inerentă verificării manuale. În cele din urmă, structurarea elementelor de date extrase în publicațiile relevante creează o bază pentru o analiză mai profundă (de exemplu, informații despre subpopulație, clasificarea dovezilor, detectarea tendințelor) și consolidează narațiunile de reglementare și pregătirea pentru răspuns.
În linii mari, extragerea literaturii bazată pe IA poate îmbunătăți substanțial exhaustivitatea și calitatea bazei de dovezi pentru a susține propunerile de reglementare, reducând astfel considerabil riscul de deficiențe în ciclul de revizuire.
*Sursele continuă mai jos
Despre autori:
Shilpa Patil, PhD, este cercetător senior în cadrul grupului de inovare digitală din cadrul Cencora. Are peste opt ani de experiență în domeniul cercetării translaționale și al asistenței medicale, specializată în descoperirea de medicamente, cercetarea biomarkerilor și medicina personalizată asistată de inteligență artificială în oncologie. Shilpa și echipa ei lucrează la definirea și construirea de soluții bazate pe IA care urmăresc să adauge valoare și eficiență aplicațiilor de reglementare și serviciilor de consultanță oferite.
Angela Vogt-Eisele, PhD, este director CDS, șef de echipă Global Medical Writing, la Cencora. Angela lucrează pentru industria farmaceutică de mai bine de 15 ani, sprijinind programe de dezvoltare non-clinică și clinică pentru medicamente umane. Angela și echipa de redactare globală au o experiență solidă în scrierea și actualizarea unei game largi de documente de reglementare în toate modalitățile, de la molecule mici la produse biologice și AMTP, și implementează în prezent capabilități bazate pe IA pentru a duce aceste activități la nivelul următor, în colaborare cu grupul de inovare digitală Cencora.
Angela Vogt-Eisele, PhD, este director CDS, șef de echipă Global Medical Writing, la Cencora. Angela lucrează pentru industria farmaceutică de mai bine de 15 ani, sprijinind programe de dezvoltare non-clinică și clinică pentru medicamente umane. Angela și echipa de redactare globală au o experiență solidă în scrierea și actualizarea unei game largi de documente de reglementare în toate modalitățile, de la molecule mici la produse biologice și AMTP, și implementează în prezent capabilități bazate pe IA pentru a duce aceste activități la nivelul următor, în colaborare cu grupul de inovare digitală Cencora.
Precizare:
Informațiile furnizate în acest articol nu constituie consultanță juridică. Cencora, Inc. încurajează insistent cititorii să revizuiască informațiile disponibile legate de subiectele discutate și să se bazeze pe propria experiență și expertiză în luarea deciziilor legate de acestea.
Luați legătura cu echipa noastră
Echipa noastră de experți în valoare este dedicată transformării dovezilor, informațiilor privind politicile și informațiilor de piață în strategii eficiente de acces la piața globală. Permiteți-ne să vă ajutăm să navigați cu încredere prin peisajul complex al asistenței medicale din ziua de azi. Contactați-ne pentru a afla în ce mod vă putem sprijini în atingerea obiectivelor.
Surse
1. Ghid privind bunele practici de farmacovigilență (GVP), HMA, EMA, decembrie 2013. https://www.ema.europa.eu/en/documents/scientific-guideline/guideline-good-pharmacovigilance-practices-gvp-module-vii-periodic-safety-update-report_en.pdf
2. Orientări pentru industrie, aplicații acoperite de secțiunea 505(b)(2), FDA, octombrie 1999. https://www.fda.gov/media/72419/download
.jpg)