Artikkel
Forbedre kvaliteten på litteratursøk med kunstig intelligens for å redusere tapt dokumentasjon og manuell omarbeiding
-
Shilpa Patil, PhD
-
Angela Vogt-Eisele, PhD
Å forbedre kvaliteten på litteratursøk med kunstig intelligens kan bidra til å redusere risikoen for å gå glipp av kritiske publikasjoner samtidig som støyen filtreres
Gjennomgang av vitenskapelig litteratur som er tilgjengelig i det offentlige domene er et sentralt krav for utarbeidelse av en rekke regulatoriske dokumenter, inkludert kliniske og ikke-kliniske oversikter, betegnelser for sjeldne legemidler eller pediatriske undersøkelsesplaner. Disse dokumentene krever en omfattende og oppdatert oppsummering av informasjon tilgjengelig i vitenskapelig litteratur.
Regulatorer kan be om et reproduserbart systematisk litteratursøk, noe som betyr at søkeren må kunne gi informasjon om de nøyaktige databasene/plattformene som søkes i, de fullstendige søkestrengene (alle nøkkelord/kontrollerte termer), datointervallene og andre grenser/filtre som brukes, datoen(e) søkene ble utført, og posttellingene/resultatene slik at søket kan gjentas og verifiseres.1,2
Avhengig av emnet kan mengden informasjon som hentes i primærsøket være omfattende og krever kjedelige og tidkrevende manuelle søk. Forsøk på å bruke chatbot-spørsmål og svar har vist seg å være upålitelige, mens filterfunksjoner som er tilgjengelige i offentlige databaser ikke er tilstrekkelig spesifikke og utgjør en risiko for enten å returnere for mye støy (dvs. ikke effektivt begrense informasjonen til de aktuelle artiklene) eller gå glipp av nøkkelinformasjon.
Regulatorer kan be om et reproduserbart systematisk litteratursøk, noe som betyr at søkeren må kunne gi informasjon om de nøyaktige databasene/plattformene som søkes i, de fullstendige søkestrengene (alle nøkkelord/kontrollerte termer), datointervallene og andre grenser/filtre som brukes, datoen(e) søkene ble utført, og posttellingene/resultatene slik at søket kan gjentas og verifiseres.1,2
Avhengig av emnet kan mengden informasjon som hentes i primærsøket være omfattende og krever kjedelige og tidkrevende manuelle søk. Forsøk på å bruke chatbot-spørsmål og svar har vist seg å være upålitelige, mens filterfunksjoner som er tilgjengelige i offentlige databaser ikke er tilstrekkelig spesifikke og utgjør en risiko for enten å returnere for mye støy (dvs. ikke effektivt begrense informasjonen til de aktuelle artiklene) eller gå glipp av nøkkelinformasjon.
Videre gir ikke chatbots verifiserbare svar, kan ikke sikre fullstendighet, og gir også utfordringer med sporbarhet på et senere tidspunkt. Kunstig intelligens litteraturutvinningsverktøy har potensial til å løse disse problemene. Å kunne etablere logiske sammenhenger mellom termer, i stedet for å filtrere etter artikler som bare nevner en kombinasjon av bestemte termer, gir mulighet for spesifikke, målrettede søk på definerte vitenskapelige spørsmål og reduserer risikoen for å gå glipp av relevant informasjon.
Fokuserte og grundige sett med litteratur gjør det mulig for regulatoriske team å bygge velinformerte, nyanserte dokumenter som støtter det respektive temaet – for eksempel indikasjoner og kontraindikasjoner for et legemiddel, diskusjon av legemiddelinteraksjoner eller sikkerhetsmarginen til produktet i definerte pasientpopulasjoner.
Hvordan utvinning av AI-litteratur hjelper forskere med å forbedre effektivitet og følsomhet
1. Finne sentrale artikler blant store mengder litteratur
Implementering av et semantisk søkeverktøy kan identifisere artikler som er relevante for ønsket emne med stor nøyaktighet og effektivitet, noe som er avgjørende spesielt for søk med et stort antall primære treff.
I en pilotstudie utnyttet Cencora et internt og validert verktøy for litteraturutvinning for å søke etter interaksjoner mellom legemidler som involverer virkestoff A og flere samtidig administrerte forbindelser (B–E). Det konvensjonelle søkeordbaserte primærsøket hentet mer enn 7,000 artikler, hovedsakelig drevet av omfattende publisering av den godt beskrevne interaksjonen mellom A og B.
Derimot var det vanskelig å identifisere interaksjoner mellom A og C–E fordi standardsøkemotoren først og fremst dukket opp artikler som beskrev interaksjonen mellom A og B der C–E bare dukket opp som sekundære omtaler, ikke i sammenheng med interaksjon med A.
Bruk av det semantiske søkeverktøyet muliggjorde et fokusert søk etter artikler som spesifikt beskrev legemiddelinteraksjoner mellom A og C, D og E hver for seg. Med denne tilnærmingen var det mulig å begrense antallet primære treff for manuell verifisering betraktelig – fra mer enn 7,000 i en første PubMed-spørring til rundt 950. Enda viktigere var det at verktøyet identifiserte publikasjoner om tynt studerte og sjeldne interaksjoner som hadde blitt oversett i et tidligere manuelt søk.
Samlet sett illustrerer denne piloten den betydelige rollen AI kan spille for å forbedre litteratursøk: den muliggjør screening med høy gjennomstrømning av svært store sett med primære treff uten å være avhengig av altfor restriktive filtre, og den forbedrer presisjonen ved å rangere poster basert på et logisk forhold mellom konsepter (f.eks. en faktisk interaksjon mellom A og C/D/E) i stedet for enkel samtidig forekomst av termer.
I en pilotstudie utnyttet Cencora et internt og validert verktøy for litteraturutvinning for å søke etter interaksjoner mellom legemidler som involverer virkestoff A og flere samtidig administrerte forbindelser (B–E). Det konvensjonelle søkeordbaserte primærsøket hentet mer enn 7,000 artikler, hovedsakelig drevet av omfattende publisering av den godt beskrevne interaksjonen mellom A og B.
Derimot var det vanskelig å identifisere interaksjoner mellom A og C–E fordi standardsøkemotoren først og fremst dukket opp artikler som beskrev interaksjonen mellom A og B der C–E bare dukket opp som sekundære omtaler, ikke i sammenheng med interaksjon med A.
Bruk av det semantiske søkeverktøyet muliggjorde et fokusert søk etter artikler som spesifikt beskrev legemiddelinteraksjoner mellom A og C, D og E hver for seg. Med denne tilnærmingen var det mulig å begrense antallet primære treff for manuell verifisering betraktelig – fra mer enn 7,000 i en første PubMed-spørring til rundt 950. Enda viktigere var det at verktøyet identifiserte publikasjoner om tynt studerte og sjeldne interaksjoner som hadde blitt oversett i et tidligere manuelt søk.
Samlet sett illustrerer denne piloten den betydelige rollen AI kan spille for å forbedre litteratursøk: den muliggjør screening med høy gjennomstrømning av svært store sett med primære treff uten å være avhengig av altfor restriktive filtre, og den forbedrer presisjonen ved å rangere poster basert på et logisk forhold mellom konsepter (f.eks. en faktisk interaksjon mellom A og C/D/E) i stedet for enkel samtidig forekomst av termer.
Når søket er begrenset, må det identifiserte materialet valideres manuelt. AI forbedrer effektiviteten til denne oppgaven betraktelig, samtidig som den i tillegg genererer en kortfattet inkluderings- eller eksklusjonsbegrunnelse for hver artikkel. Menneskelige korrekturlesere kan deretter bekrefte avgjørelsen – eller identifisere falske positiver eller falske negativer – ved å sjekke begrunnelsen mot de relevante passasjene i kildeteksten. Å ha et menneske i løkken er nøkkelen til å sjekke og foredle modellen.
2. Å kunne spørre komplekse logiske relasjoner
Som skissert ovenfor brukes semantisk forståelse (naturlig språkbehandling eller NLP) for litteratursøket i stedet for enkel søkeordmatching, noe som gjør det mulig å vurdere kontekstuell relevans for å eliminere de falske positive resultatene.
Videre kan det oppnådde utvalget av primærtreff videre søkes etter definerte aspekter – for eksempel farmakokinetikk i ulike pasientpopulasjoner, spesifikke sikkerhetsaspekter eller undersøkelse av visse endepunkter. Dette gir et strukturert resultat av informasjonen som er tilgjengelig om det respektive emnet, knyttet til den opprinnelige publikasjonen som gir denne informasjonen.
Videre kan det oppnådde utvalget av primærtreff videre søkes etter definerte aspekter – for eksempel farmakokinetikk i ulike pasientpopulasjoner, spesifikke sikkerhetsaspekter eller undersøkelse av visse endepunkter. Dette gir et strukturert resultat av informasjonen som er tilgjengelig om det respektive emnet, knyttet til den opprinnelige publikasjonen som gir denne informasjonen.
3. Revisjon og sporbarhet
AI gir også en fullstendig liste over nøkkelord og filtre som brukes og antall artikler identifisert i hvert trinn som kreves for systematiske litteratursøk for regulatoriske innsendinger. Inklusjons- og eksklusjonskriteriene samt relevanskriteriene, kartlagt til de resulterende artiklene, muliggjør sporbarhet for enhver fremtidig analyse og gjennomgang. For eksempel er det mulig å selvstendig velge ut artikler som studerer «legemiddelinteraksjoner som påvirker absorpsjon», «legemiddelinteraksjoner som påvirker effekt i indikasjon X», «legemiddelinteraksjoner assosiert med uønskede hendelser» osv.
AI-verktøyet tilførte verdi til prosessen og muliggjorde en objektiv, repeterbar begrunnelse for inkludering og ekskludering, som kan bekreftes eller avvises av den menneskelige evaluatoren. Videre tillater den komprimerte beskrivelsen av begrunnelsen for inkludering eller ekskludering av en artikkel en rask og effektiv manuell verifisering av utvalget av eksperten og sikrer at resonnementet bak inkluderings- og eksklusjonskriteriene blir registrert for sporbarhet og revisjon.
Det AI-genererte revisjonssporet til søkekriteriene og hvilke artikler som ble valgt eller ekskludert viser en nøkkelverdi ved AI: å frigjøre eksperter til å sikre riktig tilsyn og administrere det fulle ansvaret for det endelige litteraturutvalget.
AI-verktøyet tilførte verdi til prosessen og muliggjorde en objektiv, repeterbar begrunnelse for inkludering og ekskludering, som kan bekreftes eller avvises av den menneskelige evaluatoren. Videre tillater den komprimerte beskrivelsen av begrunnelsen for inkludering eller ekskludering av en artikkel en rask og effektiv manuell verifisering av utvalget av eksperten og sikrer at resonnementet bak inkluderings- og eksklusjonskriteriene blir registrert for sporbarhet og revisjon.
Det AI-genererte revisjonssporet til søkekriteriene og hvilke artikler som ble valgt eller ekskludert viser en nøkkelverdi ved AI: å frigjøre eksperter til å sikre riktig tilsyn og administrere det fulle ansvaret for det endelige litteraturutvalget.
4. Datastrukturering for prediktiv analyse og innsikt
KI genererer også en systematisk og strukturert analyse av sentrale dataelementer fra relevante artikler, for eksempel sikkerhetsdata etter aldersgruppe eller en oppsummering av farmakokinetiske legemiddelinteraksjoner på tvers av tilgjengelige studier. Disse strukturerte dataene kan brukes til å støtte for eksempel diskusjonen av et legemiddels formulering eller dets sikkerhet i spesifikke pasientpopulasjoner. Bevisnivået kan også kartlegges basert på artikkeltype og studiestørrelse eller design osv.
En slik strukturert, dyptgående analyse av litteraturdata kan forbedre responsberedskapen, spesielt når regulatorer ber om avklaring om sikkerhetskontekst eller støttende bevis.
En slik strukturert, dyptgående analyse av litteraturdata kan forbedre responsberedskapen, spesielt når regulatorer ber om avklaring om sikkerhetskontekst eller støttende bevis.
Konklusjon:
Forbedre litteratursøk og redusere risiko for regulatoriske mangler
AI-assistert litteraturutvinning kan spille en viktig rolle i å bygge dybde og forsvarlighet i utarbeidelsen av regulatoriske dokumenter som krever omfattende, oppdaterte vitenskapelige bevis fra publisert litteratur. Ved å muliggjøre omfattende primærlitteraturscreeninger, der relevante artikler velges ut basert på semantisk forståelse, øker dette verktøyet effekten betraktelig samtidig som risikoen for å gå glipp av kritiske publikasjoner reduseres. Menneskelig tilsyn er tilgjengelig i alle stadier av utvelgelsesprosessen.
Godt utformede AI-arbeidsflyter forbedrer også sporbarhet og revisjonsevne ved å registrere søkestrategier, inkluderings- og eksklusjonslogikk og begrunnelsen for artikkelprioritering. Når den kombineres med menneske-i-løkken-validering, støtter denne tilnærmingen konsekvente, repeterbare beslutninger og reduserer variasjonen som ligger i manuell screening. Til slutt skaper strukturering av ekstraherte dataelementer på tvers av relevante publikasjoner et grunnlag for dypere analyse (f.eks. subpopulasjonsinnsikt, evidensgradering, trenddeteksjon) og styrker regulatoriske fortellinger og responsberedskap.
Stort sett kan AI-aktivert litteraturutvinning forbedre fullstendigheten og kvaliteten på evidensgrunnlaget betydelig for å støtte regulatoriske innsendinger, og dermed redusere risikoen for mangler i gjennomgangssyklusen betraktelig.
Godt utformede AI-arbeidsflyter forbedrer også sporbarhet og revisjonsevne ved å registrere søkestrategier, inkluderings- og eksklusjonslogikk og begrunnelsen for artikkelprioritering. Når den kombineres med menneske-i-løkken-validering, støtter denne tilnærmingen konsekvente, repeterbare beslutninger og reduserer variasjonen som ligger i manuell screening. Til slutt skaper strukturering av ekstraherte dataelementer på tvers av relevante publikasjoner et grunnlag for dypere analyse (f.eks. subpopulasjonsinnsikt, evidensgradering, trenddeteksjon) og styrker regulatoriske fortellinger og responsberedskap.
Stort sett kan AI-aktivert litteraturutvinning forbedre fullstendigheten og kvaliteten på evidensgrunnlaget betydelig for å støtte regulatoriske innsendinger, og dermed redusere risikoen for mangler i gjennomgangssyklusen betraktelig.
*Kildene fortsetter nedenfor
Om forfatterne:
Shilpa Patil, PhD, er seniorforsker i gruppen for digital innovasjon hos Cencora. Hun har mer enn åtte års erfaring innen translasjonsforskning og helsevesen, og spesialiserer seg på legemiddeloppdagelse, biomarkørforskning og AI-assistert persontilpasset medisin innen onkologi. Shilpa og teamet hennes jobber med å definere og bygge AI-baserte løsninger som tar sikte på å tilføre verdi og effektivitet til de regulatoriske applikasjonene og konsulenttjenestene som tilbys.
Angela Vogt-Eisele, PhD, er Director CDS, Team Lead Global Medical Writing, hos Cencora. Angela har jobbet for farmasøytisk industri i mer enn 15 år med å støtte ikke-kliniske og kliniske utviklingsprogrammer for humane legemidler. Angela og det globale skriveteamet har en sterk merittliste når det gjelder å skrive og oppdatere et bredt spekter av regulatoriske dokumenter på tvers av modaliteter, fra små molekyler til biologiske legemidler og AMTP-er, og implementerer for tiden AI-aktiverte funksjoner for å ta disse aktivitetene til neste nivå i samarbeid med Cencoras digitale innovasjonsgruppe.
Angela Vogt-Eisele, PhD, er Director CDS, Team Lead Global Medical Writing, hos Cencora. Angela har jobbet for farmasøytisk industri i mer enn 15 år med å støtte ikke-kliniske og kliniske utviklingsprogrammer for humane legemidler. Angela og det globale skriveteamet har en sterk merittliste når det gjelder å skrive og oppdatere et bredt spekter av regulatoriske dokumenter på tvers av modaliteter, fra små molekyler til biologiske legemidler og AMTP-er, og implementerer for tiden AI-aktiverte funksjoner for å ta disse aktivitetene til neste nivå i samarbeid med Cencoras digitale innovasjonsgruppe.
Ansvarserklæring:
Informasjonen i denne artikkelen utgjør ikke juridisk rådgivning. Cencora, Inc. oppfordrer leserne på det sterkeste til å gjennomgå tilgjengelig informasjon relatert til emnene som diskuteres og stole på sin egen erfaring og ekspertise når de tar beslutninger relatert til dette.
Ta kontakt med teamet vårt
Vårt team av ledende verdieksperter arbeider iherdig med å omsette bevis, policy-innsikt og markedsinformasjon til effektive tilgangsstrategier for det globale markedet. Vi hjelper deg med å finne frem i dagens komplekse helsetjenester. Kontakt oss, så hjelper vi deg med å nå målene dine.
Kilder
1. Retningslinje for god legemiddelovervåkingspraksis (GVP), HMA, EMA, desember 2013. https://www.ema.europa.eu/en/documents/scientific-guideline/guideline-good-pharmacovigilance-practices-gvp-module-vii-periodic-safety-update-report_en.pdf
2. Veiledning for industrien, applikasjoner dekket av paragraf 505(b)(2), FDA, oktober 1999. https://www.fda.gov/media/72419/download
.jpg)