Článek
Zlepšení kvality vyhledávání literatury pomocí umělé inteligence, aby se snížily chybějící důkazy a ruční přepracování
-
Shilpa Patil, PhD
-
Angela Vogt-Eisele, PhD
Zlepšení kvality vyhledávání literatury pomocí umělé inteligence může pomoci snížit riziko zmeškání kritických publikací při filtrování šumu
Přezkoumání vědecké literatury dostupné ve veřejné doméně je ústředním požadavkem pro přípravu řady regulačních dokumentů, včetně klinických a neklinických přehledů, označení léčivých přípravků pro vzácná onemocnění nebo pediatrických výzkumných plánů. Tyto dokumenty vyžadují komplexní a aktuální souhrn informací dostupných v odborné literatuře.
Regulační orgány mohou požádat o reprodukovatelné systematické vyhledávání v literatuře, což znamená, že žadatel musí být schopen poskytnout informace o přesných databázích/platformách, v nichž se hledá, o úplných vyhledávacích řetězcích (všechna klíčová slova/kontrolované výrazy), o časových obdobích a dalších omezeních/filtrech, o datu (datech), kdy bylo vyhledávání provedeno, a o počtech/výsledcích záznamů, aby bylo možné vyhledávání opakovat a ověřit.1,2
V závislosti na tématu může být množství informací získaných v primárním vyhledávání rozsáhlé a vyžaduje zdlouhavé a časově náročné ruční vyhledávání. Pokusy o použití otázek a odpovědí chatbotů se ukázaly jako nespolehlivé, zatímco funkce filtrů dostupné ve veřejných databázích nejsou dostatečně specifické a představují riziko, že buď vrátí příliš mnoho šumu (tj. neefektivní zúžení informací na příslušné články), nebo že budou chybět klíčové informace.
Regulační orgány mohou požádat o reprodukovatelné systematické vyhledávání v literatuře, což znamená, že žadatel musí být schopen poskytnout informace o přesných databázích/platformách, v nichž se hledá, o úplných vyhledávacích řetězcích (všechna klíčová slova/kontrolované výrazy), o časových obdobích a dalších omezeních/filtrech, o datu (datech), kdy bylo vyhledávání provedeno, a o počtech/výsledcích záznamů, aby bylo možné vyhledávání opakovat a ověřit.1,2
V závislosti na tématu může být množství informací získaných v primárním vyhledávání rozsáhlé a vyžaduje zdlouhavé a časově náročné ruční vyhledávání. Pokusy o použití otázek a odpovědí chatbotů se ukázaly jako nespolehlivé, zatímco funkce filtrů dostupné ve veřejných databázích nejsou dostatečně specifické a představují riziko, že buď vrátí příliš mnoho šumu (tj. neefektivní zúžení informací na příslušné články), nebo že budou chybět klíčové informace.
Chatboti navíc neposkytují ověřitelné odpovědi, nemohou zajistit úplnost a také představují problémy s dohledatelností v pozdější fázi. Nástroje pro vytěžování literatury o umělé inteligenci mají potenciál tyto problémy řešit. Schopnost vytvořit logické spojení mezi termíny, spíše než filtrovat články, které pouze zmiňují kombinaci určitých termínů, umožňuje specifické, cílené vyhledávání definovaných vědeckých otázek a snižuje riziko chybějících relevantních informací.
Cílené a důkladné soubory literatury umožňují regulačním týmům vytvářet dobře informované a diferencované dokumenty podporující příslušné téma – jako jsou indikace a kontraindikace léčivého přípravku, diskuse o lékových interakcích nebo bezpečnostní rozpětí přípravku u definovaných skupin pacientů.
Jak vytěžování literatury pomocí umělé inteligence pomáhá výzkumným pracovníkům zlepšovat efektivitu a citlivost
1. Vyhledávání klíčových článků ve velkých svazcích literatury
Implementací nástroje pro sémantické vyhledávání lze s velkou přesností a efektivitou identifikovat články relevantní k požadovanému tématu, což je klíčové zejména pro vyhledávání s velkým počtem primárních přístupů.
V pilotní studii společnost Cencora využila interní a ověřený nástroj pro vytěžování literatury k hledání lékových interakcí zahrnujících účinnou látku A a několik současně podávaných sloučenin (B–E). Konvenční primární vyhledávání založené na klíčových slovech získalo více než 7 000 článků, z velké části díky rozsáhlé publikaci o dobře popsané interakci A s B.
Naproti tomu identifikace interakcí mezi A a C–E byla obtížná, protože standardní vyhledávač primárně zobrazoval články popisující interakci A a B, ve kterých se C–E objevovalo pouze jako sekundární zmínky, nikoli v kontextu interakce s A.
Použití nástroje sémantického vyhledávání umožnilo cílené vyhledávání článků, které specificky popisují lékové interakce A s C, D a E odděleně. Díky tomuto přístupu bylo možné výrazně zúžit počet primárních přístupů pro ruční ověření – z více než 7 000 v počátečním dotazu PubMed na přibližně 950. Ještě důležitější je, že nástroj identifikoval publikace o málo studovaných a vzácných interakcích, které byly při předchozím ručním vyhledávání přehlédnuty.
Celkově tento pilotní projekt ilustruje významnou roli, kterou může umělá inteligence hrát při zlepšování vyhledávání literatury: umožňuje vysoce výkonné prověřování velmi velkých souborů primárních shod, aniž by se spoléhala na příliš omezující filtry, a zlepšuje přesnost tím, že řadí záznamy na základě logického vztahu mezi pojmy (např. skutečná interakce mezi A a C/D/E) spíše než prostého společného výskytu termínů.
V pilotní studii společnost Cencora využila interní a ověřený nástroj pro vytěžování literatury k hledání lékových interakcí zahrnujících účinnou látku A a několik současně podávaných sloučenin (B–E). Konvenční primární vyhledávání založené na klíčových slovech získalo více než 7 000 článků, z velké části díky rozsáhlé publikaci o dobře popsané interakci A s B.
Naproti tomu identifikace interakcí mezi A a C–E byla obtížná, protože standardní vyhledávač primárně zobrazoval články popisující interakci A a B, ve kterých se C–E objevovalo pouze jako sekundární zmínky, nikoli v kontextu interakce s A.
Použití nástroje sémantického vyhledávání umožnilo cílené vyhledávání článků, které specificky popisují lékové interakce A s C, D a E odděleně. Díky tomuto přístupu bylo možné výrazně zúžit počet primárních přístupů pro ruční ověření – z více než 7 000 v počátečním dotazu PubMed na přibližně 950. Ještě důležitější je, že nástroj identifikoval publikace o málo studovaných a vzácných interakcích, které byly při předchozím ručním vyhledávání přehlédnuty.
Celkově tento pilotní projekt ilustruje významnou roli, kterou může umělá inteligence hrát při zlepšování vyhledávání literatury: umožňuje vysoce výkonné prověřování velmi velkých souborů primárních shod, aniž by se spoléhala na příliš omezující filtry, a zlepšuje přesnost tím, že řadí záznamy na základě logického vztahu mezi pojmy (např. skutečná interakce mezi A a C/D/E) spíše než prostého společného výskytu termínů.
Jakmile je vyhledávání zúženo, je třeba identifikovaný materiál ručně ověřit. Umělá inteligence výrazně zvyšuje efektivitu tohoto úkolu a zároveň vytváří stručné zdůvodnění pro zařazení nebo vyloučení každého článku. Lidští recenzenti pak mohou rozhodnutí potvrdit – nebo identifikovat falešně pozitivní nebo falešně negativní – porovnáním zdůvodnění s příslušnými pasážemi ve zdrojovém textu. Mít člověka ve smyčce je klíčem ke kontrole a vylepšování modelu.
2. Schopnost dotazovat se na složité logické vztahy
Jak je uvedeno výše, sémantické porozumění (zpracování přirozeného jazyka nebo NLP) se používá pro vyhledávání literatury spíše než jednoduché porovnávání klíčových slov, což umožňuje posoudit kontextovou relevanci a eliminovat falešně pozitivní výsledky.
Kromě toho lze v získaném souboru primárních zásahů dále vyhledávat definované aspekty – např. farmakokinetika u různých populací pacientů, specifické bezpečnostní aspekty nebo vyšetřování určitých cílových parametrů. Jedná se o strukturovaný výstup informací dostupných k danému tématu s odkazem na původní publikaci, která tyto informace poskytuje.
Kromě toho lze v získaném souboru primárních zásahů dále vyhledávat definované aspekty – např. farmakokinetika u různých populací pacientů, specifické bezpečnostní aspekty nebo vyšetřování určitých cílových parametrů. Jedná se o strukturovaný výstup informací dostupných k danému tématu s odkazem na původní publikaci, která tyto informace poskytuje.
3. Auditovatelnost a sledovatelnost
Umělá inteligence také poskytuje úplný seznam použitých klíčových slov a filtrů a počet článků identifikovaných v každém kroku, jak je požadováno pro systematické vyhledávání literatury pro regulační příspěvky. Kritéria pro zahrnutí a vyloučení, jakož i kritéria relevance namapovaná na výsledné články, umožňují sledovatelnost pro případnou budoucí analýzu a přezkum. Například je možné nezávisle vybrat články studující "lékové interakce ovlivňující absorpci", "lékové interakce ovlivňující účinnost v indikaci X", "lékové interakce spojené s nežádoucími účinky" atd.
Nástroj umělé inteligence, který procesu přidal na hodnotě, umožnil objektivní a opakovatelné zdůvodnění zařazení a vyloučení, které může lidský recenzent potvrdit nebo vyvrátit. Zhuštěný popis důvodů pro zařazení nebo vyloučení článku navíc umožňuje rychlé a účinné manuální ověření výběru odborníkem a zajišťuje, že odůvodnění kritérií pro zařazení a vyloučení je zaznamenáno z hlediska sledovatelnosti a auditovatelnosti.
Auditní stopa vygenerovaná umělou inteligencí týkající se vyhledávacích kritérií a toho, které články byly vybrány nebo vyloučeny, demonstruje klíčovou hodnotu umělé inteligence: uvolnění odborníků, aby zajistili řádný dohled a řídili plnou odpovědnost za konečný výběr literatury.
Nástroj umělé inteligence, který procesu přidal na hodnotě, umožnil objektivní a opakovatelné zdůvodnění zařazení a vyloučení, které může lidský recenzent potvrdit nebo vyvrátit. Zhuštěný popis důvodů pro zařazení nebo vyloučení článku navíc umožňuje rychlé a účinné manuální ověření výběru odborníkem a zajišťuje, že odůvodnění kritérií pro zařazení a vyloučení je zaznamenáno z hlediska sledovatelnosti a auditovatelnosti.
Auditní stopa vygenerovaná umělou inteligencí týkající se vyhledávacích kritérií a toho, které články byly vybrány nebo vyloučeny, demonstruje klíčovou hodnotu umělé inteligence: uvolnění odborníků, aby zajistili řádný dohled a řídili plnou odpovědnost za konečný výběr literatury.
4. Strukturování dat pro prediktivní analýzu a přehledy
Umělá inteligence také generuje systematickou a strukturovanou analýzu klíčových datových prvků z relevantních článků, jako jsou údaje o bezpečnosti podle věkových skupin nebo souhrn farmakokinetických lékových interakcí mezi léky napříč dostupnými studiemi. Tato strukturovaná data mohou být použita např. k podpoře diskuse o formulaci léčivého přípravku nebo jeho bezpečnosti u specifických skupin pacientů. Úroveň důkazů lze také zmapovat na základě typu článku a velikosti nebo designu studie atd.
Takto strukturovaná a hloubková analýza údajů z literatury může zlepšit připravenost na reakci, zejména pokud regulační orgány požadují objasnění bezpečnostního kontextu nebo podpůrné důkazy.
Takto strukturovaná a hloubková analýza údajů z literatury může zlepšit připravenost na reakci, zejména pokud regulační orgány požadují objasnění bezpečnostního kontextu nebo podpůrné důkazy.
Závěr:
Zlepšení vyhledávání v literatuře a snížení rizika nedostatku právních předpisů
Dolování literatury s pomocí umělé inteligence může hrát důležitou roli při budování hloubky a obhajitelnosti při přípravě regulačních dokumentů, které vyžadují komplexní a aktuální vědecké důkazy z publikované literatury. Tím, že umožňuje rozsáhlé screeningy primární literatury, z nichž jsou na základě sémantického porozumění vybírány relevantní články, tento nástroj výrazně zvyšuje efektivitu a zároveň snižuje riziko opomenutí kritických publikací. Lidský dohled je k dispozici ve všech fázích výběrového řízení.
Dobře navržené pracovní postupy umělé inteligence také zlepšují sledovatelnost a auditovatelnost tím, že zaznamenávají strategie vyhledávání, logiku zahrnutí a vyloučení a zdůvodnění prioritizace článků. Ve spojení s validací člověkem ve smyčce tento přístup podporuje konzistentní a opakovatelná rozhodnutí a snižuje variabilitu spojenou s manuálním screeningem. A konečně, strukturování extrahovaných datových prvků napříč relevantními publikacemi vytváří základ pro hlubší analýzu (např. poznatky o subpopulacích, třídění důkazů, detekce trendů) a posiluje regulační narativy a připravenost na reakci.
Obecně lze říci, že vytěžování literatury pomocí umělé inteligence může podstatně zlepšit úplnost a kvalitu důkazní základny na podporu regulačních podání, a tím výrazně snížit riziko nedostatků v cyklu přezkumu.
Dobře navržené pracovní postupy umělé inteligence také zlepšují sledovatelnost a auditovatelnost tím, že zaznamenávají strategie vyhledávání, logiku zahrnutí a vyloučení a zdůvodnění prioritizace článků. Ve spojení s validací člověkem ve smyčce tento přístup podporuje konzistentní a opakovatelná rozhodnutí a snižuje variabilitu spojenou s manuálním screeningem. A konečně, strukturování extrahovaných datových prvků napříč relevantními publikacemi vytváří základ pro hlubší analýzu (např. poznatky o subpopulacích, třídění důkazů, detekce trendů) a posiluje regulační narativy a připravenost na reakci.
Obecně lze říci, že vytěžování literatury pomocí umělé inteligence může podstatně zlepšit úplnost a kvalitu důkazní základny na podporu regulačních podání, a tím výrazně snížit riziko nedostatků v cyklu přezkumu.
*Zdroje pokračují níže
O autorech:
Shilpa Patil, PhD, je vedoucí vědeckou pracovnicí ve skupině pro digitální inovace ve společnosti Cencora. Má více než osm let zkušeností v oblasti translačního výzkumu a zdravotnictví se specializací na objevování léků, výzkum biomarkerů a personalizovanou medicínu v onkologii s pomocí umělé inteligence. Shilpa a její tým pracují na definování a budování řešení založených na umělé inteligenci, jejichž cílem je přidat hodnotu a efektivitu nabízeným regulačním aplikacím a poradenským službám.
Angela Vogt-Eisele, PhD, je ředitelkou CDS a vedoucí týmu globálního lékařského psaní ve společnosti Cencora. Angela pracuje pro farmaceutický průmysl více než 15 let a podporuje neklinické a klinické vývojové programy humánních léčivých přípravků. Angela a její globální tým mají bohaté zkušenosti s psaním a aktualizací široké škály regulačních dokumentů napříč modalitami, od malých molekul po biologická léčiva a AMTP, a v současné době ve spolupráci se skupinou pro digitální inovace Cencora implementují funkce s umělou inteligencí, aby tyto aktivity posunuli na další úroveň.
Angela Vogt-Eisele, PhD, je ředitelkou CDS a vedoucí týmu globálního lékařského psaní ve společnosti Cencora. Angela pracuje pro farmaceutický průmysl více než 15 let a podporuje neklinické a klinické vývojové programy humánních léčivých přípravků. Angela a její globální tým mají bohaté zkušenosti s psaním a aktualizací široké škály regulačních dokumentů napříč modalitami, od malých molekul po biologická léčiva a AMTP, a v současné době ve spolupráci se skupinou pro digitální inovace Cencora implementují funkce s umělou inteligencí, aby tyto aktivity posunuli na další úroveň.
Zřeknutí se odpovědnosti:
Informace uvedené v tomto článku nepředstavují právní radu. Společnost Cencora, Inc. důrazně doporučuje čtenářům, aby si prostudovali dostupné informace týkající se probíraných témat a při rozhodování s nimi se spoléhali na vlastní zkušenosti a odborné znalosti.
Spojte se s naším týmem
Náš tým špičkových odborníků se zaměřuje na přetváření důkazů, poznatků z analýz politik a informací o trhu v účinné strategie přístupu na globální trh. Dovolte nám, abychom vám pomohli s jistotou se orientovat v dnešním složitém prostředí zdravotní péče. Ozvěte se nám a zjistěte, jak můžeme podpořit dosažení vašich cílů.
Zdroje
1. Pokyny pro správnou farmakovigilanční praxi (GVP), HMA, EMA, prosinec 2013. https://www.ema.europa.eu/en/documents/scientific-guideline/guideline-good-pharmacovigilance-practices-gvp-module-vii-periodic-safety-update-report_en.pdf
2. Pokyny pro průmysl, aplikace zahrnuté v § 505(b)(2), FDA, říjen 1999. https://www.fda.gov/media/72419/download
.jpg)