Улучшение применения больших языковых моделей в биомедицине с помощью генерации с дополнением извлечённой информацией: систематический обзор, метаанализ и рекомендации по клинической разработке

ЦЕЛЬ: Целью настоящего исследования было обобщить результаты недавних исследований генерации с дополнением извлечённой информацией (retrieval-augmented generation, RAG) и больших языковых моделей (large language models, LLMs) в биомедицине, а также разработать рекомендации по клинической разработке для повышения эффективности. МАТЕРИАЛЫ И МЕТОДЫ: Были проведены систематический обзор литературы и метаанализ. Отчёт подготовлен в соответствии с рекомендациями Preferred Reporting Items for Systematic Reviews and Meta-Analyses 2020. Поиск выполнялся в 3 базах данных (PubMed, Embase, PsycINFO) с использованием терминов, связанных с «генерацией с дополнением извлечённой информацией» и «большой языковой моделью», для поиска статей, опубликованных в 2023 и 2024 годах. Были отобраны исследования, в которых сравнивались показатели базовых больших языковых моделей с показателями моделей, использующих RAG. Была разработана модель метаанализа со случайными эффектами, в которой в качестве размера эффекта использовалось отношение шансов. РЕЗУЛЬТАТЫ: Из 335 исследований 20 были включены в данный обзор литературы. Объединённый размер эффекта составил 1,35; 95%-ный доверительный интервал — 1,19–1,53, что указывает на статистически значимый эффект (P = .001). Были представлены клинические задачи, базовые большие языковые модели, источники и стратегии извлечения, а также методы оценки. ОБСУЖДЕНИЕ: На основе обзора литературы были разработаны Рекомендации по унифицированному внедрению и разработке усовершенствованных приложений на основе больших языковых моделей с использованием RAG в клинических условиях, предназначенные для содействия применению RAG в клинической практике. ЗАКЛЮЧЕНИЕ: В целом внедрение RAG обеспечило увеличение показателя эффективности по отношению шансов в 1,35 раза по сравнению с базовыми большими языковыми моделями. В будущих исследованиях следует сосредоточиться на (1) совершенствовании на уровне системы: сочетании RAG и интеллектуальных агентов; (2) совершенствовании на уровне знаний: глубокой интеграции знаний в большие языковые модели; и (3) совершенствовании на уровне интеграции: интеграции систем RAG в электронные медицинские карты.