Бенчмаркинг генерации с дополнением извлечённой информацией в медицине
Benchmarking Retrieval-Augmented Generation for Medicine
2024-01-01
SCID: 54.1/7474bj5w
Discuss with AI
инструментарий MEDRAGбенчмарк MIRAGEэффект «потерянного в середине»медицинские вопросы и ответымедицинская генерация с дополнением поиска
Figures from the paper
Abstract (AI)
Несмотря на то что большие языковые модели (LLM) демонстрируют передовые результаты в широком спектре задач медицинских вопросов и ответов (QA), они по-прежнему сталкиваются с проблемами галлюцинаций и устаревших знаний. Генерация с дополнением извлечённой информацией (RAG) является перспективным решением и получила широкое распространение. Однако система RAG может включать множество гибко настраиваемых компонентов, при этом отсутствуют лучшие практики выбора оптимальной конфигурации RAG для различных медицинских задач. Для систематической оценки таких систем мы предлагаем Medical Information Retrieval-Augmented Generation Evaluation (MIRAGE) — первый в своём роде бенчмарк, включающий 7 663 вопроса из пяти наборов данных по медицинским вопросам и ответам. С использованием MIRAGE мы провели крупномасштабные эксперименты, охватившие более 1,8 триллиона токенов промптов и 41 комбинацию различных корпусов, средств извлечения и базовых больших языковых моделей посредством представленного в этой работе инструментария MEDRAG. В целом MEDRAG повышает точность шести различных LLM до 18% по сравнению с формированием запросов с пошаговым рассуждением, доводя показатели GPT-3.5 и Mixtral до уровня GPT-4. Наши результаты показывают, что наилучшие показатели достигаются при сочетании различных медицинских корпусов и средств извлечения. Кроме того, мы выявили лог-линейное свойство масштабирования и эффекты «потери в середине» в медицинских RAG-системах. Мы считаем, что наши всесторонние оценки могут служить практическими рекомендациями по внедрению RAG-систем в медицине.
Key Findings
1
Для шести языковых моделей MEDRAG повышает точность до 18% по сравнению с пошаговым рассуждением, доводя результаты GPT-3.5 и Mixtral до уровня GPT-4.
2
Сочетание нескольких медицинских корпусов и поисковых систем обеспечивает наилучшие общие результаты медицинских RAG-систем.
3
В медицинских RAG-системах выявлены лог-линейное масштабирование и эффект «потери в середине», указывающие на важные ограничения поиска и контекстов.
4
Инструментарий MEDRAG обеспечивает масштабную оценку 41 комбинации медицинских корпусов, поисковых систем и базовых больших языковых моделей.
5
Бенчмарк MIRAGE оценивает генерацию с дополненным поиском в медицине на 7 663 вопросах из пяти наборов данных для медицинских вопросов и ответов.
Research Object
медицинские системы генерации с дополненным поиском (RAG) для ответов на вопросы с использованием больших языковых моделей
Research Subject
влияние конфигураций корпусов, поисковых модулей и базовых больших языковых моделей на точность ответов на медицинские вопросы, включая закономерности масштабирования и эффект «потери в середине»
Publication Details
Publication Date
2024-01-01
Journal
Publisher
ISSN
Cited by
883
Open access PDF
Access Type
Author Information
Download PDF
Subscribe to digest
Источники этой статьи в scid.ai9
LLaMA: открытые и эффективные базовые языковые модели2023
Плотный поиск фрагментов текста для ответов на вопросы в открытом домене2020
Генерация с дополнением извлечённой информацией для больших языковых моделей: обзор2023
Большие языковые модели кодируют клинические знания2023
Затерянные в середине: как языковые модели используют длинные контексты2024
BioGPT: генеративный предварительно обученный трансформер для генерации и интеллектуального анализа биомедицинских текстов2022
Генерация с активным дополнением посредством поиска2023
Языковые модели с дополнением извлечённой информацией в контексте2023
Almanac — языковые модели с дополнением посредством поиска для клинической медицины2024
Работы, цитирующие эту статью8
Генерация с дополнением извлечённой информацией для контента, создаваемого искусственным интеллектом: обзор2026
AgentClinic: мультимодальный бенчмарк для клинических ИИ-агентов, использующих инструменты2026
Генерация с дополнением поиском для больших языковых моделей в здравоохранении: систематический обзор2025
Улучшение применения больших языковых моделей в биомедицине с помощью генерации с дополнением извлечённой информацией: систематический обзор, метаанализ и рекомендации по клинической разработке2025
Обзор моделей генерации с дополнением посредством поиска (RAG) для применения в здравоохранении2025
Оценка вариантов генерации с дополненным поиском для поддержки принятия клинических решений: снижение галлюцинаций и безопасное развертывание в локальной инфраструктуре2025
Самокорректирующийся агентный Graph RAG для поддержки принятия клинических решений в гепатологии2025
Агентный искусственный интеллект в радиологии: эволюция от больших языковых моделей к будущей клинической интеграции2026