Бенчмаркинг генерации с дополнением извлечённой информацией в медицине

Несмотря на то что большие языковые модели (LLM) демонстрируют передовые результаты в широком спектре задач медицинских вопросов и ответов (QA), они по-прежнему сталкиваются с проблемами галлюцинаций и устаревших знаний. Генерация с дополнением извлечённой информацией (RAG) является перспективным решением и получила широкое распространение. Однако система RAG может включать множество гибко настраиваемых компонентов, при этом отсутствуют лучшие практики выбора оптимальной конфигурации RAG для различных медицинских задач. Для систематической оценки таких систем мы предлагаем Medical Information Retrieval-Augmented Generation Evaluation (MIRAGE) — первый в своём роде бенчмарк, включающий 7 663 вопроса из пяти наборов данных по медицинским вопросам и ответам. С использованием MIRAGE мы провели крупномасштабные эксперименты, охватившие более 1,8 триллиона токенов промптов и 41 комбинацию различных корпусов, средств извлечения и базовых больших языковых моделей посредством представленного в этой работе инструментария MEDRAG. В целом MEDRAG повышает точность шести различных LLM до 18% по сравнению с формированием запросов с пошаговым рассуждением, доводя показатели GPT-3.5 и Mixtral до уровня GPT-4. Наши результаты показывают, что наилучшие показатели достигаются при сочетании различных медицинских корпусов и средств извлечения. Кроме того, мы выявили лог-линейное свойство масштабирования и эффекты «потери в середине» в медицинских RAG-системах. Мы считаем, что наши всесторонние оценки могут служить практическими рекомендациями по внедрению RAG-систем в медицине.