Оценка вариантов генерации с дополненным поиском для поддержки принятия клинических решений: снижение галлюцинаций и безопасное развертывание в локальной инфраструктуре
Evaluating Retrieval-Augmented Generation Variants for Clinical Decision Support: Hallucination Mitigation and Secure On-Premises Deployment
2025-10-29
SCID: 54.1/eb7cgb3u
Discuss with AI
поддержка принятия клинических решенийснижение галлюцинацийгибридный информационный поискгенерация с дополнением извлечениембезопасное локальное развертывание
Figures from the paper
Abstract (AI)
Для эффективной поддержки принятия клинических решений медицинские знания должны извлекаться быстро и точно. Системы генерации с дополненным поиском (Retrieval-Augmented Generation, RAG) объединяют большие языковые модели с поиском по документам для поддержки диагностического рассуждения, однако могут порождать галлюцинации и должны соответствовать строгим требованиям конфиденциальности в сфере здравоохранения. Мы оценили двенадцать вариантов RAG, включая плотные, разреженные, гибридные, графовые, мультимодальные, саморефлексивные, адаптивные и ориентированные на безопасность конвейеры, используя 250 обезличенных клинических виньеток пациентов. Эффективность системы оценивали по показателям Precision@5, Mean Reciprocal Rank, nDCG@10, частоте галлюцинаций и задержке. Наивысшая точность поиска (P@5 ≥ 0,68, nDCG@10 ≥ 0,67) была достигнута с помощью конвейера Haystack (DPR + BM25 + cross-encoder) и гибридного объединения результатов методом Reciprocal Rank Fusion (RRF). В то же время саморефлексивный RAG снизил частоту галлюцинаций до 5,8%. Разреженный поиск обеспечивал наименьшее время отклика (120 мс), но был менее точным. Мы также предлагаем единую структуру снижения галлюцинаций, включающую пороговые значения уверенности поиска, проверку рассуждений по цепочке мыслей и внешнюю проверку фактов. Полученные результаты подчеркивают практические протоколы безопасного развертывания RAG в локальной инфраструктуре, включая шифрование, маркировку происхождения данных и журналы аудита. Перспективные направления включают учет обратной связи клиницистов и расширение мультимодальных входных данных на геномику и протеомику для задач прецизионной медицины.
Key Findings
1
Предложенная система снижения галлюцинаций объединяет пороги уверенности поиска, проверку рассуждений по цепочке и внешнюю проверку фактов; безопасное локальное развёртывание включает шифрование, маркировку происхождения данных и журналы аудита.
2
Саморефлексивный RAG снизил уровень галлюцинаций до 5,8%, превзойдя другие оценённые подходы по их подавлению.
3
Разреженный поиск обеспечил наименьшую задержку — 120 мс, но уступил более эффективным методам по точности поиска.
4
Пайплайн Haystack с DPR, BM25 и кросс-энкодером, а также гибридное объединение результатов методом reciprocal-rank fusion показали наивысшую эффективность поиска: P@5 ≥ 0,68 и nDCG@10 ≥ 0,67.
5
Двенадцать вариантов RAG были оценены на 250 обезличенных клинических виньетках по точности поиска, уровню галлюцинаций и задержке.
Research Object
Системы Retrieval-Augmented Generation (RAG) для поддержки принятия клинических решений, оценённые на обезличенных клинических виньетках пациентов
Research Subject
Точность поиска, снижение галлюцинаций, задержка ответа и безопасное локальное развёртывание конвейеров RAG
Publication Details
Publication Date
2025-10-29
Journal
Publisher
ISSN
Cited by
20
Open access PDF
Access Type
Author Information
Download PDF
Subscribe to digest