Оценка вариантов генерации с дополненным поиском для поддержки принятия клинических решений: снижение галлюцинаций и безопасное развертывание в локальной инфраструктуре

Evaluating Retrieval-Augmented Generation Variants for Clinical Decision Support: Hallucination Mitigation and Secure On-Premises Deployment
Krzysztof Wołk
2025-10-29

поддержка принятия клинических решенийснижение галлюцинацийгибридный информационный поискгенерация с дополнением извлечениембезопасное локальное развертывание
Для эффективной поддержки принятия клинических решений медицинские знания должны извлекаться быстро и точно. Системы генерации с дополненным поиском (Retrieval-Augmented Generation, RAG) объединяют большие языковые модели с поиском по документам для поддержки диагностического рассуждения, однако могут порождать галлюцинации и должны соответствовать строгим требованиям конфиденциальности в сфере здравоохранения. Мы оценили двенадцать вариантов RAG, включая плотные, разреженные, гибридные, графовые, мультимодальные, саморефлексивные, адаптивные и ориентированные на безопасность конвейеры, используя 250 обезличенных клинических виньеток пациентов. Эффективность системы оценивали по показателям Precision@5, Mean Reciprocal Rank, nDCG@10, частоте галлюцинаций и задержке. Наивысшая точность поиска (P@5 ≥ 0,68, nDCG@10 ≥ 0,67) была достигнута с помощью конвейера Haystack (DPR + BM25 + cross-encoder) и гибридного объединения результатов методом Reciprocal Rank Fusion (RRF). В то же время саморефлексивный RAG снизил частоту галлюцинаций до 5,8%. Разреженный поиск обеспечивал наименьшее время отклика (120 мс), но был менее точным. Мы также предлагаем единую структуру снижения галлюцинаций, включающую пороговые значения уверенности поиска, проверку рассуждений по цепочке мыслей и внешнюю проверку фактов. Полученные результаты подчеркивают практические протоколы безопасного развертывания RAG в локальной инфраструктуре, включая шифрование, маркировку происхождения данных и журналы аудита. Перспективные направления включают учет обратной связи клиницистов и расширение мультимодальных входных данных на геномику и протеомику для задач прецизионной медицины.
1
Предложенная система снижения галлюцинаций объединяет пороги уверенности поиска, проверку рассуждений по цепочке и внешнюю проверку фактов; безопасное локальное развёртывание включает шифрование, маркировку происхождения данных и журналы аудита.
2
Саморефлексивный RAG снизил уровень галлюцинаций до 5,8%, превзойдя другие оценённые подходы по их подавлению.
3
Разреженный поиск обеспечил наименьшую задержку — 120 мс, но уступил более эффективным методам по точности поиска.
4
Пайплайн Haystack с DPR, BM25 и кросс-энкодером, а также гибридное объединение результатов методом reciprocal-rank fusion показали наивысшую эффективность поиска: P@5 ≥ 0,68 и nDCG@10 ≥ 0,67.
5
Двенадцать вариантов RAG были оценены на 250 обезличенных клинических виньетках по точности поиска, уровню галлюцинаций и задержке.

Системы Retrieval-Augmented Generation (RAG) для поддержки принятия клинических решений, оценённые на обезличенных клинических виньетках пациентов

Точность поиска, снижение галлюцинаций, задержка ответа и безопасное локальное развёртывание конвейеров RAG

Publication Details
Publication Date
2025-10-29
Journal
Publisher
ISSN
Cited by
20
Access Type
Author Information
Authors
Krzysztof Wołk
Explore further
Open the scid.ai AI chat with a ready-made request: it will find papers on a similar topic and help build a literature review.
Find similar papers in the chat →
Make a presentation
100%