Иллюзия оценки больших языковых моделей в медицине
The evaluation illusion of large language models in medicine
2025-10-07
SCID: 54.1/7vhvh9tk
Discuss with AI
оценка по бенчмаркамклиническое здравоохранениеэкспериментальная прозрачностьбольшие языковые моделимедицинская оценка
Figures from the paper
Abstract (AI)
Хотя большие языковые модели (LLM) обладают потенциалом для преобразования клинического здравоохранения, существующие сравнения и бенчмарковые оценки больших языковых моделей в медицине часто не отражают их эффективность в реальных условиях. В частности, мы показываем, как существенные расхождения, обусловленные выбором данных, задач и метрик, могут ограничивать содержательную оценку трансляционного воздействия и приводить к вводящим в заблуждение выводам. Поэтому мы выступаем за проведение строгих оценок с учетом контекста и обеспечение экспериментальной прозрачности как на этапе исследований, так и при внедрении.
Key Findings
1
Выбор оценочных данных может создавать расхождения, искажающие выводы о производительности медицинских LLM.
2
Медицинские бенчмарки и сравнения LLM часто не отражают реальную клиническую эффективность и трансляционный потенциал.
3
Выбор метрик способен приводить к вводящим в заблуждение оценкам эффективности LLM в здравоохранении.
4
Дизайн задач и цели бенчмарков могут недостаточно отражать клинически значимые способности моделей.
5
Авторы призывают к строгой контекстно-зависимой оценке и прозрачности экспериментов как в исследованиях, так и при внедрении.
Research Object
большие языковые модели в медицине
Research Subject
валидность и трансляционная значимость их оценки, включая влияние выбора данных, задач и метрик на оцениваемую эффективность в реальных условиях
Publication Details
Publication Date
2025-10-07
Journal
Publisher
ISSN
Cited by
53
Open access PDF
Access Type
Author Information
Download PDF
Subscribe to digest