Иллюзия оценки больших языковых моделей в медицине

The evaluation illusion of large language models in medicine
Freya Gulamali, Irene Y. Chen, Monica Agrawal, Shalmali D. Joshi, Freya Gulamali, Monica Agrawal
2025-10-07

оценка по бенчмаркамклиническое здравоохранениеэкспериментальная прозрачностьбольшие языковые моделимедицинская оценка
Хотя большие языковые модели (LLM) обладают потенциалом для преобразования клинического здравоохранения, существующие сравнения и бенчмарковые оценки больших языковых моделей в медицине часто не отражают их эффективность в реальных условиях. В частности, мы показываем, как существенные расхождения, обусловленные выбором данных, задач и метрик, могут ограничивать содержательную оценку трансляционного воздействия и приводить к вводящим в заблуждение выводам. Поэтому мы выступаем за проведение строгих оценок с учетом контекста и обеспечение экспериментальной прозрачности как на этапе исследований, так и при внедрении.
1
Выбор оценочных данных может создавать расхождения, искажающие выводы о производительности медицинских LLM.
2
Медицинские бенчмарки и сравнения LLM часто не отражают реальную клиническую эффективность и трансляционный потенциал.
3
Выбор метрик способен приводить к вводящим в заблуждение оценкам эффективности LLM в здравоохранении.
4
Дизайн задач и цели бенчмарков могут недостаточно отражать клинически значимые способности моделей.
5
Авторы призывают к строгой контекстно-зависимой оценке и прозрачности экспериментов как в исследованиях, так и при внедрении.

большие языковые модели в медицине

валидность и трансляционная значимость их оценки, включая влияние выбора данных, задач и метрик на оцениваемую эффективность в реальных условиях

Publication Details
Publication Date
2025-10-07
Journal
Publisher
ISSN
Cited by
53
Access Type
Author Information
Authors
Freya Gulamali
Irene Y. Chen
Monica Agrawal
Shalmali D. Joshi
Freya Gulamali
Monica Agrawal
Explore further
Open the scid.ai AI chat with a ready-made request: it will find papers on a similar topic and help build a literature review.
Find similar papers in the chat →
Make a presentation
100%