Оценка клинических резюме, созданных ИИ, с использованием больших языковых моделей в качестве судей

Evaluating clinical AI summaries with large language models as judges
Matthew M. Churpek, Guanhua Chen, Dmitriy Dligach, Anoop M. Mayampurath, Majid Afshar, Yanjun Gao, Emma Croxford, John Caskey, Brian W. Patterson, Elliot First, Nicholas Pellegrino, Miranda Schnier, Madeline K. Oguss, Graham J Wills, Frank Liao, Cherodeep Goswami, Karen K. Wong
2025-11-05

суммаризация EHRLLM-судьяИнструмент качества документации провайдераклинические AI-сводкимежэкспертная надежность
Электронные медицинские карты (EHR) содержат огромный объем клинических данных, которые медицинским работникам трудно синтезировать. Генеративный искусственный интеллект на основе больших языковых моделей (LLM) может обобщать медицинские записи, снижая когнитивную нагрузку, однако обеспечение точности требует надежной оценки. Проверка экспертами считается золотым стандартом, но является дорогостоящей и медленной. Для решения этой проблемы мы представляем и валидируем автоматизированный метод на основе LLM для оценки многодокументных резюме реальных электронных медицинских карт. При сравнении с валидированным инструментом оценки качества суммирования документации медицинскими работниками (Provider Documentation Summarization Quality Instrument, PDSQI) наша система LLM-as-a-Judge продемонстрировала высокую межэкспертную надежность по сравнению с оценками людей. Модель GPT-o3-mini достигла внутриклассового коэффициента корреляции 0,818 (95% ДИ 0,772–0,854), медианная разница в оценках по сравнению с людьми составила 0, а оценивание занимало 22 секунды. В целом модели, способные к рассуждению, показали наилучшую межэкспертную надежность, особенно при оценивании, требующем развитого рассуждения и предметной экспертизы, превзойдя подходы без рассуждения, модели, обученные для конкретных задач, и мультиагентные подходы. Автоматизация высококачественного оценивания с помощью медицинской LLM-as-a-Judge обеспечивает масштабируемый и эффективный способ выявления точных и безопасных клинических резюме, сгенерированных ИИ.
1
GPT-o3-mini достиг коэффициента внутриклассовой корреляции 0,818 (95% ДИ 0,772–0,854), а медианная разница оценок по сравнению с людьми составила 0.
2
GPT-o3-mini выполнял оценку резюме за 22 секунды, что указывает на существенное повышение масштабируемости и эффективности по сравнению с ручной проверкой.
3
Модели с развитым рассуждением обеспечивали более высокую межэкспертную надежность, чем нерсуждающие, специально обученные и многоагентные подходы, особенно при оценках, требующих сложного рассуждения и клинической экспертизы.
4
Метод LLM-as-a-Judge продемонстрировал высокое согласие с человеческими оценщиками при использовании валидированного инструмента PDSQI для оценки качества медицинской документации.
5
В исследовании представлен и валидирован автоматизированный метод оценки реальных многодокументных резюме электронных медицинских записей с использованием больших языковых моделей.

многодокументные клинические резюме реальных электронных медицинских записей (EHR), сгенерированные ИИ

точность, качество и безопасность клинических резюме EHR, а также их автоматизированная оценка с использованием больших языковых моделей в качестве судей, включая согласованность с оценками экспертов

Publication Details
Publication Date
2025-11-05
Journal
Publisher
ISSN
Cited by
77
Access Type
Author Information
Authors
Matthew M. Churpek
Guanhua Chen
Dmitriy Dligach
Anoop M. Mayampurath
Majid Afshar
Yanjun Gao
Emma Croxford
John Caskey
Brian W. Patterson
Elliot First
Nicholas Pellegrino
Miranda Schnier
Madeline K. Oguss
Graham J Wills
Frank Liao
Cherodeep Goswami
Karen K. Wong
Explore further
Open the scid.ai AI chat with a ready-made request: it will find papers on a similar topic and help build a literature review.
Find similar papers in the chat →
Make a presentation
100%