Оценка клинических резюме, созданных ИИ, с использованием больших языковых моделей в качестве судей
Evaluating clinical AI summaries with large language models as judges
2025-11-05
SCID: 54.1/suuntcju
Discuss with AI
суммаризация EHRLLM-судьяИнструмент качества документации провайдераклинические AI-сводкимежэкспертная надежность
Figures from the paper
Abstract (AI)
Электронные медицинские карты (EHR) содержат огромный объем клинических данных, которые медицинским работникам трудно синтезировать. Генеративный искусственный интеллект на основе больших языковых моделей (LLM) может обобщать медицинские записи, снижая когнитивную нагрузку, однако обеспечение точности требует надежной оценки. Проверка экспертами считается золотым стандартом, но является дорогостоящей и медленной. Для решения этой проблемы мы представляем и валидируем автоматизированный метод на основе LLM для оценки многодокументных резюме реальных электронных медицинских карт. При сравнении с валидированным инструментом оценки качества суммирования документации медицинскими работниками (Provider Documentation Summarization Quality Instrument, PDSQI) наша система LLM-as-a-Judge продемонстрировала высокую межэкспертную надежность по сравнению с оценками людей. Модель GPT-o3-mini достигла внутриклассового коэффициента корреляции 0,818 (95% ДИ 0,772–0,854), медианная разница в оценках по сравнению с людьми составила 0, а оценивание занимало 22 секунды. В целом модели, способные к рассуждению, показали наилучшую межэкспертную надежность, особенно при оценивании, требующем развитого рассуждения и предметной экспертизы, превзойдя подходы без рассуждения, модели, обученные для конкретных задач, и мультиагентные подходы. Автоматизация высококачественного оценивания с помощью медицинской LLM-as-a-Judge обеспечивает масштабируемый и эффективный способ выявления точных и безопасных клинических резюме, сгенерированных ИИ.
Key Findings
1
GPT-o3-mini достиг коэффициента внутриклассовой корреляции 0,818 (95% ДИ 0,772–0,854), а медианная разница оценок по сравнению с людьми составила 0.
2
GPT-o3-mini выполнял оценку резюме за 22 секунды, что указывает на существенное повышение масштабируемости и эффективности по сравнению с ручной проверкой.
3
Модели с развитым рассуждением обеспечивали более высокую межэкспертную надежность, чем нерсуждающие, специально обученные и многоагентные подходы, особенно при оценках, требующих сложного рассуждения и клинической экспертизы.
4
Метод LLM-as-a-Judge продемонстрировал высокое согласие с человеческими оценщиками при использовании валидированного инструмента PDSQI для оценки качества медицинской документации.
5
В исследовании представлен и валидирован автоматизированный метод оценки реальных многодокументных резюме электронных медицинских записей с использованием больших языковых моделей.
Research Object
многодокументные клинические резюме реальных электронных медицинских записей (EHR), сгенерированные ИИ
Research Subject
точность, качество и безопасность клинических резюме EHR, а также их автоматизированная оценка с использованием больших языковых моделей в качестве судей, включая согласованность с оценками экспертов
Publication Details
Publication Date
2025-11-05
Journal
Publisher
ISSN
Cited by
77
Open access PDF
Access Type
Author Information
Download PDF
Subscribe to digest
Источники этой статьи в scid.ai4
Обзор больших языковых моделей2026
Технический отчет о GPT-42023
Стимулирование дивергентного мышления у больших языковых моделей с помощью дебатов между несколькими агентами2024
Система оценки больших языковых моделей в здравоохранении с участием человека, разработанная на основе обзора литературы2024