PatientAgentBench: эталонная платформа для оценки медицинских ИИ-агентов, взаимодействующих с пациентами
PatientAgentBench: A Benchmark Framework for Evaluating Patient-Facing Health AI Agents
2026-07-28
SCID: 54.1/md22axwx
Discuss with AI
LLM в роли судьиPatientAgentBenchоценка агентных систем здравоохраненияклиническая безопасностьориентированные на пациента агенты ИИ в здравоохранении
Figures from the paper
Abstract (AI)
Медицинский искусственный интеллект (ИИ) развивается от систем, отвечающих на вопросы, к агентным системам, которые взаимодействуют с пациентами, анализируют медицинские записи и действуют от их имени. Первичная медицинская помощь предотвращает диагностические ошибки и небезопасное лечение; поэтому агентов, помогающих в этой области, следует оценивать с учетом тех же рисков. Современные эталонные тесты сосредоточены на медицинских знаниях, оцениваемых с помощью изолированных заданий в формате «вопрос–ответ» или задач, ориентированных на клиницистов. PatientAgentBench предназначен для тестирования агентных систем здравоохранения, взаимодействующих с пациентами; он оценивает базовую модель, интегрированную в агента с изолированной средой инструментов здравоохранения и ведущую диалог с симулированным пациентом. Каждый диалог оценивается большой языковой моделью в роли судьи по шести измерениям с использованием более ста независимых от содержания диалога критериев, основанных на экспертных оценках клиницистов. Для проверки согласованности лицензированные клиницисты аннотировали общие диалоги; согласие между моделью-судьей и экспертами составило 79–93% по соседним категориям, что сопоставимо с согласованностью между самими клиницистами или превышает ее. Мы протестировали 10 моделей из четырех семейств на одном и том же наборе из 1200 сценариев и выявили клинические пробелы. Качество сортировки пациентов является наиболее различающим измерением: доля успешных результатов возрастает с 32% у наиболее слабых моделей до 88% у наиболее сильных, причем агенты часто выполняют административные запросы без клинического скрининга. Клиническая безопасность и точность выполнения рабочих процессов демонстрируют ту же закономерность: наиболее слабые модели часто ошибаются, выдумывая невыполненные действия, тогда как передовые модели ошибаются лишь в 1–3% случаев — из-за непроверенных результатов инструментов и отсутствия ресурсов кризисной помощи в экстренной ситуации. Более мощные модели сокращают эти разрывы, но не устраняют их; даже лучшая модель получает лишь 4,25 балла из 5 в общей оценке. Эти ошибки выявляются только в продолжительных диалогах с использованием инструментов и реалистичных медицинских записей пациентов, что подтверждает недостаточность статических эталонных тестов по мере роста автономности агентных систем здравоохранения. Мы выпускаем эту платформу как воспроизводимый, валидированный клиницистами стандарт оценки, призванный помочь отрасли устранить данный разрыв.
Key Findings
1
При оценке 10 моделей в 1 200 сценариях триаж оказался наиболее различающим показателем: доля успешных результатов варьировала от 32% у слабейших моделей до 88% у сильнейших.
2
Более мощные модели сокращали, но не устраняли пробелы безопасности: лучшая модель получила лишь 4,25 из 5 баллов, а ошибки включали непроверенные результаты инструментов и отсутствие экстренных ресурсов.
3
PatientAgentBench оценивает ориентированных на пациентов медицинских агентов в длительных диалогах с симулированными пациентами, реалистичными записями и инструментами здравоохранения в песочнице.
4
Бенчмарк оценивает агентов по шести направлениям с использованием более 100 клинически обоснованных критериев и жюри на основе LLM; согласие с лицензированными врачами составило 79–93% по соседним категориям.
5
Результаты показывают, что статические бенчмарки знаний не выявляют ошибки безопасности в реалистичных диалогах с использованием инструментов; авторы выпускают воспроизводимую, валидированную клиницистами платформу оценки.
6
Слабые агенты часто выполняли административные запросы без клинического скрининга и выдумывали невыполненные действия, тогда как передовые модели всё ещё ошибались в 1–3% случаев.
Research Object
ориентированные на пациентов агентные системы здравоохранения, взаимодействующие с имитируемыми пациентами и реалистичными медицинскими записями через инструменты здравоохранения
Research Subject
клиническая безопасность, качество триажа, точность выполнения рабочих процессов и связанные с ними виды отказов в продолжительных диалогах с пациентами с использованием инструментов
Publication Details
Publication Date
2026-07-28
Journal
Publisher
ISSN
Cited by
4
Open access PDF
Access Type
Author Information
Download PDF
Subscribe to digest
Источники этой статьи в scid.ai4
MIMIC-IV: общедоступный набор данных электронной медицинской карты2023
AgentClinic: мультимодальный бенчмарк для клинических ИИ-агентов, использующих инструменты2026
Большие языковые модели в медицине и здравоохранении: приложения, достижения и проблемы2024
MedAgentBench: виртуальная среда электронной медицинской карты для тестирования медицинских агентов на основе больших языковых моделей2025