PatientAgentBench: эталонная платформа для оценки медицинских ИИ-агентов, взаимодействующих с пациентами

PatientAgentBench: A Benchmark Framework for Evaluating Patient-Facing Health AI Agents
Maria Xenochristou, Alex Woody, Dilek Z. Hakkani-Tur, Korosh Vatanparvar, Ashutosh Joshi, Mohammad Abuzar Hashemi, Prasad Kasu, Deepak Bansal, Daniel Lopez-Martinez, Anchal Nema, Ramya Ganesan, Will Kimbrough, Yadunandana Rao, Wilko Schulz-Mahlendorf
2026-07-28

LLM в роли судьиPatientAgentBenchоценка агентных систем здравоохраненияклиническая безопасностьориентированные на пациента агенты ИИ в здравоохранении
Медицинский искусственный интеллект (ИИ) развивается от систем, отвечающих на вопросы, к агентным системам, которые взаимодействуют с пациентами, анализируют медицинские записи и действуют от их имени. Первичная медицинская помощь предотвращает диагностические ошибки и небезопасное лечение; поэтому агентов, помогающих в этой области, следует оценивать с учетом тех же рисков. Современные эталонные тесты сосредоточены на медицинских знаниях, оцениваемых с помощью изолированных заданий в формате «вопрос–ответ» или задач, ориентированных на клиницистов. PatientAgentBench предназначен для тестирования агентных систем здравоохранения, взаимодействующих с пациентами; он оценивает базовую модель, интегрированную в агента с изолированной средой инструментов здравоохранения и ведущую диалог с симулированным пациентом. Каждый диалог оценивается большой языковой моделью в роли судьи по шести измерениям с использованием более ста независимых от содержания диалога критериев, основанных на экспертных оценках клиницистов. Для проверки согласованности лицензированные клиницисты аннотировали общие диалоги; согласие между моделью-судьей и экспертами составило 79–93% по соседним категориям, что сопоставимо с согласованностью между самими клиницистами или превышает ее. Мы протестировали 10 моделей из четырех семейств на одном и том же наборе из 1200 сценариев и выявили клинические пробелы. Качество сортировки пациентов является наиболее различающим измерением: доля успешных результатов возрастает с 32% у наиболее слабых моделей до 88% у наиболее сильных, причем агенты часто выполняют административные запросы без клинического скрининга. Клиническая безопасность и точность выполнения рабочих процессов демонстрируют ту же закономерность: наиболее слабые модели часто ошибаются, выдумывая невыполненные действия, тогда как передовые модели ошибаются лишь в 1–3% случаев — из-за непроверенных результатов инструментов и отсутствия ресурсов кризисной помощи в экстренной ситуации. Более мощные модели сокращают эти разрывы, но не устраняют их; даже лучшая модель получает лишь 4,25 балла из 5 в общей оценке. Эти ошибки выявляются только в продолжительных диалогах с использованием инструментов и реалистичных медицинских записей пациентов, что подтверждает недостаточность статических эталонных тестов по мере роста автономности агентных систем здравоохранения. Мы выпускаем эту платформу как воспроизводимый, валидированный клиницистами стандарт оценки, призванный помочь отрасли устранить данный разрыв.
1
При оценке 10 моделей в 1 200 сценариях триаж оказался наиболее различающим показателем: доля успешных результатов варьировала от 32% у слабейших моделей до 88% у сильнейших.
2
Более мощные модели сокращали, но не устраняли пробелы безопасности: лучшая модель получила лишь 4,25 из 5 баллов, а ошибки включали непроверенные результаты инструментов и отсутствие экстренных ресурсов.
3
PatientAgentBench оценивает ориентированных на пациентов медицинских агентов в длительных диалогах с симулированными пациентами, реалистичными записями и инструментами здравоохранения в песочнице.
4
Бенчмарк оценивает агентов по шести направлениям с использованием более 100 клинически обоснованных критериев и жюри на основе LLM; согласие с лицензированными врачами составило 79–93% по соседним категориям.
5
Результаты показывают, что статические бенчмарки знаний не выявляют ошибки безопасности в реалистичных диалогах с использованием инструментов; авторы выпускают воспроизводимую, валидированную клиницистами платформу оценки.
6
Слабые агенты часто выполняли административные запросы без клинического скрининга и выдумывали невыполненные действия, тогда как передовые модели всё ещё ошибались в 1–3% случаев.

ориентированные на пациентов агентные системы здравоохранения, взаимодействующие с имитируемыми пациентами и реалистичными медицинскими записями через инструменты здравоохранения

клиническая безопасность, качество триажа, точность выполнения рабочих процессов и связанные с ними виды отказов в продолжительных диалогах с пациентами с использованием инструментов

Publication Details
Publication Date
2026-07-28
Journal
Publisher
ISSN
Cited by
4
Access Type
Author Information
Authors
Maria Xenochristou
Alex Woody
Dilek Z. Hakkani-Tur
Korosh Vatanparvar
Ashutosh Joshi
Mohammad Abuzar Hashemi
Prasad Kasu
Deepak Bansal
Daniel Lopez-Martinez
Anchal Nema
Ramya Ganesan
Will Kimbrough
Yadunandana Rao
Wilko Schulz-Mahlendorf
Explore further
Open the scid.ai AI chat with a ready-made request: it will find papers on a similar topic and help build a literature review.
Find similar papers in the chat →
Make a presentation
100%