AgentClinic: мультимодальный бенчмарк для клинических ИИ-агентов, использующих инструменты

Оценка больших языковых моделей (LLM) в клинических сценариях имеет ключевое значение для определения их потенциальной клинической полезности. Существующие бенчмарки в значительной степени опираются на статическое формирование ответов на вопросы, что не отражает сложную последовательную природу принятия клинических решений. В настоящей работе мы представляем AgentClinic — мультимодальный бенчмарк для агентов, предназначенный для оценки LLM в моделируемых клинических средах, включающих взаимодействие с пациентами, сбор мультимодальных данных в условиях неполной информации и использование различных инструментов, что обеспечивает углублённую оценку по девяти медицинским специальностям и семи языкам. Мы обнаружили, что решение задач MedQA в формате последовательного принятия решений, реализованном в AgentClinic, существенно сложнее, вследствие чего диагностическая точность может снизиться до уровня менее одной десятой от исходной. В целом мы наблюдаем, что агенты на базе Claude-3.5 превосходят агентов на базе других языковых моделей в большинстве условий. Тем не менее выявляются резкие различия в способности LLM использовать такие инструменты, как обучение на опыте, адаптивное извлечение информации и циклы рефлексии. Особенно примечательно, что Llama-3 демонстрирует относительное улучшение результатов до 92% при использовании инструмента блокнота, позволяющего записывать и редактировать заметки, сохраняющиеся между отдельными случаями. Для дополнительной проверки наших клинических симуляций мы используем реальные электронные медицинские карты, проводим исследование с участием клинических экспертов-оценщиков, вносим в агентов различные смещения и исследуем ориентированные на пациента метрики, доступные благодаря этой интерактивной среде.