MedAgentBench: виртуальная среда электронной медицинской карты для тестирования медицинских агентов на основе больших языковых моделей

ВВЕДЕНИЕ В последние годы большие языковые модели (LLM) продемонстрировали значительный прогресс, особенно в способности функционировать в качестве агентов, выходя за рамки своей традиционной роли чат-ботов. Эти агенты могут использовать возможности планирования и применения инструментов для решения задач, сформулированных на высоком уровне. Это открывает новые возможности для снижения нагрузки, связанной с административными задачами, и решения проблемы текущей нехватки медицинского персонала. Однако в настоящее время отсутствует стандартизированный набор данных для тестирования агентных возможностей LLM в медицинских приложениях, что затрудняет оценку их эффективности при выполнении сложных задач в интерактивных медицинских средах. МЕТОДЫ Для устранения этого пробела во внедрении агентного искусственного интеллекта (ИИ) в здравоохранении мы представляем MedAgentBench — широкий комплекс оценки, предназначенный для изучения агентных возможностей LLM в контексте медицинских записей. MedAgentBench включает 300 специфичных для пациентов клинически обоснованных задач из 10 категорий, составленных врачами, реалистичные профили 100 пациентов, содержащие более 700 000 элементов данных, интерактивную среду, соответствующую стандарту Fast Healthcare Interoperability Resources, а также сопутствующую кодовую базу. Среда использует стандартные интерфейсы прикладного программирования и инфраструктуру обмена данными, применяемые в современных системах электронных медицинских карт (EHR), благодаря чему ее можно легко перенести в действующие системы EHR. РЕЗУЛЬТАТЫ MedAgentBench представляет собой ненасыщенный агентно-ориентированный бенчмарк, на котором современные большие языковые модели демонстрируют определенную способность успешно выполнять задачи. Лучшая модель (Claude 3.5 Sonnet v2) достигает показателя успешности 69,67%. Однако возможности для улучшения остаются значительными, что задает сообществу четкое направление для дальнейшей оптимизации. Кроме того, эффективность существенно варьирует в зависимости от категории задач. ВЫВОДЫ Фреймворки и бенчмарки для агентных задач являются необходимым следующим шагом для развития потенциала и возможностей эффективного улучшения и интеграции...