MAIA: многомерный бенчмарк для оценки медицинских ИИ-агентов

Большие языковые модели демонстрируют значительный потенциал в медицинских сценариях, особенно в качестве автономных агентов для сложного клинического рассуждения. Строгая оценка необходима для обеспечения их надежности при применении в реальном здравоохранении. Однако существующие медицинские бенчмарки характеризуются узкой направленностью задач, зависимостью от общедоступных наборов данных, подверженных утечке данных, и ограниченным охватом разнообразных возможностей агентов. Для устранения этих недостатков мы представляем Medical AI Assessment (MAIA) — комплексный бенчмарк, оценивающий медицинских агентов по трем направлениям: медицинские вопросы на основе поиска, генерируемые с помощью биомедицинских API; задачи многошагового рассуждения, сформированные на основе отобранных биомедицинских графов знаний; и вопросы, требующие рассуждения по клиническим алгоритмам и построенные на основе авторитетных рекомендаций. MAIA использует большие языковые модели для автоматической генерации вопросов, снижая объем ручной работы при сохранении клинической достоверности и глубины рассуждения. Эксперименты с базовыми моделями и моделями, ориентированными на рассуждение, выявляют как сильные стороны, так и пробелы, подчеркивая ценность MAIA для развития методов оценки медицинских агентов. MAIA находится в открытом доступе по адресу https://huggingface.co/datasets/DiligentDing/MAIA.