От рассуждений больших языковых моделей к автономным ИИ-агентам: всесторонний обзор

Большие языковые модели и автономные ИИ-агенты быстро развиваются, что привело к появлению разнообразного набора оценочных бенчмарков, фреймворков и протоколов взаимодействия. В связи с растущей потребностью в стандартизированной оценке и интеграции мы систематически объединяем эти разрозненные разработки в единую структуру. Однако данная область по-прежнему фрагментирована и не располагает унифицированной таксономией или всеобъемлющим обзором. Поэтому мы представляем сопоставительное сравнение бенчмарков, разработанных в период с 2019 по 2025 год, предназначенных для оценки этих моделей и агентов в различных предметных областях. Кроме того, мы предлагаем таксономию примерно 60 бенчмарков, охватывающих рассуждения на основе общих и академических знаний, решение математических задач, генерацию кода и разработку программного обеспечения, фактическое обоснование и поиск информации, специализированные предметные оценки, мультимодальные и воплощённые задачи, оркестрацию задач и интерактивные оценки. Далее мы рассматриваем фреймворки ИИ-агентов, представленные в период с 2023 по 2025 год, которые интегрируют большие языковые модели с модульными инструментальными наборами для обеспечения автономного принятия решений и многоэтапного рассуждения. Кроме того, мы представляем реальные применения автономных ИИ-агентов в материаловедении, биомедицинских исследованиях, формировании научных идей, разработке программного обеспечения, генерации синтетических данных, химическом рассуждении, решении математических задач, географических информационных системах, мультимедиа, здравоохранении и финансах. Затем мы рассматриваем ключевые протоколы взаимодействия агентов, а именно протокол коммуникации агентов (Agent Communication Protocol, ACP), протокол контекста модели (Model Context Protocol, MCP) и протокол взаимодействия «агент—агент» (Agent-to-Agent Protocol, A2A). Наконец, мы обсуждаем рекомендации для будущих исследований, уделяя особое внимание передовым стратегиям рассуждения, режимам отказа в мультиагентных системах на основе больших языковых моделей, автоматизированному научному открытию, динамической интеграции инструментов посредством обучения с подкреплением, интегрированным возможностям поиска и уязвимостям безопасности в протоколах взаимодействия агентов.