Обзор основ и передовых направлений мультимодальных агентных фреймворков: методы и приложения
A Survey on Foundations and Frontiers of Multimodal Agentic Frameworks: Techniques and Applications
2026-06-28
SCID: 54.1/zn8p6dw3
Discuss with AI
большие мультимодальные моделитаксономия, ориентированная на модальностимультимодальные агентные фреймворкиархитектуры мультимодального слияниямультимодальное рассуждение
Figures from the paper
Abstract (AI)
Развитие больших языковых моделей (LLM) стимулировало волну исследований агентности — способности рассуждать, планировать и действовать. В результате были созданы агентные фреймворки, координирующие восприятие, память и принятие решений на основе мощных базовых LLM. С появлением больших мультимодальных моделей (LMM) эти системы получили возможность обрабатывать и интегрировать различные модальности, включая изображения, аудио и видео, что повысило их применимость в реальном мире. Однако, несмотря на существование обзоров агентов на основе LLM, роль мультимодальности в формировании агентности в последние годы систематически не изучалась. Настоящий обзор восполняет этот пробел, анализируя влияние мультимодальности на ключевые функциональные модули агентного фреймворка: восприятие, рассуждение, планирование, память и действие. С этой точки зрения мы прослеживаем эволюцию от текстоцентричных агентов к мультимодальным фреймворкам, рассматриваем интеграцию модальностей посредством делегирующих архитектур, архитектур с поздним и ранним слиянием, а также оцениваем возникновение агентного поведения, обеспечиваемого заземлённым восприятием и мультимодальным рассуждением. Существующие исследования систематизированы с помощью ориентированной на модальности таксономии, связывающей архитектурные решения со способностями агентов. Кроме того, мы рассматриваем мультимодальные агентные системы в различных прикладных областях, включая робототехнику, навигацию в графическом пользовательском интерфейсе и веб-пространстве, генерацию и редактирование мультимедийного контента, а также понимание и поиск длинноформатного видео. Помимо анализа возможностей, мы оцениваем производительность в этих областях и обсуждаем компромиссы между эффективностью и масштабируемостью, включая затраты на обучение и вывод, задержку и ограничения развертывания. Сосредоточившись на влиянии мультимодальности на разработку агентных систем, мы стремимся выявить ключевые пробелы и наметить дорожную карту к созданию надёжных интеллектуальных систем общего назначения.
Key Findings
1
Модально-ориентированная таксономия связывает архитектурные решения по интеграции модальностей со способностями агентов и поведением, возникающим благодаря заземлённому восприятию и мультимодальному рассуждению.
2
Прослеживается переход от текстоцентричных агентов к мультимодальным системам, интегрирующим изображения, аудио и видео с помощью делегированной архитектуры, позднего и раннего слияния.
3
Мультимодальные агентные системы рассматриваются в робототехнике, навигации по графическим интерфейсам и веб-среде, генерации и редактировании мультимедийного контента, а также понимании и поиске по длинным видео.
4
Выявлены компромиссы между эффективностью и масштабируемостью, связанные с затратами на обучение и вывод, задержкой и ограничениями развертывания; также обозначены пробелы на пути к устойчивым универсальным системам.
5
В обзоре систематически анализируется влияние мультимодальности на восприятие, рассуждение, планирование, память и действия в агентных фреймворках.
Research Object
мультимодальные агентные фреймворки
Research Subject
влияние мультимодальности на агентные возможности, функциональные модули, архитектуры, области применения, производительность и компромиссы между эффективностью и масштабируемостью
Publication Details
Publication Date
2026-06-28
Journal
Publisher
ISSN
Cited by
3
Open access PDF
Access Type
Author Information
Download PDF
Subscribe to digest
Источники этой статьи в scid.ai12
Исследование пределов трансферного обучения с помощью унифицированного преобразователя текста в текст2019
LLaMA: открытые и эффективные базовые языковые модели2023
Изображение стоит 16×16 слов: трансформеры для распознавания изображений в масштабе2020
Интеллект, компилируемый через аффордансы: наблюдаемое сопоставление когнитивных импедансов для LLM-интегрированных систем без мета-доступа2020
Устойчивое распознавание речи с помощью масштабного слабого обучения2022
Обзор автономных агентов на основе больших языковых моделей2024
Генеративные агенты: интерактивные симулякры человеческого поведения2023
Технический отчет о GPT-42023
Оценка больших языковых моделей, обученных на коде2021
Visual ChatGPT: общение, рисование и редактирование с использованием визуальных базовых моделей2023
От рассуждений больших языковых моделей к автономным ИИ-агентам: всесторонний обзор2026
Агенты на основе больших языковых моделей для обучения работе с инструментами: обзор2025