Обзор основ и передовых направлений мультимодальных агентных фреймворков: методы и приложения

A Survey on Foundations and Frontiers of Multimodal Agentic Frameworks: Techniques and Applications
Philip H. S. Torr, Mike Zheng Shou, Dinesh Manocha, Mohamed Elhoseiny, Shraman Pramanick, Kevin Qinghong Lin, Sayan Nag, Arda Senocak, Neel Mokaria, Rishie Raj, Dheeraj Baiju, Xiaoqian Shen, Yapeng Tian, Ruohan Gao, Salman Khan, Sanjoy Chowdhury
2026-06-28

большие мультимодальные моделитаксономия, ориентированная на модальностимультимодальные агентные фреймворкиархитектуры мультимодального слияниямультимодальное рассуждение
Развитие больших языковых моделей (LLM) стимулировало волну исследований агентности — способности рассуждать, планировать и действовать. В результате были созданы агентные фреймворки, координирующие восприятие, память и принятие решений на основе мощных базовых LLM. С появлением больших мультимодальных моделей (LMM) эти системы получили возможность обрабатывать и интегрировать различные модальности, включая изображения, аудио и видео, что повысило их применимость в реальном мире. Однако, несмотря на существование обзоров агентов на основе LLM, роль мультимодальности в формировании агентности в последние годы систематически не изучалась. Настоящий обзор восполняет этот пробел, анализируя влияние мультимодальности на ключевые функциональные модули агентного фреймворка: восприятие, рассуждение, планирование, память и действие. С этой точки зрения мы прослеживаем эволюцию от текстоцентричных агентов к мультимодальным фреймворкам, рассматриваем интеграцию модальностей посредством делегирующих архитектур, архитектур с поздним и ранним слиянием, а также оцениваем возникновение агентного поведения, обеспечиваемого заземлённым восприятием и мультимодальным рассуждением. Существующие исследования систематизированы с помощью ориентированной на модальности таксономии, связывающей архитектурные решения со способностями агентов. Кроме того, мы рассматриваем мультимодальные агентные системы в различных прикладных областях, включая робототехнику, навигацию в графическом пользовательском интерфейсе и веб-пространстве, генерацию и редактирование мультимедийного контента, а также понимание и поиск длинноформатного видео. Помимо анализа возможностей, мы оцениваем производительность в этих областях и обсуждаем компромиссы между эффективностью и масштабируемостью, включая затраты на обучение и вывод, задержку и ограничения развертывания. Сосредоточившись на влиянии мультимодальности на разработку агентных систем, мы стремимся выявить ключевые пробелы и наметить дорожную карту к созданию надёжных интеллектуальных систем общего назначения.
1
Модально-ориентированная таксономия связывает архитектурные решения по интеграции модальностей со способностями агентов и поведением, возникающим благодаря заземлённому восприятию и мультимодальному рассуждению.
2
Прослеживается переход от текстоцентричных агентов к мультимодальным системам, интегрирующим изображения, аудио и видео с помощью делегированной архитектуры, позднего и раннего слияния.
3
Мультимодальные агентные системы рассматриваются в робототехнике, навигации по графическим интерфейсам и веб-среде, генерации и редактировании мультимедийного контента, а также понимании и поиске по длинным видео.
4
Выявлены компромиссы между эффективностью и масштабируемостью, связанные с затратами на обучение и вывод, задержкой и ограничениями развертывания; также обозначены пробелы на пути к устойчивым универсальным системам.
5
В обзоре систематически анализируется влияние мультимодальности на восприятие, рассуждение, планирование, память и действия в агентных фреймворках.

мультимодальные агентные фреймворки

влияние мультимодальности на агентные возможности, функциональные модули, архитектуры, области применения, производительность и компромиссы между эффективностью и масштабируемостью

Publication Details
Publication Date
2026-06-28
Journal
Publisher
ISSN
Cited by
3
Access Type
Author Information
Authors
Philip H. S. Torr
Mike Zheng Shou
Dinesh Manocha
Mohamed Elhoseiny
Shraman Pramanick
Kevin Qinghong Lin
Sayan Nag
Arda Senocak
Neel Mokaria
Rishie Raj
Dheeraj Baiju
Xiaoqian Shen
Yapeng Tian
Ruohan Gao
Salman Khan
Sanjoy Chowdhury
Explore further
Open the scid.ai AI chat with a ready-made request: it will find papers on a similar topic and help build a literature review.
Find similar papers in the chat →
Make a presentation
100%