Архитектуры агентов на основе визуального восприятия для автономной навигации в корпоративной веб-среде
Vision-Based Agent Architectures for Autonomous Enterprise Web Navigation
2025-01-01
SCID: 54.1/c6mfmn97
Discuss with AI
навигация по корпоративному веб-пространствузаземление языкабольшие языковые моделиагенты на основе компьютерного зрениявизуальное рассуждение
Figures from the paper
Abstract (AI)
Автономная навигация в корпоративной веб-среде развивается с внедрением архитектур агентов на основе визуального восприятия. Агенты визуального восприятия постепенно заменяют прежние стратегии, основанные на правилах и разборе объектной модели документа (DOM), и становятся сопоставимыми с человеком по способам взаимодействия с веб-средой. В статье критически анализируются последние разработки в области проектирования и применения таких агентов и моделей с приоритетом визуального восприятия, принципы интеграции больших языковых моделей, а также соответствующие принципы проектирования. В обзоре также рассматривается, как заземление языка и визуальное рассуждение могут обеспечить устойчивость, адаптивность и способность агентов к обобщению в корпоративных условиях; при этом используются результаты смежных областей, таких как автономные системы беспилотных летательных аппаратов (БПЛА), воплощённый искусственный интеллект (ИИ) и мультимодальная робототехника. Обсуждаются такие актуальные вопросы, как эффективность вывода, восстановление после ошибок и этические аспекты, а также новые тенденции, определяющие будущее поколение систем веб-автоматизации. Данный синтез представляет ценность для учёных и практиков, работающих над созданием интеллектуальных агентов, способных поддерживать работу с реальными веб-интерфейсами в корпоративной среде. Ключевые слова: агенты на основе визуального восприятия.
Key Findings
1
Идеи из автономных БПЛА, воплощённого искусственного интеллекта и мультимодальной робототехники определяют новые архитектуры и будущие направления развития агентов веб-навигации.
2
Интеграция больших языковых моделей, языковое заземление и визуальное рассуждение рассматриваются как ключевые принципы повышения устойчивости, адаптивности и обобщающей способности агентов.
3
Эффективность вывода, восстановление после ошибок и этические аспекты выделяются как основные проблемы корпоративной веб-автоматизации.
4
Визуальные агенты всё чаще заменяют подходы на основе правил и анализа DOM для автономной навигации в корпоративной веб-среде.
5
Агенты визуального восприятия характеризуются как более близкие к человеческому взаимодействию с веб-интерфейсами и в целом сопоставимые с ним.
Research Object
агенты на основе компьютерного зрения для автономной навигации по корпоративным веб-интерфейсам
Research Subject
архитектуры агентов, визуальное восприятие, языковое заземление, визуальное рассуждение, устойчивость, адаптивность, обобщение, эффективность вывода, восстановление после ошибок и этические аспекты в автоматизации корпоративной веб-навигации
Publication Details
Publication Date
2025-01-01
Journal
Publisher
ISSN
Cited by
0
Open access PDF
Access Type
Author Information
Download PDF
Subscribe to digest