AgentInspect: диагностика поведенческих сбоев в агентах искусственного интеллекта
AgentInspect: Diagnosing Behavioral Failures in Artificial Intelligence Agents
2026-10-01
SCID: 54.1/bevn7g9w
Discuss with AI
тестирование ИИ-агентовобнаружение поведенческих сбоевповеденческая робастностьгенерация тестов с управлением покрытиемсимуляция поведения инструментов
Figures from the paper
Abstract (AI)
Эффективное тестирование агентов искусственного интеллекта (ИИ) остается фундаментальной проблемой из-за их стохастического рассуждения, обширного и разнообразного пространства входных данных, зависимости от внешних инструментов и функционирования в динамических средах выполнения; эти факторы требуют новых методологий тестирования, специально адаптированных к сложной и интерактивной природе агентных систем. В данной работе представлена новая методология тестирования агентов ИИ, ориентированная прежде всего на оценку устойчивости их поведения в различных эксплуатационных условиях. Наш подход основан на следующих ключевых технических инновациях: (1) стратегии генерации тестовых входных данных с управлением по покрытию, основанной на специфичных для агента целях покрытия; (2) механизме захвата и имитации, который систематически моделирует аномальное поведение инструментов для воспроизведения сбоев выполнения, возникающих в реальных условиях; и (3) детерминированном подходе к обнаружению поведенческих сбоев, обеспечивающем согласованную идентификацию сбоев для различных тестовых входных данных. Мы разработали AgentInspect — фреймворк, автоматически обнаруживающий шесть типов поведенческих сбоев в агентах ИИ на базе LangChain путем анализа траекторий их выполнения в трех сценариях оценки: базовом сценарии с использованием реальных ответов инструментов, имитационном сценарии с синтетическими ответами инструментов и гибридном сценарии, сочетающем реальные и имитированные ответы инструментов. Для оценки нашего подхода мы сформировали эталонный набор из 35 агентов ИИ, полученных из GitHub. Результаты показывают, что AgentInspect стабильно выявляет различные поведенческие сбои с высокой точностью и полнотой во всех трех сценариях выполнения. В частности, имитационный и гибридный сценарии выявляют режимы сбоев, которые не проявляются при базовом выполнении с реальными ответами инструментов, что позволяет проводить более всестороннюю оценку устойчивости агентов. Полученные результаты подтверждают эффективность AgentInspect в выявлении критических сбоев и его практическую ценность для систематической оценки устойчивости агентов ИИ.
Key Findings
1
Детерминированный метод обнаружения сбоев стабильно выявляет шесть типов поведенческих отказов по разным тестовым входам и траекториям выполнения.
2
AgentInspect оценивает 35 агентов LangChain, полученных из GitHub, в режимах с реальными, симулированными и гибридными ответами инструментов.
3
AgentInspect представляет управляемую покрытием генерацию тестов, ориентированную на агентов, для оценки поведенческой устойчивости в различных условиях эксплуатации.
4
Симулированные и гибридные режимы выявляют отказы, отсутствующие при базовом выполнении с реальными ответами, сохраняя высокие точность и полноту обнаружения.
5
Фреймворк фиксирует и симулирует аномальное поведение инструментов, обеспечивая систематическое моделирование сбоев реального выполнения.
Research Object
ИИ-агенты на базе LangChain
Research Subject
Поведенческая устойчивость и типы сбоев в различных эксплуатационных условиях, включая аномальное поведение инструментов и разные режимы выполнения
Publication Details
Publication Date
2026-10-01
Journal
Publisher
ISSN
Cited by
0
Open access PDF
Access Type
Author Information
Download PDF
Subscribe to digest