Иерархическая таксономия отказов для оценки надежности ИИ-агентов: эмпирический анализ бенчмарка Agent Failure Atlas 2026

A Hierarchical Failure Taxonomy for Reliability Assessment of AI Agents: An Empirical Analysis of the Agent Failure Atlas 2026 Benchmark
Areeya Khuha
2026-01-01

надёжность ИИ-агентовAgent Failure Atlas 2026самокоррекция агентараспространение отказовиерархическая таксономия отказов
По мере того как приложения на основе больших языковых моделей (LLM) развиваются в направлении автономных ИИ-агентов, способных выполнять действия, их оценка больше не может опираться на бинарные метрики успеха и неуспеха. Агентные системы функционируют посредством динамических многошаговых взаимодействий с инструментами и окружением, что приводит к возникновению сложных режимов отказа, распространяющихся и каскадирующих. В настоящем исследовании представлена иерархическая таксономия отказов и проведена эмпирическая оценка надежности с использованием бенчмарка Agent Failure Atlas 2026. На основе анализа 3336 запусков агентов, включавших 43 477 шагов траекторий и 3802 события отказа, надежность агентов охарактеризована по четырем измерениям: частоте, критичности, каскадному поведению и восстанавливаемости. Результаты выявляют двумерный ландшафт надежности: отказы с высокой распространенностью, но в значительной степени поддающиеся восстановлению (например, ошибки использования инструментов и отслеживания состояния), резко контрастируют с отказами с низкой распространенностью, но высокой критичностью (например, ошибки валидации и формирования выходных данных). Кроме того, показано, что промежуточные отказы часто устраняются за счет самокоррекции агента, благодаря чему показатели ошибок на уровне запуска оказываются не связаны напрямую с итоговым успехом выполнения задачи. Смещая аналитический фокус с изолированной точности результата на механизмы распространения отказов, данная концепция предоставляет фундаментальную методологию для инженерии надежности, снижения рисков и безопасного внедрения автономных систем искусственного интеллекта.
1
Анализ 3 336 запусков агентов, 43 477 шагов траекторий и 3 802 событий отказа оценивает частоту, критичность, каскадное поведение и восстанавливаемость отказов.
2
Промежуточные отказы часто устраняются благодаря самокоррекции агента, что отделяет показатели ошибок на уровне запуска от итогового успеха задачи.
3
Механистический анализ распространения отказов создаёт основу для инженерии надёжности, снижения рисков и более безопасного развёртывания автономных агентов.
4
В работе предложена иерархическая таксономия отказов для оценки надёжности автономных ИИ-агентов, выходящая за рамки бинарных метрик успеха и неуспеха.
5
Ошибки использования инструментов и отслеживания состояния встречаются часто, но обычно исправимы, тогда как ошибки валидации и вывода редки, но значительно более критичны.

автономные ИИ-агенты на основе LLM, работающие посредством динамических многошаговых взаимодействий с инструментами и окружениями

надёжность агентов, характеризуемая частотой, критичностью, каскадным поведением и восстанавливаемостью иерархических типов отказов и их распространения

Publication Details
Publication Date
2026-01-01
Journal
Publisher
ISSN
Cited by
0
Access Type
Author Information
Authors
Areeya Khuha
Explore further
Open the scid.ai AI chat with a ready-made request: it will find papers on a similar topic and help build a literature review.
Find similar papers in the chat →
Make a presentation
100%