От бенчмарков к внедрению: всесторонний обзор оценки агентного искусственного интеллекта
From benchmarks to deployment: a comprehensive review of agentic AI evaluation
2026-04-24
SCID: 54.1/jqusecpg
Discuss with AI
бенчмарки агентовоценка агентного ИИпригодность к развертываниюоценивание с учетом безопасностиоценка на уровне траекторий
Figures from the paper
Abstract (AI)
В этом обзоре систематически рассматриваются методологии оценки агентных систем искусственного интеллекта — систем, способных к многоэтапному планированию, использованию инструментов и взаимодействию с окружающей средой в различных предметных областях. Современные практики оценки демонстрируют критический разрыв между результатами на бенчмарках и пригодностью к внедрению: агенты, получающие высокие баллы на стандартизированных бенчмарках, часто не справляются с задачами в реальных приложениях, поскольку существующие методологии оценки принципиально ориентированы на завершение задачи, а не на критически важные для внедрения характеристики, такие как экономичность, соблюдение требований безопасности, сопровождаемость и интеграция в рабочие процессы. Мы критически анализируем 15 основных бенчмарков для оценки агентов, включая AgentBench, WebArena, SWE-bench, PaperBench, MLGym, BrowserGym, HumanEval, MBPP, GAIA, ToolBench, Terminal-Bench, Mind2Web, ALFWorld, BabyAI и HotPotQA, рассматривая их методологии, метрики, наборы данных и предметные области применения; основным примером служит разработка программного обеспечения. Наш анализ показывает, что именно методология оценки, а не возможности модели, является главным ограничивающим фактором надежного внедрения агентов. Мы демонстрируем, что метрики прохождения тестов систематически игнорируют качество кода, уязвимости безопасности и сложность интеграции, тогда как бинарные метрики успеха скрывают согласованность планирования, эффективность использования ресурсов и нарушения требований безопасности (0 из 15 бенчмарков учитывают безопасность или защищенность при расчете итоговой оценки). В обзоре предложены междоменная таксономия недостатков оценки, фреймворки оценки траекторий, учитывающие компромиссы между стоимостью, воспроизводимостью и валидностью, систематическое выявление недостаточности метрик, включая отсутствие учета безопасности и стоимости, а также обобщение развивающихся парадигм оценки и барьеров их внедрения. Количественно, 0 из 15 бенчмарков учитывают безопасность или защищенность в системе оценки, 0 из 15 включают метрики экономичности в основной протокол оценки, а 13 из 15 опираются исключительно на бинарные показатели успеха, что подтверждает: методология оценки...
Key Findings
1
Среди 15 крупных бенчмарков 0 из 15 учитывают безопасность или защищённость в оценивании, 0 из 15 включают показатели эффективности затрат, а 13 из 15 используют исключительно бинарные метрики успеха.
2
Бинарные метрики успешности задач и прохождения тестов систематически не учитывают согласованность планирования, эффективность использования ресурсов, качество кода, уязвимости, сопровождаемость и сложность интеграции.
3
Современные бенчмарки агентных систем ИИ демонстрируют существенный разрыв между результатами на тестах и пригодностью к развертыванию, поскольку преимущественно оценивают выполнение задач, игнорируя эксплуатационные требования.
4
Обзор показывает, что главным ограничением надёжного внедрения агентных систем ИИ является методология оценки, а не возможности моделей.
5
В обзоре предложены междоменная таксономия и рамки оценки на уровне траекторий, учитывающие затраты, воспроизводимость, валидность, безопасность и барьеры внедрения.
Research Object
агентные системы ИИ, способные к многошаговому планированию, использованию инструментов и взаимодействию с окружающей средой
Research Subject
методологии и метрики оценки пригодности к развертыванию, включая выполнение задач, экономическую эффективность, соблюдение требований безопасности, сопровождаемость и интеграцию в рабочие процессы
Publication Details
Publication Date
2026-04-24
Journal
Publisher
ISSN
Cited by
16
Open access PDF
Access Type
Author Information
Download PDF
Subscribe to digest
Источники этой статьи в scid.ai8
Обзор методов оценки больших языковых моделей2024
Обзор автономных агентов на основе больших языковых моделей2024
Утечка данных и кризис воспроизводимости в науке, основанной на машинном обучении2023
Оценка больших языковых моделей, обученных на коде2021
Большие языковые модели для программной инженерии: систематический обзор литературы2024
Тестирование программного обеспечения с помощью больших языковых моделей: обзор, ландшафт и видение2024
Расцвет агентного искусственного интеллекта: обзор определений, фреймворков, архитектур, приложений, метрик оценки и проблем2025
Оценка и бенчмаркинг агентов на основе больших языковых моделей: обзор2025