От бенчмарков к внедрению: всесторонний обзор оценки агентного искусственного интеллекта

From benchmarks to deployment: a comprehensive review of agentic AI evaluation
Adnan Akhunzada, Nikola Ivković, Ahmad Sami Al‐Shamayleh, Tanzila Kehkashan, Muhammad Irsyad Abdullah, Nor Azman Ismail, Sharifah Sakinah Syed Ahmad, Abdul Rehman
2026-04-24

бенчмарки агентовоценка агентного ИИпригодность к развертываниюоценивание с учетом безопасностиоценка на уровне траекторий
В этом обзоре систематически рассматриваются методологии оценки агентных систем искусственного интеллекта — систем, способных к многоэтапному планированию, использованию инструментов и взаимодействию с окружающей средой в различных предметных областях. Современные практики оценки демонстрируют критический разрыв между результатами на бенчмарках и пригодностью к внедрению: агенты, получающие высокие баллы на стандартизированных бенчмарках, часто не справляются с задачами в реальных приложениях, поскольку существующие методологии оценки принципиально ориентированы на завершение задачи, а не на критически важные для внедрения характеристики, такие как экономичность, соблюдение требований безопасности, сопровождаемость и интеграция в рабочие процессы. Мы критически анализируем 15 основных бенчмарков для оценки агентов, включая AgentBench, WebArena, SWE-bench, PaperBench, MLGym, BrowserGym, HumanEval, MBPP, GAIA, ToolBench, Terminal-Bench, Mind2Web, ALFWorld, BabyAI и HotPotQA, рассматривая их методологии, метрики, наборы данных и предметные области применения; основным примером служит разработка программного обеспечения. Наш анализ показывает, что именно методология оценки, а не возможности модели, является главным ограничивающим фактором надежного внедрения агентов. Мы демонстрируем, что метрики прохождения тестов систематически игнорируют качество кода, уязвимости безопасности и сложность интеграции, тогда как бинарные метрики успеха скрывают согласованность планирования, эффективность использования ресурсов и нарушения требований безопасности (0 из 15 бенчмарков учитывают безопасность или защищенность при расчете итоговой оценки). В обзоре предложены междоменная таксономия недостатков оценки, фреймворки оценки траекторий, учитывающие компромиссы между стоимостью, воспроизводимостью и валидностью, систематическое выявление недостаточности метрик, включая отсутствие учета безопасности и стоимости, а также обобщение развивающихся парадигм оценки и барьеров их внедрения. Количественно, 0 из 15 бенчмарков учитывают безопасность или защищенность в системе оценки, 0 из 15 включают метрики экономичности в основной протокол оценки, а 13 из 15 опираются исключительно на бинарные показатели успеха, что подтверждает: методология оценки...
1
Среди 15 крупных бенчмарков 0 из 15 учитывают безопасность или защищённость в оценивании, 0 из 15 включают показатели эффективности затрат, а 13 из 15 используют исключительно бинарные метрики успеха.
2
Бинарные метрики успешности задач и прохождения тестов систематически не учитывают согласованность планирования, эффективность использования ресурсов, качество кода, уязвимости, сопровождаемость и сложность интеграции.
3
Современные бенчмарки агентных систем ИИ демонстрируют существенный разрыв между результатами на тестах и пригодностью к развертыванию, поскольку преимущественно оценивают выполнение задач, игнорируя эксплуатационные требования.
4
Обзор показывает, что главным ограничением надёжного внедрения агентных систем ИИ является методология оценки, а не возможности моделей.
5
В обзоре предложены междоменная таксономия и рамки оценки на уровне траекторий, учитывающие затраты, воспроизводимость, валидность, безопасность и барьеры внедрения.

агентные системы ИИ, способные к многошаговому планированию, использованию инструментов и взаимодействию с окружающей средой

методологии и метрики оценки пригодности к развертыванию, включая выполнение задач, экономическую эффективность, соблюдение требований безопасности, сопровождаемость и интеграцию в рабочие процессы

Publication Details
Publication Date
2026-04-24
Journal
Publisher
ISSN
Cited by
16
Access Type
Author Information
Authors
Adnan Akhunzada
Nikola Ivković
Ahmad Sami Al‐Shamayleh
Tanzila Kehkashan
Muhammad Irsyad Abdullah
Nor Azman Ismail
Sharifah Sakinah Syed Ahmad
Abdul Rehman
Explore further
Open the scid.ai AI chat with a ready-made request: it will find papers on a similar topic and help build a literature review.
Find similar papers in the chat →
Make a presentation
100%