Надёжный агентный искусственный интеллект: режимы отказа, стратегии смягчения рисков и жизненный цикл автономных систем на основе больших языковых моделей

Trustworthy Agentic AI: Failure Modes, Mitigation Strategies, and a Lifecycle Framework for Autonomous LLM Systems
Ali Al Bataineh, Fayeq Jeelani Syed, Rehan Ahmad, Aakriti Adhikari
2026-09-19

жизненный цикл разработки надежных агентовагентный искусственный интеллекткосвенная инъекция промптабольшие языковые моделизагрязнение памяти
Агентные системы искусственного интеллекта, построенные на основе больших языковых моделей, способны планировать многошаговые действия, использовать внешние инструменты, сохранять информацию в памяти и координировать работу с другими агентами. Эти возможности делают их более полезными по сравнению со статическими языковыми моделями, однако одновременно создают новые риски безопасности и эксплуатации. Ненадёжный контент с веб-сайтов, из электронных писем, документов и баз данных может попадать в тот же контекст, что и системные инструкции; постоянная память может переносить скомпрометированную информацию между сеансами; а доступ к внешним инструментам способен превратить ошибочный ответ модели в значимое действие в реальном мире. В статье рассматривается надёжность агентного искусственного интеллекта по пяти взаимосвязанным направлениям: безопасность и устойчивость, согласование целей и надзор со стороны человека, прозрачность и возможность аудита, конфиденциальность и управление данными, а также соблюдение нормативных требований. Ключевые режимы отказа, включая косвенную инъекцию промптов, триггеры бэкдоров, неправильное обобщение целей, загрязнение памяти и утечку данных между сеансами, систематизированы в единой таксономии. Кроме того, анализируются основные подходы к снижению рисков, такие как иерархии инструкций, изоляция контекста, выделение недоверенного контента, надзор на основе процесса, ограниченное использование инструментов и память с сохранением конфиденциальности; при этом методы, подтверждённые эмпирическими данными, отделяются от подходов, остающихся преимущественно концептуальными. На основе этого анализа предлагается жизненный цикл разработки надёжных агентов (Trustworthy Agent Development Lifecycle, TADL) — шестифазная структура, охватывающая формулирование спецификаций, проектирование, обучение, оценивание, развёртывание и мониторинг. Для каждой фазы TADL определяет соответствующие мероприятия по обеспечению надёжности, ожидаемые свидетельства и контрольные точки принятия решений на основе оценки рисков. Хотя TADL ещё не прошёл эмпирическую валидацию, он создаёт структурированную основу для разработки и оценки более безопасных и подотчётных агентных систем. В заключении статьи выявляются пробелы в существующих бенчмарках и определяются приоритеты будущих исследований.
1
Агентные системы на основе больших языковых моделей создают специфические риски: ненадёжный контент, постоянная память и внешние инструменты могут нарушать инструкции, распространять загрязнение или запускать последствия в реальном мире.
2
Жизненный цикл надёжной разработки агентных систем (TADL) охватывает спецификацию, проектирование, обучение, оценивание, развёртывание и мониторинг, задавая требования к доказательствам и риск-ориентированные контрольные этапы; при этом его эмпирическая валидация ещё не проведена.
3
В статье представлена единая таксономия отказов, включающая косвенное внедрение промптов, триггеры бэкдоров, ошибочное обобщение целей, загрязнение памяти и утечки данных между сессиями.
4
Рассматриваются меры защиты, включая иерархии инструкций, изоляцию контекста, spotlighting, надзор за процессом, ограниченное использование инструментов и конфиденциальную память; методы отделяются от концептуальных предложений по наличию эмпирической поддержки.
5
Надёжность рассматривается по пяти измерениям: безопасность и устойчивость, согласованность и человеческий контроль, прозрачность и аудируемость, конфиденциальность и управление данными, а также соответствие регулированию.

агентные системы ИИ на основе больших языковых моделей (автономные системы на базе LLM)

надёжность, режимы отказа, стратегии смягчения рисков и управление жизненным циклом в аспектах безопасности, согласованности, прозрачности, конфиденциальности и соответствия нормативным требованиям

Publication Details
Publication Date
2026-09-19
Journal
Publisher
ISSN
Cited by
0
Access Type
Author Information
Authors
Ali Al Bataineh
Fayeq Jeelani Syed
Rehan Ahmad
Aakriti Adhikari
Explore further
Open the scid.ai AI chat with a ready-made request: it will find papers on a similar topic and help build a literature review.
Find similar papers in the chat →
Make a presentation
100%