Надёжный агентный искусственный интеллект: режимы отказа, стратегии смягчения рисков и жизненный цикл автономных систем на основе больших языковых моделей
Trustworthy Agentic AI: Failure Modes, Mitigation Strategies, and a Lifecycle Framework for Autonomous LLM Systems
2026-09-19
SCID: 54.1/q9hdnufa
Discuss with AI
жизненный цикл разработки надежных агентовагентный искусственный интеллекткосвенная инъекция промптабольшие языковые моделизагрязнение памяти
Figures from the paper
Abstract (AI)
Агентные системы искусственного интеллекта, построенные на основе больших языковых моделей, способны планировать многошаговые действия, использовать внешние инструменты, сохранять информацию в памяти и координировать работу с другими агентами. Эти возможности делают их более полезными по сравнению со статическими языковыми моделями, однако одновременно создают новые риски безопасности и эксплуатации. Ненадёжный контент с веб-сайтов, из электронных писем, документов и баз данных может попадать в тот же контекст, что и системные инструкции; постоянная память может переносить скомпрометированную информацию между сеансами; а доступ к внешним инструментам способен превратить ошибочный ответ модели в значимое действие в реальном мире. В статье рассматривается надёжность агентного искусственного интеллекта по пяти взаимосвязанным направлениям: безопасность и устойчивость, согласование целей и надзор со стороны человека, прозрачность и возможность аудита, конфиденциальность и управление данными, а также соблюдение нормативных требований. Ключевые режимы отказа, включая косвенную инъекцию промптов, триггеры бэкдоров, неправильное обобщение целей, загрязнение памяти и утечку данных между сеансами, систематизированы в единой таксономии. Кроме того, анализируются основные подходы к снижению рисков, такие как иерархии инструкций, изоляция контекста, выделение недоверенного контента, надзор на основе процесса, ограниченное использование инструментов и память с сохранением конфиденциальности; при этом методы, подтверждённые эмпирическими данными, отделяются от подходов, остающихся преимущественно концептуальными. На основе этого анализа предлагается жизненный цикл разработки надёжных агентов (Trustworthy Agent Development Lifecycle, TADL) — шестифазная структура, охватывающая формулирование спецификаций, проектирование, обучение, оценивание, развёртывание и мониторинг. Для каждой фазы TADL определяет соответствующие мероприятия по обеспечению надёжности, ожидаемые свидетельства и контрольные точки принятия решений на основе оценки рисков. Хотя TADL ещё не прошёл эмпирическую валидацию, он создаёт структурированную основу для разработки и оценки более безопасных и подотчётных агентных систем. В заключении статьи выявляются пробелы в существующих бенчмарках и определяются приоритеты будущих исследований.
Key Findings
1
Агентные системы на основе больших языковых моделей создают специфические риски: ненадёжный контент, постоянная память и внешние инструменты могут нарушать инструкции, распространять загрязнение или запускать последствия в реальном мире.
2
Жизненный цикл надёжной разработки агентных систем (TADL) охватывает спецификацию, проектирование, обучение, оценивание, развёртывание и мониторинг, задавая требования к доказательствам и риск-ориентированные контрольные этапы; при этом его эмпирическая валидация ещё не проведена.
3
В статье представлена единая таксономия отказов, включающая косвенное внедрение промптов, триггеры бэкдоров, ошибочное обобщение целей, загрязнение памяти и утечки данных между сессиями.
4
Рассматриваются меры защиты, включая иерархии инструкций, изоляцию контекста, spotlighting, надзор за процессом, ограниченное использование инструментов и конфиденциальную память; методы отделяются от концептуальных предложений по наличию эмпирической поддержки.
5
Надёжность рассматривается по пяти измерениям: безопасность и устойчивость, согласованность и человеческий контроль, прозрачность и аудируемость, конфиденциальность и управление данными, а также соответствие регулированию.
Research Object
агентные системы ИИ на основе больших языковых моделей (автономные системы на базе LLM)
Research Subject
надёжность, режимы отказа, стратегии смягчения рисков и управление жизненным циклом в аспектах безопасности, согласованности, прозрачности, конфиденциальности и соответствия нормативным требованиям
Publication Details
Publication Date
2026-09-19
Journal
Publisher
ISSN
Cited by
0
Open access PDF
Access Type
Author Information
Download PDF
Subscribe to digest
Источники этой статьи в scid.ai8
Почему я должен вам доверять?2016
Преодоление катастрофического забывания в нейронных сетях2017
Генеративные агенты: интерактивные симулякры человеческого поведения2023
Рамочная система управления рисками искусственного интеллекта (AI RMF 1.0)2023
Не то, на что вы подписывались: компрометация реальных приложений, интегрированных с большими языковыми моделями, с помощью косвенного внедрения промптов2023
Agentic AI: всесторонний обзор архитектур, приложений и направлений развития2025
Обзор заслуживающих доверия агентов на основе больших языковых моделей: угрозы и контрмеры2025
TRiSM для агентного искусственного интеллекта: обзор управления доверием, рисками и безопасностью в агентных мультиагентных системах на основе больших языковых моделей2026