SAGA: архитектура безопасности для управления агентными системами искусственного интеллекта

SAGA: A Security Architecture for Governing AI Agentic Systems
Cristina Nita-Rotaru, Georgios Syros, Anshuman Suri, Jacob Ginesin, Alina Oprea
2026-01-01

агентные системы ИИархитектура безопасности SAGAобнаружение агентов и коммуникацияидентификация и аутентификация агентовуправление агентами пользователем
Расширение автономности и функциональности агентов искусственного интеллекта увеличивает поверхность атаки агентных систем, создавая многочисленные риски безопасности. По мере интеграции агентов искусственного интеллекта в критически важные приложения обеспечение безопасности таких систем становится сопряжено с рядом проблем, отмеченных в недавнем техническом документе OpenAI [9]. К числу ключевых требований относятся определение уникальных идентификаторов агентов искусственного интеллекта, их аутентификация, а также предоставление защищённых механизмов обнаружения и коммуникации между агентами. Эти требования должны сохранять эффективность даже в условиях противодействия, поскольку злоумышленники могут пытаться выдавать себя за агентов, перехватывать коммуникации или манипулировать поведением агентов для извлечения конфиденциальной информации либо нарушения предусмотренной функциональности. В техническом документе OpenAI особо подчёркивается необходимость сохранять контроль и надзор со стороны пользователя на всех этапах работы и на протяжении всего жизненного цикла агентов больших языковых моделей (LLM), чтобы предотвратить потенциальный вред со стороны вредоносных агентов. Хотя были предложены различные архитектуры агентных систем искусственного интеллекта, включающие идентичности агентов [10], атрибуцию [11], механизмы авторизации и возможности делегирования [12], в основном эти решения остаются теоретическими и не сопровождаются реализацией или оценкой. Наиболее существенно то, что они не обеспечивают должного решения ключевой задачи управления агентами под контролем пользователя. Недавно протокол A2A компании Google представил децентрализованную инфраструктуру идентификации, в которой агенты публикуют общедоступные метаданные и устанавливают прямую зашифрованную связь с использованием веб-аутентификации. Хотя A2A способствует интероперабельности и поддерживает проверяемые идентификаторы, ему недостаёт механизмов принудительного применения политик и посредничества во взаимодействиях агентов во время выполнения; кроме того, протокол не предусматривает мер защиты от агентов-противников. В этой статье мы предлагаем SAGA — платформу управления развёртыванием агентов больших языковых моделей, предназначенную для повышения безопасности при обеспечении пользователю надзора за жизненным циклом агентов (см. обзор на рис. 1). В SAGA пользователи регистрируют себя и...
1
Предыдущие предложения по идентификации, атрибуции, авторизации и делегированию полномочий агентов характеризуются как преимущественно теоретические из-за отсутствия реализации и оценки.
2
SAGA представляет архитектуру безопасности для управления развертыванием LLM-агентов с сохранением пользовательского контроля на протяжении всего жизненного цикла агентов.
3
SAGA устраняет пробел предыдущих архитектур агентов, добавляя управляемое пользователем администрирование агентов, которого в существующих решениях в значительной степени не хватает.
4
В аннотации отмечается, что протокол Google A2A поддерживает децентрализованные идентификаторы и шифрованную коммуникацию, но не обеспечивает применение политик, посредничество взаимодействий во время выполнения и защиту от вредоносных агентов.
5
Фреймворк охватывает ключевые требования безопасности, включая уникальные идентификаторы агентов, аутентификацию, безопасное обнаружение и защищённую коммуникацию в условиях атак.

агентные системы на основе LLM

управление безопасностью, контролируемое пользователем управление жизненным циклом и защита идентичности, коммуникаций и взаимодействий агентов в условиях противодействия злоумышленников

Publication Details
Publication Date
2026-01-01
Journal
Publisher
ISSN
Cited by
91
Access Type
Author Information
Authors
Cristina Nita-Rotaru
Georgios Syros
Anshuman Suri
Jacob Ginesin
Alina Oprea
Explore further
Open the scid.ai AI chat with a ready-made request: it will find papers on a similar topic and help build a literature review.
Find similar papers in the chat →
Make a presentation
100%