Безопасность агентного искусственного интеллекта: угрозы, методы защиты, оценка и открытые проблемы

Агентные системы искусственного интеллекта, работающие на основе больших языковых моделей (LLM) и обладающие возможностями планирования, использования инструментов, хранения памяти и автономной работы, становятся мощными и гибкими платформами автоматизации. Их способность автономно выполнять задачи в веб-среде, программном обеспечении и физических средах создает новые и усиленные риски безопасности, отличающиеся как от традиционной безопасности ИИ, так и от обычной безопасности программного обеспечения. В этом обзорном исследовании представлена таксономия угроз, специфичных для агентного ИИ, рассмотрены современные бенчмарки и методологии оценки, а также обсуждены стратегии защиты с технической точки зрения и с позиций управления. Мы обобщаем современные исследования и выделяем открытые проблемы, стремясь содействовать разработке агентных систем, изначально спроектированных с учетом требований безопасности.