Безопасность агентного искусственного интеллекта: угрозы, методы защиты, оценка и открытые проблемы
Agentic AI Security: Threats, Defenses, Evaluation, and Open Challenges
2026-01-01
SCID: 54.1/g7mzam3h
Discuss with AI
безопасность агентного ИИавтономные агентыбольшие языковые моделиугрозы безопасностииспользование инструментов
Figures from the paper
Abstract (AI)
Агентные системы искусственного интеллекта, работающие на основе больших языковых моделей (LLM) и обладающие возможностями планирования, использования инструментов, хранения памяти и автономной работы, становятся мощными и гибкими платформами автоматизации. Их способность автономно выполнять задачи в веб-среде, программном обеспечении и физических средах создает новые и усиленные риски безопасности, отличающиеся как от традиционной безопасности ИИ, так и от обычной безопасности программного обеспечения. В этом обзорном исследовании представлена таксономия угроз, специфичных для агентного ИИ, рассмотрены современные бенчмарки и методологии оценки, а также обсуждены стратегии защиты с технической точки зрения и с позиций управления. Мы обобщаем современные исследования и выделяем открытые проблемы, стремясь содействовать разработке агентных систем, изначально спроектированных с учетом требований безопасности.
Key Findings
1
Агентные ИИ-системы создают усиленные риски безопасности благодаря планированию, использованию инструментов, памяти и автономности в веб-, программных и физических средах.
2
Существующие меры защиты включают технические механизмы и стратегии управления, поддерживая подход к созданию агентов с безопасностью на этапе проектирования.
3
В безопасном развертывании и оценке автономных агентных систем сохраняются значительные нерешённые проблемы.
4
В обзоре разработана таксономия угроз, специфичных для агентного ИИ, а также рассмотрены соответствующие бенчмарки и методы оценки.
5
Эти риски отличаются как от традиционных проблем безопасности ИИ, так и от угроз обычной программной безопасности.
Research Object
Агентные системы искусственного интеллекта на базе больших языковых моделей, обладающие планированием, использованием инструментов, памятью и автономностью
Research Subject
Угрозы безопасности, методы защиты, подходы к оценке и нерешённые проблемы, связанные с автономной работой агентного ИИ в веб-, программных и физических средах
Publication Details
Publication Date
2026-01-01
Journal
Publisher
ISSN
Cited by
128
Open access PDF
Access Type
Author Information
Download PDF
Subscribe to digest
Источники этой статьи в scid.ai11
Интригующие свойства нейронных сетей2013
Всесторонний обзор больших языковых моделей2025
Генеративные агенты: интерактивные симулякры человеческого поведения2023
Технический отчет о GPT-42023
Оценка больших языковых моделей, обученных на коде2021
Не то, на что вы подписывались: компрометация реальных приложений, интегрированных с большими языковыми моделями, с помощью косвенного внедрения промптов2023
Расширение возможностей биомедицинских исследований с помощью ИИ-агентов2024
InjecAgent: бенчмаркинг косвенных внедрений промптов в агентных системах на основе больших языковых моделей с интеграцией инструментов2024
Современное состояние рисков, связанных с большими языковыми моделями, и защитных механизмов ИИ2024
TRiSM для агентного искусственного интеллекта: обзор управления доверием, рисками и безопасностью в агентных мультиагентных системах на основе больших языковых моделей2026
Оценка и бенчмаркинг агентов на основе больших языковых моделей: обзор2025