От контента, сгенерированного ИИ, к агентным действиям: угрозы безопасности и надежности в генеративном искусственном интеллекте
From AI-generated content to agentic action: Security and safety threats in generative AI
2026-05-27
SCID: 54.1/5vr9z8ke
Discuss with AI
управление ИИагентный искусственный интеллектагентные угрозыбезопасность генеративного ИИвызов инструментов
Figures from the paper
Abstract (AI)
Системы генеративного искусственного интеллекта все чаще используются не только для создания контента, но и для извлечения данных, вызова инструментов и выполнения действий. В этой работе рассматриваются последствия такого перехода для безопасности и надежности в контексте угроз на уровне контента, моделей и агентных систем. Мы анализируем, как изменяются требования к доступу злоумышленника, автономность системы и масштаб потенциального вреда по мере того, как модели переходят от генерации артефактов к выполнению операций с помощью цепочек инструментов и внешних API. Затем мы оцениваем технические контрмеры, включая обнаружение, внедрение водяных знаков, выравнивание и новые механизмы защиты агентных систем, и показываем, что ряд из них зависит от форм институциональной координации, которые существующие механизмы управления пока не обеспечивают. Во всех рассмотренных случаях внедрение новых возможностей и расширение поверхности атак неоднократно опережают защитные меры по мере перехода систем от генерации контента к выполнению действий в реальном мире.
Key Findings
1
В рассмотренных случаях развитие возможностей и расширение поверхности атак систематически опережают защитные меры по мере того, как генеративные ИИ-системы начинают выполнять действия в реальном мире.
2
Риски безопасности генеративного ИИ охватывают угрозы на уровне контента, моделей и агентов, поскольку системы всё чаще извлекают данные, вызывают инструменты и выполняют действия.
3
Переход от генерации контента к операциям через инструменты повышает автономность систем, расширяет поверхность атак и увеличивает потенциальный масштаб вреда.
4
Некоторые предлагаемые контрмеры зависят от институциональной координации, которую существующие механизмы управления пока не обеспечивают.
5
В работе оцениваются обнаружение, водяные знаки, выравнивание и новые меры защиты агентных систем как технические контрмеры против этих угроз.
Research Object
Системы генеративного ИИ, охватывающие генерацию контента, извлечение данных, вызов инструментов и автономное выполнение действий
Research Subject
Угрозы безопасности и надёжности, изменение требований к доступу злоумышленников, автономности и масштаба вреда, а также адекватность технических и управленческих контрмер для систем контентного, модельного и агентного уровней
Publication Details
Publication Date
2026-05-27
Journal
Publisher
ISSN
Cited by
0
Open access PDF
Access Type
Author Information
Download PDF
Subscribe to digest