От контента, сгенерированного ИИ, к агентным действиям: угрозы безопасности и надежности в генеративном искусственном интеллекте

From AI-generated content to agentic action: Security and safety threats in generative AI
Jianbing Ni, Zelin Zhang, Qi Li, Jie Cao, Lingshuang Liu
2026-05-27

управление ИИагентный искусственный интеллектагентные угрозыбезопасность генеративного ИИвызов инструментов
Системы генеративного искусственного интеллекта все чаще используются не только для создания контента, но и для извлечения данных, вызова инструментов и выполнения действий. В этой работе рассматриваются последствия такого перехода для безопасности и надежности в контексте угроз на уровне контента, моделей и агентных систем. Мы анализируем, как изменяются требования к доступу злоумышленника, автономность системы и масштаб потенциального вреда по мере того, как модели переходят от генерации артефактов к выполнению операций с помощью цепочек инструментов и внешних API. Затем мы оцениваем технические контрмеры, включая обнаружение, внедрение водяных знаков, выравнивание и новые механизмы защиты агентных систем, и показываем, что ряд из них зависит от форм институциональной координации, которые существующие механизмы управления пока не обеспечивают. Во всех рассмотренных случаях внедрение новых возможностей и расширение поверхности атак неоднократно опережают защитные меры по мере перехода систем от генерации контента к выполнению действий в реальном мире.
1
В рассмотренных случаях развитие возможностей и расширение поверхности атак систематически опережают защитные меры по мере того, как генеративные ИИ-системы начинают выполнять действия в реальном мире.
2
Риски безопасности генеративного ИИ охватывают угрозы на уровне контента, моделей и агентов, поскольку системы всё чаще извлекают данные, вызывают инструменты и выполняют действия.
3
Переход от генерации контента к операциям через инструменты повышает автономность систем, расширяет поверхность атак и увеличивает потенциальный масштаб вреда.
4
Некоторые предлагаемые контрмеры зависят от институциональной координации, которую существующие механизмы управления пока не обеспечивают.
5
В работе оцениваются обнаружение, водяные знаки, выравнивание и новые меры защиты агентных систем как технические контрмеры против этих угроз.

Системы генеративного ИИ, охватывающие генерацию контента, извлечение данных, вызов инструментов и автономное выполнение действий

Угрозы безопасности и надёжности, изменение требований к доступу злоумышленников, автономности и масштаба вреда, а также адекватность технических и управленческих контрмер для систем контентного, модельного и агентного уровней

Publication Details
Publication Date
2026-05-27
Journal
Publisher
ISSN
Cited by
0
Access Type
Author Information
Authors
Jianbing Ni
Zelin Zhang
Qi Li
Jie Cao
Lingshuang Liu
Explore further
Open the scid.ai AI chat with a ready-made request: it will find papers on a similar topic and help build a literature review.
Find similar papers in the chat →
Make a presentation
100%