SoK: Переосмысление джейлбрейкинга в эпоху агентного ИИ: атаки, защиты и практические аспекты

SoK: Rethinking Jailbreaking in the Era of Agentic AI: Attacks, Defenses, and Practical Consideration
Arif Selcuk Uluagac, Md Jueal Mia, Yanzhao Wu, M. Hadi Amini
2026-09-11

выравнивание безопасности больших языковых моделейагентный ИИагентный конвейер выполнениямежуровневая безопасностьатаки джейлбрейка
Большие языковые модели (LLM) быстро эволюционируют от диалоговых ассистентов к агентным системам искусственного интеллекта, способным рассуждать, планировать, вызывать инструменты, поддерживать постоянную память, взаимодействовать с другими агентами и выполнять многоэтапные задачи. В то же время современные модели демонстрируют существенно более сильное встроенное согласование с требованиями безопасности, чем предыдущие поколения, на которых первоначально изучалось множество атак джейлбрейкинга и методов защиты от них. Этот сдвиг ставит фундаментальный вопрос: какие устоявшиеся результаты исследований безопасности джейлбрейкинга сохраняют актуальность в эпоху современных LLM и агентного ИИ? Мы рассматриваем этот вопрос в рамках систематизации знаний (Systematization of Knowledge, SoK), переосмысливая безопасность джейлбрейкинга с учетом всего конвейера выполнения агентной системы. Мы разрабатываем унифицированные таксономии атак и методов защиты, охватывающие взаимодействие с пользователем, планирование и рассуждение, память, использование инструментов и межагентную коммуникацию, а также предлагаем систему оценки безопасности, полезности и эффективности, которая разделяет встроенную безопасность при обработке вредоносных запросов, устойчивость к состязательным атакам джейлбрейкинга и результаты безопасности на уровне агента. Кроме того, мы проводим контролируемое эмпирическое исследование репрезентативных атак и методов защиты в рамках единой агентной среды. Наши результаты выявляют три важных пробела. Во-первых, сильное встроенное согласование с требованиями безопасности не означает устойчивости к состязательным атакам джейлбрейкинга. Во-вторых, эффективность защиты в высокой степени зависит от модели, атаки и компонента и может сопровождаться существенными издержками в виде избыточных отказов, снижения полезности и увеличения задержки. В-третьих, низкая успешность атак на уровне итогового ответа может скрывать серьезную компрометацию промежуточных этапов: планирование, память и взаимодействия с инструментами могут оставаться небезопасными даже в тех случаях, когда итоговый ответ успешно отфильтрован. Эти результаты обосновывают переход от защиты от джейлбрейкинга, ориентированной на ответы, к межуровневой безопасности с учетом процесса выполнения, которая защищает состояние агента, переходы между компонентами и внешние действия, сохраняя при этом практическую полезность и эффективность.
1
Эффективность защит существенно зависит от модели, атаки и компонента агента и может сопровождаться чрезмерным отказом, снижением полезности и увеличением задержки.
2
Предложена система оценки «безопасность–полезность–эффективность», разделяющая нативную безопасность при вредоносных запросах, устойчивость к атакам и безопасность на уровне агента.
3
Низкий успех атаки по финальному ответу может скрывать опасную компрометацию промежуточных процессов планирования, памяти и взаимодействия с инструментами, что требует межуровневой защиты с учетом выполнения.
4
Высокая встроенная согласованность с требованиями безопасности не гарантирует устойчивость современных LLM и агентных систем к атакующим джейлбрейкам.
5
Работа систематизирует безопасность от джейлбрейков по всему конвейеру агентного ИИ, включая взаимодействие, планирование, рассуждение, память, использование инструментов и коммуникацию между агентами.

Агентные системы искусственного интеллекта на основе современных больших языковых моделей, включая их конвейер планирования, рассуждения, памяти, использования инструментов и взаимодействия между агентами

Безопасность агентных систем ИИ при атаках типа jailbreak, включая эффективность атак и защит, межуровневую устойчивость, компрометацию промежуточных компонентов и компромиссы между безопасностью, полезностью и эффективностью

Publication Details
Publication Date
2026-09-11
Journal
Publisher
ISSN
Cited by
0
Access Type
Author Information
Authors
Arif Selcuk Uluagac
Md Jueal Mia
Yanzhao Wu
M. Hadi Amini
Explore further
Open the scid.ai AI chat with a ready-made request: it will find papers on a similar topic and help build a literature review.
Find similar papers in the chat →
Make a presentation
100%