Сравнительный обзор рисков безопасности в системах искусственного интеллекта: от больших языковых моделей до ИИ-агентов и воплощённых агентов
A Comparative Survey of Security Risks in AI Systems: From LLMs to AI Agents and Embodied Agents
2026-08-01
SCID: 54.1/8wmdcqkk
Discuss with AI
ИИ-агентыриски безопасности ИИвоплощённые агентыбольшие языковые моделиструктуры оценки безопасности
Figures from the paper
Abstract (AI)
Стремительное развитие искусственного интеллекта в различных отраслях сопровождается острыми рисками для безопасности и конфиденциальности. В работе представлен унифицированный сравнительный анализ больших языковых моделей (LLM), ИИ-агентов и воплощённых агентов, предложена таксономия рисков, охватывающая данные, модели, системы, контент и приложения, а также каталог из 24 конкретных угроз. Сопоставлены поверхности атак и методы атак для трёх типов систем, что позволило выявить общие закономерности и характерные уязвимости. Кроме того, рассмотрены основные фреймворки оценки безопасности ИИ и оценено, насколько действующие соответствующие законы и нормативные акты учитывают эти риски. Наконец, сформулированы конкретные направления дальнейших исследований и практической деятельности, ориентированные на создание устойчивых и безопасных экосистем агентов.
Key Findings
1
Сравнение поверхностей и методов атак выявляет как общие закономерности, так и уязвимости, характерные для каждой категории систем.
2
Предложена пятиуровневая таксономия рисков, охватывающая данные, модели, системы, контент и приложения.
3
В обзоре представлено унифицированное сравнение рисков безопасности больших языковых моделей, ИИ-агентов и воплощённых агентов.
4
В обзоре рассмотрены существующие системы оценки безопасности ИИ и проанализировано, насколько действующие законы и нормы охватывают выявленные риски; также предложены направления дальнейших исследований.
5
Работа систематизирует 24 конкретные угрозы безопасности и конфиденциальности для трёх типов ИИ-систем.
Research Object
большие языковые модели, агенты ИИ и воплощённые агенты
Research Subject
сравнительные риски безопасности и конфиденциальности, поверхности атак, уязвимости, основы оценки и регуляторное охватывание для трёх типов систем ИИ
Publication Details
Publication Date
2026-08-01
Journal
Publisher
ISSN
Cited by
2
Open access PDF
Access Type
Author Information
Download PDF
Subscribe to digest
Источники этой статьи в scid.ai13
Обзор автономных агентов на основе больших языковых моделей2024
🧜Песнь сирены в океане ИИ: обзор галлюцинаций в больших языковых моделях2025
Учёный ИИ: к полностью автоматизированному открытому научному поиску2024
Обзор безопасности и конфиденциальности больших языковых моделей (LLM): хорошее, плохое и ужасное2024
Атаки с внедрением промптов на приложения, интегрированные с большими языковыми моделями2023
Не то, на что вы подписывались: компрометация реальных приложений, интегрированных с большими языковыми моделями, с помощью косвенного внедрения промптов2023
Обзор методов объяснения решений моделей типа «чёрный ящик»2018
Регулирование ChatGPT и других больших генеративных моделей ИИ2023
PoisonedRAG: атаки порчи знаний на генерацию с использованием извлечения для больших языковых моделей2024
AI-агенты под угрозой: обзор ключевых проблем безопасности и перспективных направлений2025
InjecAgent: бенчмаркинг косвенных внедрений промптов в агентных системах на основе больших языковых моделей с интеграцией инструментов2024
Риски «AI-учёных»: приоритет защиты над автономией2025
Убедительные чат-боты с нулевым обучением, использующие стратегии, сгенерированные большими языковыми моделями, и информационный поиск2024