Атаки с внедрением промптов на большие языковые модели и системы ИИ-агентов: всесторонний обзор уязвимостей, векторов атак и механизмов защиты

Большие языковые модели (LLM) быстро преобразовали приложения искусственного интеллекта в различных отраслях, однако их интеграция в производственные системы выявила критические уязвимости безопасности, среди которых центральное место занимают атаки с внедрением промптов. В этом всестороннем обзоре обобщены результаты исследований за период с 2023 по 2025 год, проанализированы 45 ключевых источников, отраслевые отчёты по безопасности и документированные реальные эксплойты. Рассматривается таксономия методов внедрения промптов, включая прямой джейлбрейкинг и косвенное внедрение через внешний контент. Развитие систем ИИ-агентов и протокола контекста модели (Model Context Protocol, MCP) значительно расширило поверхность атак, создав такие уязвимости, как отравление инструментов и кража учётных данных. Описаны критические инциденты, включая уязвимость GitHub Copilot CVE-2025-53773, позволяющую удалённое выполнение кода (CVSS 9.6), и раскрытие лицензионного ключа Windows в ChatGPT. Исследования показывают, что всего пять тщательно подготовленных документов могут манипулировать ответами ИИ в 90% случаев посредством отравления генерации с дополнением извлечёнными данными (Retrieval-Augmented Generation, RAG). Предлагается PALADIN — многоуровневая система защиты, реализующая пять защитных уровней. В обзоре представлены практически применимые стратегии снижения рисков на основе OWASP Top 10 for LLM Applications 2025, выявлены фундаментальные ограничения, включая проблему стохастической природы и парадокс согласования, а также предложены направления исследований архитектурно безопасных систем ИИ. Наш анализ показывает, что внедрение промптов представляет собой фундаментальную архитектурную уязвимость, требующую многоуровневого подхода к защите, а не отдельных решений.