Атаки с внедрением промптов на приложения, интегрированные с большими языковыми моделями

Большие языковые модели (LLM), известные своими выдающимися возможностями понимания и генерации текста, стимулировали формирование динамично развивающейся экосистемы приложений на их основе. Однако их широкая интеграция в различные сервисы создает существенные риски для безопасности. В данном исследовании подробно рассматриваются сложность и последствия атак с внедрением промптов на реальные приложения, интегрированные с LLM. Сначала мы проводим поисковый анализ десяти коммерческих приложений, выявляя ограничения существующих стратегий атак на практике. С учетом этих ограничений мы разрабатываем HouYi — новый метод атаки с внедрением промптов методом «черного ящика», вдохновленный традиционными атаками с внедрением в веб-приложения. Метод HouYi включает три ключевых элемента: предварительно сконструированный промпт, бесшовно интегрируемый в приложение; инъекционный промпт, вызывающий разделение контекста; и вредоносную полезную нагрузку, предназначенную для достижения целей атаки. С помощью HouYi мы выявляем ранее неизвестные и серьезные последствия атак, включая неограниченное произвольное использование LLM и простой доступ к промптам приложения с целью их хищения. Мы применяем HouYi к 36 реальным приложениям, интегрированным с LLM, и устанавливаем, что 31 из них уязвимо к внедрению промптов. Десять поставщиков подтвердили наши результаты, включая Notion, потенциально затрагивающий миллионы пользователей. Наше исследование демонстрирует как потенциальные риски атак с внедрением промптов, так и возможные стратегии их предотвращения.