InjecAgent: бенчмаркинг косвенных внедрений промптов в агентных системах на основе больших языковых моделей с интеграцией инструментов

Недавние исследования реализовали большие языковые модели (LLM) в виде агентов, что позволяет им получать доступ к инструментам, выполнять действия и взаимодействовать с внешним содержимым, например электронными письмами или веб-сайтами. Однако внешнее содержимое создает риск атак с косвенным внедрением промптов (IPI), при которых вредоносные инструкции встраиваются в обрабатываемое LLM содержимое с целью манипулирования агентами и побуждения их к выполнению действий, наносящих ущерб пользователям. Учитывая потенциально серьезные последствия таких атак, необходимо создавать бенчмарки для оценки этих рисков и их снижения. В данной работе мы представляем INJECAGENT — бенчмарк, предназначенный для оценки уязвимости агентных систем на основе LLM с интеграцией инструментов к атакам IPI. INJECAGENT включает 1 054 тестовых случая, охватывающих 17 различных пользовательских инструментов и 62 инструмента атакующего. Мы классифицируем цели атак по двум основным типам: непосредственное причинение вреда пользователям и эксфильтрация конфиденциальных данных. Мы оцениваем 30 различных агентных систем на основе LLM и показываем, что агенты уязвимы к атакам IPI: GPT-4 с промптингом ReAct оказывается уязвимой к атакам в 24% случаев. Дополнительное исследование расширенного сценария, в котором инструкции атакующего усиливаются хакерским промптом, показывает дальнейшее повышение доли успешных атак — почти двукратное увеличение показателя успешности атак на GPT-4 с промптингом ReAct. Наши результаты ставят под вопрос широкомасштабное развертывание агентных систем на основе LLM. Бенчмарк доступен по адресу: https://github.com/