Не то, на что вы подписывались: компрометация реальных приложений, интегрированных с большими языковыми моделями, с помощью косвенного внедрения промптов

Большие языковые модели (LLM) все чаще интегрируются в приложения, обеспечивая универсальные функциональные возможности, которые можно легко модифицировать с помощью запросов на естественном языке. До сих пор предполагалось, что запросы к LLM непосредственно формирует пользователь. Но что, если запросы формирует не пользователь? Мы показываем, что приложения, интегрированные с LLM, размывают границу между данными и инструкциями и выявляют несколько новых векторов атак, использующих косвенное внедрение промптов, которые позволяют злоумышленникам удаленно (то есть без непосредственного доступа к интерфейсу) эксплуатировать такие приложения путем стратегического внедрения запросов в данные, которые, вероятно, будут извлечены во время вывода. С позиций компьютерной безопасности мы разрабатываем всеобъемлющую таксономию для систематического исследования последствий и уязвимостей, включая кражу данных, распространение червеобразных атак, загрязнение информационной экосистемы и другие новые риски безопасности. Затем мы демонстрируем практическую осуществимость наших атак как на реальных системах, таких как Bing Chat и движках автодополнения кода, так и на синтетических приложениях на основе GPT-4. Мы показываем, как обработка извлеченных запросов может приводить к выполнению произвольного кода, изменять функциональность приложения и управлять тем, вызываются ли другие API и каким образом. Несмотря на растущую зависимость от LLM, эффективные меры защиты от этих возникающих угроз пока отсутствуют. Повышая осведомленность об этих уязвимостях, мы стремимся содействовать безопасному и ответственному развертыванию этих мощных моделей и разработке надежных механизмов защиты, которые предохраняют пользователей от потенциальных атак.