PoisonedRAG: атаки порчи знаний на генерацию с использованием извлечения для больших языковых моделей

Большие языковые модели (LLM) достигли заметных успехов благодаря своим выдающимся генеративным возможностям. Несмотря на это, у них есть и присущие ограничения, такие как отсутствие актуальных знаний и галлюцинации. Retrieval-Augmented Generation (RAG) — современная методика для смягчения этих ограничений. Ключевая идея RAG заключается в том, чтобы основывать генерацию ответов LLM на внешних знаниях, извлекаемых из базы знаний. Существующие исследования в основном фокусируются на повышении точности или эффективности RAG, оставляя его безопасность во многом не изученной. В этой работе мы стремимся заполнить этот пробел. Мы выявляем, что база знаний в системе RAG вводит новую и практичную поверхность атаки. Исходя из этой поверхности атаки, мы предлагаем PoisonedRAG — первую атаку порчи знаний на RAG, при которой злоумышленник может внедрить несколько вредоносных текстов в базу знаний системы RAG, чтобы заставить LLM сгенерировать выбранный злоумышленником целевой ответ на выбранный злоумышленником целевой вопрос. Мы формулируем атаки порчи знаний как задачу оптимизации, решение которой представляет собой набор вредоносных текстов. В зависимости от фоновых знаний злоумышленника о системе RAG (например, в условиях «черного ящика» и «белого ящика») мы предлагаем два решения для решения задачи оптимизации соответственно. Наши результаты показывают, что PoisonedRAG может достигать 90% успеха атаки при внедрении пяти вредоносных текстов для каждого целевого вопроса в базу знаний, содержащую миллионы текстов. Мы также оцениваем несколько методов защиты и показываем, что они недостаточны для противодействия PoisonedRAG, что подчёркивает необходимость разработки новых средств защиты.