Атака с внедрением промпта на LLM-as-a-Judge на основе оптимизации

LLM-as-a-Judge использует большую языковую модель (LLM) для выбора лучшего ответа из множества кандидатов на заданный вопрос. LLM-as-a-Judge находит применение во многих задачах, включая поиск с использованием LLM, обучение с подкреплением на основе обратной связи от искусственного интеллекта (RLAIF) и выбор инструментов. В этой работе мы предлагаем JudgeDeceiver — атаку с внедрением промпта на LLM-as-a-Judge, основанную на оптимизации. JudgeDeceiver внедряет тщательно сформированную последовательность в ответ кандидата, контролируемый атакующим, так, чтобы LLM-as-a-Judge выбирала этот ответ для выбранного атакующим вопроса независимо от других ответов-кандидатов. В частности, мы формулируем поиск такой последовательности как задачу оптимизации и предлагаем градиентный метод её приближённого решения. Масштабная оценка показывает, что JudgeDeceiver обладает высокой эффективностью и значительно превосходит существующие атаки с внедрением промпта, в которых внедряемые последовательности создаются вручную, а также атаки типа jailbreak, адаптированные к нашей задаче. Мы также демонстрируем эффективность JudgeDeceiver в трёх тематических исследованиях: поиске с использованием LLM, RLAIF и выборе инструментов. Кроме того, мы рассматриваем методы защиты, включая обнаружение известных ответов, обнаружение по показателю perplexity и обнаружение по perplexity в скользящем окне. Результаты показывают, что этих методов защиты недостаточно, что подчёркивает острую необходимость разработки новых стратегий защиты.