Обзор безопасности больших языковых моделей: атаки, методы защиты, согласование, метрики и механизмы контроля
Survey on LLM Safety: Attacks, Defenses, Alignment, Metrics, and Guardrails
2026-05-20
SCID: 54.1/5xhjgv5p
Discuss with AI
безопасность больших языковых моделейатаки с использованием состязательных входовметрики оценкимеханизмы защитывыравнивание безопасности
Figures from the paper
Abstract (AI)
Большие языковые модели (LLM) продемонстрировали выдающиеся возможности в различных приложениях, однако их развертывание вызывает серьезные опасения в области безопасности, поскольку потенциальное злоупотребление ими может привести к значительным социальным рискам. В данном обзоре рассматривается сквозной конвейер обеспечения защищенности и безопасности LLM с акцентом на взаимодействие между пользователями и ответами моделей. Система подразделяется на пять ключевых компонентов: атаки, методы защиты, согласование безопасности, метрики и механизмы контроля. Атаки предполагают формирование состязательных входных данных для эксплуатации уязвимостей модели. Методы защиты служат контрмерами, направленными на обнаружение и предотвращение обработки таких входных данных. Согласование безопасности обеспечивает соответствие ответов модели этическим нормам и требованиям политик даже в тех случаях, когда атаки достигают модели. Механизмы контроля функционируют после формирования ответа, выявляя, фильтруя или блокируя небезопасные выходные данные. Каждый из этих этапов подвергается строгой оценке с использованием метрик, позволяющих определить его эффективность, устойчивость и ограничения. По мере развития LLM в направлении более универсального интеллекта эти аспекты безопасности приобретают все большее значение для создания надежных и заслуживающих доверия систем искусственного интеллекта. Наконец, мы выделяем нерешенные проблемы и перспективные направления будущих исследований, способные содействовать повышению защищенности и согласованности LLM.
Key Findings
1
Атаки используют уязвимости моделей с помощью состязательных входных данных, тогда как защиты стремятся обнаруживать и предотвращать их до обработки моделью.
2
Механизмы контроля после генерации анализируют ответы модели для выявления, фильтрации или блокировки небезопасного содержания.
3
Выравнивание безопасности должно обеспечивать этичное и соответствующее политикам поведение модели даже при обходе превентивных защит.
4
Обзор подчеркивает необходимость строгой оценки эффективности, устойчивости и ограничений каждого этапа безопасности, а также выделяет открытые проблемы для создания надежных универсальных LLM.
5
В обзоре представлена сквозная схема безопасности LLM, охватывающая атаки, защиты, выравнивание безопасности, метрики оценки и механизмы постгенерационного контроля.
Research Object
большие языковые модели (LLM) и их сквозной контур безопасности и защищённости
Research Subject
атаки, механизмы защиты, выравнивание по требованиям безопасности, метрики оценки и механизмы контроля для обеспечения устойчивого, надёжного и соответствующего политикам поведения моделей
Publication Details
Publication Date
2026-05-20
Journal
Publisher
ISSN
Open access PDF
Access Type
Author Information
Download PDF
Subscribe to digest