Обзор безопасности и конфиденциальности больших языковых моделей (LLM): хорошее, плохое и ужасное

A survey on large language model (LLM) security and privacy: The Good, The Bad, and The Ugly
Yue Zhang, Yifan Yao, Jinhao Duan, Kaidi Xu, Yuanfang Cai, Zhibo Sun
2024-02-29

безопасность и конфиденциальность больших языковых моделейобнаружение уязвимостей в кодезащита конфиденциальности данныхбезопасное дообучение инструкциямиатаки на уровне пользователей
Большие языковые модели (LLM), такие как ChatGPT и Bard, произвели революцию в понимании и генерации естественного языка. Они обладают глубоким пониманием языка, способностью генерировать текст, подобный человеческому, учитывать контекст и эффективно решать задачи, что делает их ценными в различных областях, включая поисковые системы, поддержку клиентов и перевод. Одновременно LLM получили широкое распространение в сообществе специалистов по безопасности, выявив уязвимости и продемонстрировав свой потенциал для решения задач, связанных с безопасностью. В данной статье исследуется пересечение LLM с вопросами безопасности и конфиденциальности. В частности, рассматривается положительное влияние LLM на безопасность и конфиденциальность, потенциальные риски и угрозы, связанные с их использованием, а также присущие LLM уязвимости. На основе всестороннего обзора литературы публикации классифицируются по категориям «Хорошее» (полезные применения LLM), «Плохое» (наступательные применения) и «Ужасное» (уязвимости LLM и средства защиты от них). Получены несколько интересных результатов. Например, LLM доказали свою эффективность в повышении безопасности кода благодаря обнаружению уязвимостей в коде и защите конфиденциальности данных благодаря обеспечению конфиденциальности данных, превосходя традиционные методы. Однако их также можно использовать для проведения различных атак, особенно атак на уровне пользователя, благодаря присущим им способностям к рассуждению, подобным человеческим. Выявлены направления, требующие дальнейших исследований. Например, исследования атак на извлечение моделей и параметров остаются ограниченными и часто носят теоретический характер из-за масштаба и конфиденциальности параметров LLM. Безопасная настройка инструкций, являющаяся относительно новым направлением, также требует дальнейшего изучения. Мы надеемся, что эта работа поможет прояснить потенциал LLM как для укрепления, так и для подрыва кибербезопасности.
1
LLM способны повышать безопасность кода за счёт обнаружения уязвимостей и улучшать конфиденциальность данных посредством защиты конфиденциальной информации, превосходя традиционные методы.
2
Человекоподобные способности LLM к рассуждению позволяют проводить различные атаки, особенно атаки на уровне пользователей, создавая существенные риски для безопасности и конфиденциальности.
3
Исследования атак извлечения моделей и параметров остаются ограниченными и часто теоретическими из-за масштаба параметров LLM и их конфиденциальности.
4
Безопасная настройка инструкций является новым направлением защиты, требующим значительно более глубокого изучения.
5
В обзоре исследования безопасности и конфиденциальности LLM разделены на полезные применения («Хорошее»), наступательное использование («Плохое») и уязвимости с методами защиты («Ужасное»).

Большие языковые модели (LLM)

их влияние на безопасность и конфиденциальность, включая полезные применения, наступательное использование, присущие уязвимости и методы защиты

Publication Details
Publication Date
2024-02-29
Journal
Publisher
ISSN
Cited by
1078
Access Type
Author Information
Authors
Yue Zhang
Yifan Yao
Jinhao Duan
Kaidi Xu
Yuanfang Cai
Zhibo Sun
Explore further
Open the scid.ai AI chat with a ready-made request: it will find papers on a similar topic and help build a literature review.
Find similar papers in the chat →
Make a presentation
100%