Обзор безопасности и конфиденциальности больших языковых моделей (LLM): хорошее, плохое и ужасное
A survey on large language model (LLM) security and privacy: The Good, The Bad, and The Ugly
2024-02-29
SCID: 54.1/gg5c598t
Discuss with AI
безопасность и конфиденциальность больших языковых моделейобнаружение уязвимостей в кодезащита конфиденциальности данныхбезопасное дообучение инструкциямиатаки на уровне пользователей
Figures from the paper
Abstract (AI)
Большие языковые модели (LLM), такие как ChatGPT и Bard, произвели революцию в понимании и генерации естественного языка. Они обладают глубоким пониманием языка, способностью генерировать текст, подобный человеческому, учитывать контекст и эффективно решать задачи, что делает их ценными в различных областях, включая поисковые системы, поддержку клиентов и перевод. Одновременно LLM получили широкое распространение в сообществе специалистов по безопасности, выявив уязвимости и продемонстрировав свой потенциал для решения задач, связанных с безопасностью. В данной статье исследуется пересечение LLM с вопросами безопасности и конфиденциальности. В частности, рассматривается положительное влияние LLM на безопасность и конфиденциальность, потенциальные риски и угрозы, связанные с их использованием, а также присущие LLM уязвимости. На основе всестороннего обзора литературы публикации классифицируются по категориям «Хорошее» (полезные применения LLM), «Плохое» (наступательные применения) и «Ужасное» (уязвимости LLM и средства защиты от них). Получены несколько интересных результатов. Например, LLM доказали свою эффективность в повышении безопасности кода благодаря обнаружению уязвимостей в коде и защите конфиденциальности данных благодаря обеспечению конфиденциальности данных, превосходя традиционные методы. Однако их также можно использовать для проведения различных атак, особенно атак на уровне пользователя, благодаря присущим им способностям к рассуждению, подобным человеческим. Выявлены направления, требующие дальнейших исследований. Например, исследования атак на извлечение моделей и параметров остаются ограниченными и часто носят теоретический характер из-за масштаба и конфиденциальности параметров LLM. Безопасная настройка инструкций, являющаяся относительно новым направлением, также требует дальнейшего изучения. Мы надеемся, что эта работа поможет прояснить потенциал LLM как для укрепления, так и для подрыва кибербезопасности.
Key Findings
1
LLM способны повышать безопасность кода за счёт обнаружения уязвимостей и улучшать конфиденциальность данных посредством защиты конфиденциальной информации, превосходя традиционные методы.
2
Человекоподобные способности LLM к рассуждению позволяют проводить различные атаки, особенно атаки на уровне пользователей, создавая существенные риски для безопасности и конфиденциальности.
3
Исследования атак извлечения моделей и параметров остаются ограниченными и часто теоретическими из-за масштаба параметров LLM и их конфиденциальности.
4
Безопасная настройка инструкций является новым направлением защиты, требующим значительно более глубокого изучения.
5
В обзоре исследования безопасности и конфиденциальности LLM разделены на полезные применения («Хорошее»), наступательное использование («Плохое») и уязвимости с методами защиты («Ужасное»).
Research Object
Большие языковые модели (LLM)
Research Subject
их влияние на безопасность и конфиденциальность, включая полезные применения, наступательное использование, присущие уязвимости и методы защиты
Publication Details
Publication Date
2024-02-29
Journal
Publisher
ISSN
Cited by
1078
Open access PDF
Access Type
Author Information
Download PDF
Subscribe to digest
Источники этой статьи в scid.ai20
Исследование пределов трансферного обучения с помощью унифицированного преобразователя текста в текст2019
Обзор больших языковых моделей2026
Обзор методов оценки больших языковых моделей2024
Обучение языковых моделей следованию инструкциям с использованием обратной связи от человека2022
Общение и списывание: обеспечение академической добросовестности в эпоху ChatGPT2023
BloombergGPT: большая языковая модель для финансов2023
Материалы конференции 2021 года по эмпирическим методам обработки естественного языка2021
ChatGPT для образования и научных исследований: возможности, угрозы и стратегии2023
Сравнение научных аннотаций, сгенерированных ChatGPT, с реальными аннотациями с помощью детекторов и слепых рецензентов2023
ChatGPT в высшем образовании: вопросы академической добросовестности и обучения студентов2023
Будущий ландшафт больших языковых моделей в медицине2023
Большие языковые модели для программной инженерии: систематический обзор литературы2024
От ChatGPT к ThreatGPT: влияние генеративного искусственного интеллекта на кибербезопасность и конфиденциальность2023
Атаки с внедрением промптов на приложения, интегрированные с большими языковыми моделями2023
Вопросы академической добросовестности при использовании больших языковых моделей в постпандемическую эпоху: ChatGPT и далее2023
Обзор больших языковых моделей: приложения, проблемы, ограничения и практическое применение2023
Большие языковые модели для программной инженерии: обзор и открытые проблемы2023
Общение и списывание: обеспечение академической добросовестности в эпоху ChatGPT2023
Сравнение научных аннотаций, сгенерированных ChatGPT, с оригинальными аннотациями с использованием детектора AI-выхода, детектора плагиата и слепых рецензентов2022
BLOOM: многоязычная открытая языковая модель с 176 миллиардами параметров2022
Работы, цитирующие эту статью11
Раскрытие потенциала инженерии промптов для больших языковых моделей2025
Большие языковые модели для кибербезопасности: систематический обзор литературы2025
Когда большие языковые модели встречаются с кибербезопасностью: систематический обзор литературы2025
Большие языковые модели для приложений в области психического здоровья: систематический обзор2024
AI-агенты под угрозой: обзор ключевых проблем безопасности и перспективных направлений2025
Применение больших языковых моделей в кибербезопасности: систематический обзор литературы2024
Важность управления данными ИИ в больших языковых моделях2025
Воплощённый искусственный интеллект с фундаментальными моделями для мобильных сервисных роботов: систематический обзор2026
Большие языковые модели как хакеры: автономные атаки на повышение привилегий в Linux2026
Связь между теорией города и искусственным интеллектом: мультиагентная рекомендательная система для устойчивого развития городов2026
Сравнительный обзор рисков безопасности в системах искусственного интеллекта: от больших языковых моделей до ИИ-агентов и воплощённых агентов2026