Глубокое обучение с дифференциальной приватностью
Deep Learning with Differential Privacy
2016-10-24
SCID: 54.1/hx96znaf
Discuss with AI
глубокое обучениедифференциальная конфиденциальностьанализ затрат приватностиобучение с сохранением приватностиобучение с невыпуклыми целями
Figures from the paper
Abstract (AI)
Методы машинного обучения на основе нейронных сетей демонстрируют впечатляющие результаты в различных областях. Часто обучение моделей требует больших представительских наборов данных, которые могут быть собраны краудсорсингом и содержать конфиденциальную информацию. Модели не должны раскрывать приватную информацию из этих наборов данных. Для решения этой задачи мы разрабатываем новые алгоритмические методы обучения и даем уточненный анализ стоимости приватности в рамках дифференциальной приватности. Наша реализация и эксперименты показывают, что мы можем обучать глубокие нейронные сети с невыпуклыми целевыми функциями при умеренном бюджете приватности и с приемлемыми затратами по сложности программного обеспечения, эффективности обучения и качеству модели.
Key Findings
1
Показано эмпирически, что глубокие нейронные сети с невыпуклыми целями можно обучать при скромном бюджете дифференциальной приватности.
2
Представлены новые алгоритмические методы и уточнённый анализ стоимости приватности, позволяющие обучать глубокие нейронные сети в рамках дифференциальной приватности.
3
Предоставлена реализация и эксперименты, подтверждающие практичность предложенных методов дифференциально-приватного глубокого обучения.
4
Демонстрируется, что обучение с дифференциальной приватностью достигается при управляемых затратах на сложность ПО, эффективность обучения и качество модели.
Research Object
Глубокие нейронные сети, обучаемые на конфиденциальных наборах данных
Research Subject
Обучение глубоких нейронных сетей в условиях дифференциальной приватности, включая алгоритмические приемы, анализ стоимости конфиденциальности и влияние на сложность ПО, эффективность обучения и качество модели
Publication Details
Publication Date
2016-10-24
Journal
Publisher
ISSN
Cited by
7385
Open access PDF
Access Type
Author Information
Download PDF
Subscribe to digest
Источники этой статьи в scid.ai3
Работы, цитирующие эту статью14
Достижения и открытые проблемы федеративного обучения2020
Федеративное обучение в мобильных сетях периферийных вычислений: всесторонний обзор2020
Глубокое обучение в здравоохранении: обзор, возможности и проблемы2017
Глубокое обучение для больших данных и потоковой аналитики Интернета вещей: обзор2018
Обзор безопасности Интернета вещей: области применения, угрозы безопасности и архитектуры решений2019
SplitFed: когда федеративное обучение встречается с разделённым обучением2022
Соединяя точки в сфере заслуживающего доверия искусственного интеллекта: от принципов ИИ, этики и ключевых требований к ответственным системам ИИ и регулированию2023
GPT (генеративно предварительно обученный трансформер): всесторонний обзор обеспечивающих технологий, потенциальных применений, возникающих проблем и перспективных направлений2024
Обзор безопасности киберфизических систем2023
Методы обеспечения конфиденциальности в генеративном искусственном интеллекте и больших языковых моделях: нарративный обзор2024
Графовые нейронные сети: обзор взаимосвязей между конфиденциальностью и безопасностью2024
Синтетическая и конфиденциальная генерация сетевых трасс с помощью генеративных моделей ИИ для обучения систем обнаружения сетевых вторжений2024
Обзор применения искусственного интеллекта в сетях 6G: проблемы и возможности2026
Параметроэффективная тонкая настройка больших языковых моделей: обзор методологий2025