Глубокое обучение с дифференциальной приватностью

Методы машинного обучения на основе нейронных сетей демонстрируют впечатляющие результаты в различных областях. Часто обучение моделей требует больших представительских наборов данных, которые могут быть собраны краудсорсингом и содержать конфиденциальную информацию. Модели не должны раскрывать приватную информацию из этих наборов данных. Для решения этой задачи мы разрабатываем новые алгоритмические методы обучения и даем уточненный анализ стоимости приватности в рамках дифференциальной приватности. Наша реализация и эксперименты показывают, что мы можем обучать глубокие нейронные сети с невыпуклыми целевыми функциями при умеренном бюджете приватности и с приемлемыми затратами по сложности программного обеспечения, эффективности обучения и качеству модели.