GALA: жадные вычисления для линейной алгебры в нейронных сетях с сохранением конфиденциальности

Машинное обучение как услуга (Machine Learning as a Service, MLaaS) обеспечивает работу широкого спектра интеллектуальных приложений на периферийных устройствах. Однако конфиденциальность по-прежнему остается фундаментальной проблемой. Схемы, использующие линейные вычисления на основе гомоморфного шифрования (Homomorphic Encryption, HE) и нелинейные вычисления на основе схем с искаженными схемами (Garbled Circuit, GC), продемонстрировали более высокую производительность при реализации MLaaS с сохранением конфиденциальности. Тем не менее сохраняется значительный разрыв в скорости вычислений. Наше исследование показало, что линейные вычисления на основе HE доминируют в общем времени вычислений современных глубоких нейронных сетей. Кроме того, наиболее времязатратным компонентом линейных вычислений на основе HE является последовательность операций перестановки (Permutation, Perm), необходимых для вычисления скалярных произведений и сверток в MLaaS с сохранением конфиденциальности. В данной работе основное внимание уделяется глубокой оптимизации линейных вычислений на основе HE с целью минимизации числа операций Perm и, следовательно, существенного сокращения общего времени вычислений. Для этого мы предлагаем GALA: Greedy Computation for Linear Algebra in Privacy-Preserved Neural Networks — метод жадных вычислений для линейной алгебры в нейронных сетях с сохранением конфиденциальности. Он рассматривает линейные вычисления на основе HE как последовательность гомоморфных операций сложения (Add), умножения (Mult) и перестановки (Perm), выбирая на каждом этапе линейных вычислений наименее затратную операцию для снижения общей стоимости. GALA вносит следующие основные вклады: (1) вводит построчное кодирование матрицы весов и объединяет его с формированием долей, необходимым для нелинейных вычислений на основе GC, что позволяет сократить число операций Perm при вычислении скалярных произведений; (2) разрабатывает подход «сначала Add, затем Perm», названный группировкой ядер, для сокращения числа операций Perm при выполнении сверток. Таким образом, GALA эффективно снижает стоимость линейных вычислений на основе HE, являющихся критически важным строительным блоком почти всех современных фреймворков для нейронных сетей с сохранением конфиденциальности, включая GAZELLE (USENIX Security ’18), DELPHI (USENIX Security ’20) и CrypTFlow2 (CCS ’20). Благодаря глубокой оптимизации линейных вычислений на основе HE GALA может использоваться как подключаемый модуль, интегрируемый...