Федеративное обучение с использованием импульсных нейронных сетей
Federated Learning With Spiking Neural Networks
2021-01-01
SCID: 54.1/yvrztfce
Discuss with AI
CIFAR-10 и CIFAR-100энергоэффективностьфедеративное обучениеобучение с сохранением конфиденциальностиспайковые нейронные сети
Figures from the paper
Abstract (AI)
По мере широкого внедрения нейронных сетей во встраиваемые устройства с ограниченными ресурсами возрастает потребность в нейронных системах с низким энергопотреблением. Импульсные нейронные сети (Spiking Neural Networks, SNN) становятся энергоэффективной альтернативой традиционным искусственным нейронным сетям (Artificial Neural Networks, ANN), которые характеризуются высокой вычислительной сложностью. С прикладной точки зрения, поскольку федеративное обучение предполагает участие множества устройств с ограниченным энергопотреблением, существует значительный потенциал для использования энергоэффективности SNN. Несмотря на важность этой задачи, обучению SNN в крупномасштабных распределённых системах, таких как федеративное обучение, уделялось мало внимания. В данной работе SNN рассматриваются в более реалистичном сценарии федеративного обучения. В частности, разработан метод федеративного обучения для подготовки децентрализованных SNN с сохранением конфиденциальности. Для проверки предложенного метода экспериментально оцениваются преимущества SNN по различным аспектам федеративного обучения с использованием наборов данных CIFAR-10 и CIFAR-100. Показано, что при распределении данных между большим числом клиентов федерации SNN превосходят ANN по общей точности более чем на 15%, обеспечивая при этом до 4,3-кратного повышения энергоэффективности. Помимо эффективности, проанализирована чувствительность предложенной федеративной структуры SNN к распределению данных между клиентами, отстающим клиентам и шуму градиента, а также выполнено всестороннее сравнение с ANN. Исходный код доступен по адресу: https://github.com/Intelligent-Computing-Lab-Yale/FedSNN.
Key Findings
1
Федеративные SNN обеспечивают энергоэффективность до 4,3 раза выше, чем искусственные нейронные сети, в исследованных условиях.
2
На наборах CIFAR10 и CIFAR100 SNN обеспечивают более чем на 15% более высокую общую точность по сравнению с ANN при распределении данных между большим числом клиентов федерации.
3
В работе предложен метод федеративного обучения для децентрализованного и сохраняющего конфиденциальность обучения спайковых нейронных сетей (SNN).
4
Проанализирована чувствительность федеративной системы SNN к распределению данных между клиентами, отстающим клиентам и шуму градиентов; проведено комплексное сравнение с ANN.
5
Работа оценивает SNN в более реалистичном крупномасштабном сценарии федеративного обучения и предоставляет исходный код в открытом доступе.
Research Object
децентрализованные SNN с сохранением конфиденциальности, обучаемые в рамках федеративного обучения на энергоограниченных устройствах
Research Subject
точность, энергоэффективность и устойчивость федеративного обучения SNN к распределению данных между клиентами, запаздывающим клиентам и шуму градиентов по сравнению с ANN
Publication Details
Publication Date
2021-01-01
Journal
Publisher
ISSN
Cited by
91
Open access PDF
Access Type
Author Information
Download PDF
Subscribe to digest
Источники этой статьи в scid.ai4
Очень глубокие сверточные сети для масштабного распознавания изображений2014
Обучение нескольких слоев признаков на маленьких изображениях2024
Обучение с использованием суррогатного градиента в спайковых нейронных сетях: перенос возможностей градиентной оптимизации в спайковые нейронные сети2019
SuperSpike: Обучение с учителем в многослойных спайковых нейронных сетях2018