Федеративное обучение с использованием импульсных нейронных сетей

Federated Learning With Spiking Neural Networks
Leandros Tassiulas, Priyadarshini Panda, Yeshwanth Venkatesha, Youngeun Kim
2021-01-01

CIFAR-10 и CIFAR-100энергоэффективностьфедеративное обучениеобучение с сохранением конфиденциальностиспайковые нейронные сети
По мере широкого внедрения нейронных сетей во встраиваемые устройства с ограниченными ресурсами возрастает потребность в нейронных системах с низким энергопотреблением. Импульсные нейронные сети (Spiking Neural Networks, SNN) становятся энергоэффективной альтернативой традиционным искусственным нейронным сетям (Artificial Neural Networks, ANN), которые характеризуются высокой вычислительной сложностью. С прикладной точки зрения, поскольку федеративное обучение предполагает участие множества устройств с ограниченным энергопотреблением, существует значительный потенциал для использования энергоэффективности SNN. Несмотря на важность этой задачи, обучению SNN в крупномасштабных распределённых системах, таких как федеративное обучение, уделялось мало внимания. В данной работе SNN рассматриваются в более реалистичном сценарии федеративного обучения. В частности, разработан метод федеративного обучения для подготовки децентрализованных SNN с сохранением конфиденциальности. Для проверки предложенного метода экспериментально оцениваются преимущества SNN по различным аспектам федеративного обучения с использованием наборов данных CIFAR-10 и CIFAR-100. Показано, что при распределении данных между большим числом клиентов федерации SNN превосходят ANN по общей точности более чем на 15%, обеспечивая при этом до 4,3-кратного повышения энергоэффективности. Помимо эффективности, проанализирована чувствительность предложенной федеративной структуры SNN к распределению данных между клиентами, отстающим клиентам и шуму градиента, а также выполнено всестороннее сравнение с ANN. Исходный код доступен по адресу: https://github.com/Intelligent-Computing-Lab-Yale/FedSNN.
1
Федеративные SNN обеспечивают энергоэффективность до 4,3 раза выше, чем искусственные нейронные сети, в исследованных условиях.
2
На наборах CIFAR10 и CIFAR100 SNN обеспечивают более чем на 15% более высокую общую точность по сравнению с ANN при распределении данных между большим числом клиентов федерации.
3
В работе предложен метод федеративного обучения для децентрализованного и сохраняющего конфиденциальность обучения спайковых нейронных сетей (SNN).
4
Проанализирована чувствительность федеративной системы SNN к распределению данных между клиентами, отстающим клиентам и шуму градиентов; проведено комплексное сравнение с ANN.
5
Работа оценивает SNN в более реалистичном крупномасштабном сценарии федеративного обучения и предоставляет исходный код в открытом доступе.

децентрализованные SNN с сохранением конфиденциальности, обучаемые в рамках федеративного обучения на энергоограниченных устройствах

точность, энергоэффективность и устойчивость федеративного обучения SNN к распределению данных между клиентами, запаздывающим клиентам и шуму градиентов по сравнению с ANN

Publication Details
Publication Date
2021-01-01
Journal
Publisher
ISSN
Cited by
91
Access Type
Author Information
Authors
Leandros Tassiulas
Priyadarshini Panda
Yeshwanth Venkatesha
Youngeun Kim
Explore further
Open the scid.ai AI chat with a ready-made request: it will find papers on a similar topic and help build a literature review.
Find similar papers in the chat →
Make a presentation
100%