Обучение с использованием суррогатного градиента в спайковых нейронных сетях: перенос возможностей градиентной оптимизации в спайковые нейронные сети
Surrogate Gradient Learning in Spiking Neural Networks: Bringing the Power of Gradient-Based Optimization to Spiking Neural Networks
2019-11-01
SCID: 54.1/nfwq4fp4
Discuss with AI
обучение на основе данныхнейроморфные процессорыимпульсные нейронные сетиобучение с суррогатным градиентомсинаптическая пластичность
Figures from the paper
Abstract (AI)
Спайковые нейронные сети (SNN) представляют собой универсальное природное решение для отказоустойчивой и энергоэффективной обработки сигналов. Для переноса этих преимуществ в аппаратные системы всё большее число нейроморфных процессоров на основе спайковых нейронных сетей стремится имитировать биологические нейронные сети. Эти разработки обусловили насущную потребность в методах и инструментах, позволяющих таким системам решать практические задачи обработки сигналов. Как и обычные нейронные сети, SNN могут обучаться на реальных данных, специфичных для конкретной предметной области; однако их обучение требует преодоления ряда трудностей, связанных с их бинарной и динамической природой. В этой статье пошагово разъясняются проблемы, обычно возникающие при обучении SNN, и читателю предлагается познакомиться с ключевыми концепциями синаптической пластичности и обучения на основе данных применительно к спайковым системам. В связи с этим представлен обзор существующих подходов и введены методы суррогатного градиента (SG), рассматриваемые как особенно гибрый и эффективный способ преодоления упомянутых выше трудностей.
Key Findings
1
Спайковые нейронные сети обеспечивают отказоустойчивую и энергоэффективную обработку сигналов, что стимулирует их реализацию на нейроморфном оборудовании.
2
Методы суррогатных градиентов представлены как гибкий и эффективный способ преодоления проблем недифференцируемости в спайковых нейронных сетях.
3
Статья рассматривает существующие подходы к обучению SNN и пошагово вводит в методы обучения с использованием суррогатных градиентов.
4
В статье систематически объясняются основные препятствия при обучении SNN, включая концепции синаптической пластичности и обучения на основе данных.
5
Обучение SNN на реальных предметно-ориентированных данных затруднено из-за бинарных спайковых выходов и динамического поведения сетей, осложняющих градиентную оптимизацию.
Research Object
спайковые нейронные сети (SNN)
Research Subject
обучение SNN с использованием методов суррогатного градиента, включая проблемы, обусловленные их бинарной и динамической природой
Publication Details
Publication Date
2019-11-01
Journal
Publisher
ISSN
Cited by
1864
Open access PDF
Access Type
Author Information
Download PDF
Subscribe to digest
Источники этой статьи в scid.ai2
Работы, цитирующие эту статью5
Обучение спайковых нейронных сетей с использованием достижений глубокого обучения2023
Хайдельбергские наборы данных о спайках для систематической оценки спайковых нейронных сетей2020
Импульсная нейронная сеть с адаптивной графовой свёрткой и LSTM для интерфейсов мозг—компьютер на основе ЭЭГ2023
Федеративное обучение с использованием импульсных нейронных сетей2021
Внимательные импульсные нейронные сети2023