Обучение с использованием суррогатного градиента в спайковых нейронных сетях: перенос возможностей градиентной оптимизации в спайковые нейронные сети

Surrogate Gradient Learning in Spiking Neural Networks: Bringing the Power of Gradient-Based Optimization to Spiking Neural Networks
Friedemann Zenke, Emre Neftci, Hesham Mostafa
2019-11-01

обучение на основе данныхнейроморфные процессорыимпульсные нейронные сетиобучение с суррогатным градиентомсинаптическая пластичность
Спайковые нейронные сети (SNN) представляют собой универсальное природное решение для отказоустойчивой и энергоэффективной обработки сигналов. Для переноса этих преимуществ в аппаратные системы всё большее число нейроморфных процессоров на основе спайковых нейронных сетей стремится имитировать биологические нейронные сети. Эти разработки обусловили насущную потребность в методах и инструментах, позволяющих таким системам решать практические задачи обработки сигналов. Как и обычные нейронные сети, SNN могут обучаться на реальных данных, специфичных для конкретной предметной области; однако их обучение требует преодоления ряда трудностей, связанных с их бинарной и динамической природой. В этой статье пошагово разъясняются проблемы, обычно возникающие при обучении SNN, и читателю предлагается познакомиться с ключевыми концепциями синаптической пластичности и обучения на основе данных применительно к спайковым системам. В связи с этим представлен обзор существующих подходов и введены методы суррогатного градиента (SG), рассматриваемые как особенно гибрый и эффективный способ преодоления упомянутых выше трудностей.
1
Спайковые нейронные сети обеспечивают отказоустойчивую и энергоэффективную обработку сигналов, что стимулирует их реализацию на нейроморфном оборудовании.
2
Методы суррогатных градиентов представлены как гибкий и эффективный способ преодоления проблем недифференцируемости в спайковых нейронных сетях.
3
Статья рассматривает существующие подходы к обучению SNN и пошагово вводит в методы обучения с использованием суррогатных градиентов.
4
В статье систематически объясняются основные препятствия при обучении SNN, включая концепции синаптической пластичности и обучения на основе данных.
5
Обучение SNN на реальных предметно-ориентированных данных затруднено из-за бинарных спайковых выходов и динамического поведения сетей, осложняющих градиентную оптимизацию.

спайковые нейронные сети (SNN)

обучение SNN с использованием методов суррогатного градиента, включая проблемы, обусловленные их бинарной и динамической природой

Publication Details
Publication Date
2019-11-01
Journal
Publisher
ISSN
Cited by
1864
Access Type
Author Information
Authors
Friedemann Zenke
Emre Neftci
Hesham Mostafa
Explore further
Open the scid.ai AI chat with a ready-made request: it will find papers on a similar topic and help build a literature review.
Find similar papers in the chat →
Make a presentation
100%