Импульсные нейронные сети: обзор

Spiking Neural Networks: A Survey
Jaime S. Cardoso, João D. Nunes, Marcelo Carvalho, Diogo Carneiro
2022-01-01

Эффективное глубокое обучениеСобытийные вычисленияНейроморфные вычисленияИмпульсные нейронные сетиОбучение с суррогатным градиентом
В области глубокого обучения (DL) наблюдается впечатляющая серия разработок, направленных на создание всё более точных и устойчивых алгоритмов. Однако повышение производительности сопровождается увеличением числа параметров, сложности, а также времени обучения и вывода моделей, вследствие чего мы быстро приближаемся к моменту, когда применение DL может стать неосуществимым. С другой стороны, при разработке моделей DL необходимо тщательно учитывать специфику некоторых приложений, обусловленную ограничениями аппаратного обеспечения или требованиями к энергопотреблению. В этом контексте растёт интерес к эффективным алгоритмам DL, и импульсные нейронные сети (SNN) являются одной из наиболее перспективных парадигм. Благодаря присущим им асинхронности и разреженности последовательностей импульсов сети этого типа потенциально способны снижать энергопотребление, сохраняя при этом относительно высокую производительность. Это делает их привлекательными для эффективного глубокого обучения и, в случае успеха, может позволить заменить традиционные искусственные нейронные сети (ANN) во многих приложениях. Однако, несмотря на значительный прогресс, производительность SNN на эталонных наборах данных зачастую ниже, чем у традиционных ANN. Кроме того, из-за недифференцируемой природы функций активации обучение SNN с использованием прямого обратного распространения ошибки затруднено, поэтому необходимо разрабатывать соответствующие стратегии обучения. Тем не менее были предприняты значительные усилия для создания конкурентоспособных моделей. В этом обзоре рассматриваются основные идеи, лежащие в основе SNN, анализируются современные тенденции в области правил обучения и архитектур сетей с особым вниманием к биологически вдохновлённым стратегиям. Кроме того, представлены некоторые практические аспекты современных SNN и обсуждаются перспективные направления дальнейших исследований.
1
Недавние исследования сделали модели СНС более конкурентоспособными благодаря новым правилам обучения, архитектурам сетей и биологически вдохновленным методам.
2
СНС перспективны для приложений с аппаратными ограничениями и ограничениями по мощности, однако на эталонных наборах данных их производительность часто ниже, чем у традиционных искусственных нейронных сетей.
3
Спайковые нейронные сети используют асинхронные и разреженные последовательности импульсов, что потенциально позволяет снизить энергопотребление в приложениях глубокого обучения.
4
Недifferentiируемые функции активации СНС затрудняют прямое обратное распространение ошибки, поэтому необходимы специализированные стратегии обучения.
5
Обзор охватывает основы СНС, практические аспекты современных моделей, последние тенденции в методах обучения и архитектурах, а также открытые направления исследований.

Спайковые нейронные сети (SNN)

Энергоэффективная производительность, обучаемость, правила обучения и архитектуры спайковых нейронных сетей, особенно биологически вдохновлённые стратегии

Publication Details
Publication Date
2022-01-01
Journal
Publisher
ISSN
Cited by
251
Access Type
Author Information
Authors
Jaime S. Cardoso
João D. Nunes
Marcelo Carvalho
Diogo Carneiro
Explore further
Open the scid.ai AI chat with a ready-made request: it will find papers on a similar topic and help build a literature review.
Find similar papers in the chat →
Make a presentation
100%