Импульсные нейронные сети: обзор
Spiking Neural Networks: A Survey
2022-01-01
SCID: 54.1/jhthsy78
Discuss with AI
Эффективное глубокое обучениеСобытийные вычисленияНейроморфные вычисленияИмпульсные нейронные сетиОбучение с суррогатным градиентом
Figures from the paper
Abstract (AI)
В области глубокого обучения (DL) наблюдается впечатляющая серия разработок, направленных на создание всё более точных и устойчивых алгоритмов. Однако повышение производительности сопровождается увеличением числа параметров, сложности, а также времени обучения и вывода моделей, вследствие чего мы быстро приближаемся к моменту, когда применение DL может стать неосуществимым. С другой стороны, при разработке моделей DL необходимо тщательно учитывать специфику некоторых приложений, обусловленную ограничениями аппаратного обеспечения или требованиями к энергопотреблению. В этом контексте растёт интерес к эффективным алгоритмам DL, и импульсные нейронные сети (SNN) являются одной из наиболее перспективных парадигм. Благодаря присущим им асинхронности и разреженности последовательностей импульсов сети этого типа потенциально способны снижать энергопотребление, сохраняя при этом относительно высокую производительность. Это делает их привлекательными для эффективного глубокого обучения и, в случае успеха, может позволить заменить традиционные искусственные нейронные сети (ANN) во многих приложениях. Однако, несмотря на значительный прогресс, производительность SNN на эталонных наборах данных зачастую ниже, чем у традиционных ANN. Кроме того, из-за недифференцируемой природы функций активации обучение SNN с использованием прямого обратного распространения ошибки затруднено, поэтому необходимо разрабатывать соответствующие стратегии обучения. Тем не менее были предприняты значительные усилия для создания конкурентоспособных моделей. В этом обзоре рассматриваются основные идеи, лежащие в основе SNN, анализируются современные тенденции в области правил обучения и архитектур сетей с особым вниманием к биологически вдохновлённым стратегиям. Кроме того, представлены некоторые практические аспекты современных SNN и обсуждаются перспективные направления дальнейших исследований.
Key Findings
1
Недавние исследования сделали модели СНС более конкурентоспособными благодаря новым правилам обучения, архитектурам сетей и биологически вдохновленным методам.
2
СНС перспективны для приложений с аппаратными ограничениями и ограничениями по мощности, однако на эталонных наборах данных их производительность часто ниже, чем у традиционных искусственных нейронных сетей.
3
Спайковые нейронные сети используют асинхронные и разреженные последовательности импульсов, что потенциально позволяет снизить энергопотребление в приложениях глубокого обучения.
4
Недifferentiируемые функции активации СНС затрудняют прямое обратное распространение ошибки, поэтому необходимы специализированные стратегии обучения.
5
Обзор охватывает основы СНС, практические аспекты современных моделей, последние тенденции в методах обучения и архитектурах, а также открытые направления исследований.
Research Object
Спайковые нейронные сети (SNN)
Research Subject
Энергоэффективная производительность, обучаемость, правила обучения и архитектуры спайковых нейронных сетей, особенно биологически вдохновлённые стратегии
Publication Details
Publication Date
2022-01-01
Journal
Publisher
ISSN
Cited by
251
Open access PDF
Access Type
Author Information
Download PDF
Subscribe to digest
Источники этой статьи в scid.ai12
Глубокое остаточное обучение для распознавания изображений2016
Классификация ImageNet с использованием глубоких сверточных нейронных сетей2017
Очень глубокие сверточные сети для масштабного распознавания изображений2014
ImageNet: крупномасштабная иерархическая база изображений2009
Градиентное обучение для распознавания документов1998
PyTorch: библиотека глубокого обучения с императивным стилем программирования и высокой производительностью2019
Обучение нескольких слоев признаков на маленьких изображениях2024
Организация поведения: нейропсихологическая теория1950
Динамика нейронов2014
Обучение спайковых нейронных сетей с использованием достижений глубокого обучения2023
Эффективное глубокое обучение: обзор методов уменьшения размера, ускорения и повышения качества моделей глубокого обучения2023
SuperSpike: Обучение с учителем в многослойных спайковых нейронных сетях2018