SuperSpike: Обучение с учителем в многослойных спайковых нейронных сетях
SuperSpike: Supervised Learning in Multilayer Spiking Neural Networks
2018-04-13
SCID: 54.1/vzhsa2yp
Discuss with AI
SuperSpikeвыравнивание обратной связиспайковые нейронные сетисуррогатный градиенттрёхфакторное правило обучения
Figures from the paper
Abstract (AI)
Подавляющее большинство вычислений в мозге выполняется спайковыми нейронными сетями. Несмотря на повсеместное распространение спайковой активности, в настоящее время мы не понимаем, как биологические спайковые нейронные цепи обучаются и выполняют вычисления in vivo, а также как реализовать такие возможности в искусственных спайковых цепях in silico. В данной работе мы вновь рассматриваем задачу обучения с учителем в многослойных спайковых нейронных сетях с временным кодированием. Во-первых, используя подход суррогатного градиента, мы выводим SuperSpike — нелинейное трёхфакторное правило обучения на основе мембранного потенциала, способное обучать многослойные сети детерминированных интегрирующих и запускающих нейронов выполнению нелинейных вычислений над пространственно-временными паттернами спайков. Во-вторых, вдохновляясь недавними результатами по выравниванию обратной связи, мы сравниваем эффективность нашего правила обучения при использовании различных стратегий распределения ответственности для распространения ошибок на выходе к скрытым элементам. В частности, мы исследуем однородную, симметричную и случайную обратную связь и обнаруживаем, что более простые задачи могут быть решены при любом типе обратной связи, тогда как для более сложных задач требуется симметричная обратная связь. В целом наши результаты открывают путь к более глубокому научному пониманию обучения и вычислений в спайковых нейронных сетях, расширяя наши возможности по их обучению решению нелинейных задач, включающих преобразования между различными пространственно-временными паттернами времени возникновения спайков.
Key Findings
1
Для более сложных задач требуется симметричная обратная связь, что указывает на влияние стратегии распределения ответственности за ошибку на трудность обучения.
2
Простые задачи могут решаться при равномерной, симметричной или случайной обратной связи для передачи ошибок выхода скрытым нейронам.
3
SuperSpike — это нелинейное трёхфакторное правило обучения на основе напряжения, выведенное с помощью суррогатного градиента для обучения многослойных детерминированных сетей интегрирующих и возбуждающих нейронов.
4
Метод позволяет спайковым нейронным сетям выполнять нелинейные вычисления над пространственно-временными последовательностями спайков.
5
Работа совершенствует обучение спайковых сетей преобразованиям между различными пространственно-временными паттернами времени возникновения спайков.
Research Object
многоуровневые спайковые нейронные сети с временным кодированием на основе детерминированных нейронов интегрирования и возбуждения
Research Subject
обучение с учителем нелинейным преобразованиям между пространственно-временными паттернами спайков, включая обучение на основе напряжения с использованием трёх факторов и стратегии распределения кредитования
Publication Details
Publication Date
2018-04-13
Journal
Publisher
ISSN
Cited by
596
Open access PDF
Access Type
Author Information
Download PDF
Subscribe to digest
Источники этой статьи в scid.ai1
Работы, цитирующие эту статью5
Обучение с использованием суррогатного градиента в спайковых нейронных сетях: перенос возможностей градиентной оптимизации в спайковые нейронные сети2019
Хайдельбергские наборы данных о спайках для систематической оценки спайковых нейронных сетей2020
Аппаратные реализации и проблемы реализации спайковых нейронных сетей2019
Импульсные нейронные сети: обзор2022
Федеративное обучение с использованием импульсных нейронных сетей2021