SuperSpike: Обучение с учителем в многослойных спайковых нейронных сетях

SuperSpike: Supervised Learning in Multilayer Spiking Neural Networks
Surya Ganguli, Friedemann Zenke
2018-04-13

SuperSpikeвыравнивание обратной связиспайковые нейронные сетисуррогатный градиенттрёхфакторное правило обучения
Подавляющее большинство вычислений в мозге выполняется спайковыми нейронными сетями. Несмотря на повсеместное распространение спайковой активности, в настоящее время мы не понимаем, как биологические спайковые нейронные цепи обучаются и выполняют вычисления in vivo, а также как реализовать такие возможности в искусственных спайковых цепях in silico. В данной работе мы вновь рассматриваем задачу обучения с учителем в многослойных спайковых нейронных сетях с временным кодированием. Во-первых, используя подход суррогатного градиента, мы выводим SuperSpike — нелинейное трёхфакторное правило обучения на основе мембранного потенциала, способное обучать многослойные сети детерминированных интегрирующих и запускающих нейронов выполнению нелинейных вычислений над пространственно-временными паттернами спайков. Во-вторых, вдохновляясь недавними результатами по выравниванию обратной связи, мы сравниваем эффективность нашего правила обучения при использовании различных стратегий распределения ответственности для распространения ошибок на выходе к скрытым элементам. В частности, мы исследуем однородную, симметричную и случайную обратную связь и обнаруживаем, что более простые задачи могут быть решены при любом типе обратной связи, тогда как для более сложных задач требуется симметричная обратная связь. В целом наши результаты открывают путь к более глубокому научному пониманию обучения и вычислений в спайковых нейронных сетях, расширяя наши возможности по их обучению решению нелинейных задач, включающих преобразования между различными пространственно-временными паттернами времени возникновения спайков.
1
Для более сложных задач требуется симметричная обратная связь, что указывает на влияние стратегии распределения ответственности за ошибку на трудность обучения.
2
Простые задачи могут решаться при равномерной, симметричной или случайной обратной связи для передачи ошибок выхода скрытым нейронам.
3
SuperSpike — это нелинейное трёхфакторное правило обучения на основе напряжения, выведенное с помощью суррогатного градиента для обучения многослойных детерминированных сетей интегрирующих и возбуждающих нейронов.
4
Метод позволяет спайковым нейронным сетям выполнять нелинейные вычисления над пространственно-временными последовательностями спайков.
5
Работа совершенствует обучение спайковых сетей преобразованиям между различными пространственно-временными паттернами времени возникновения спайков.

многоуровневые спайковые нейронные сети с временным кодированием на основе детерминированных нейронов интегрирования и возбуждения

обучение с учителем нелинейным преобразованиям между пространственно-временными паттернами спайков, включая обучение на основе напряжения с использованием трёх факторов и стратегии распределения кредитования

Publication Details
Publication Date
2018-04-13
Journal
Publisher
ISSN
Cited by
596
Access Type
Author Information
Authors
Surya Ganguli
Friedemann Zenke
Explore further
Open the scid.ai AI chat with a ready-made request: it will find papers on a similar topic and help build a literature review.
Find similar papers in the chat →
Make a presentation
100%