Обучение спайковых нейронных сетей с использованием достижений глубокого обучения
Training Spiking Neural Networks Using Lessons From Deep Learning
2023-09-01
SCID: 54.1/rc3dt95y
Discuss with AI
глубокое обучениеградиентное обучениепластичность, зависящая от времени спайкаспайковые нейронные сетивременное обратное распространение ошибки
Figures from the paper
Abstract (AI)
Мозг является идеальным источником вдохновения для разработки более эффективных нейронных сетей. Принципы работы наших синапсов и нейронов позволяют заглянуть в будущее глубокого обучения. В этой статье, сочетающей учебное пособие и обзор перспектив, показано, как применять уроки, извлечённые из нескольких десятилетий исследований в области глубокого обучения, градиентного спуска, обратного распространения ошибки и нейронауки, к биологически правдоподобным спайковым нейронным сетям (SNN). Мы также рассматриваем сложное взаимодействие между кодированием данных в виде спайков и процессом обучения; проблемы и решения, связанные с применением обучения на основе градиентов к SNN; тонкую связь между временным обратным распространением ошибки и пластичностью, зависящей от времени спайков; а также то, как глубокое обучение может развиваться в направлении биологически правдоподобного онлайн-обучения. Некоторые идеи широко признаны и обычно используются в сообществе специалистов по нейроморфной инженерии, тогда как другие впервые представлены или обоснованы именно здесь. Также доступны интерактивные учебные материалы, дополняющие эту статью и созданные с использованием нашего пакета Python snnTorch: https://snntorch.readthedocs.io/en/latest/tutorials/index.html.
Key Findings
1
Рассматривается взаимодействие кодирования данных спайками с процессом обучения, а также связанные с этим проблемы и способы их решения.
2
Исследуются пути к биологически правдоподобному онлайн-обучению на основе объединения идей глубокого обучения и нейронауки.
3
Статья объясняет связи между временным обратным распространением ошибки и пластичностью, зависящей от времени спайков, в спайковых нейронных сетях.
4
Статья представляет учебный обзор и перспективный анализ применения принципов глубокого обучения, включая градиентный спуск и обратное распространение ошибки, к биологически правдоподобным спайковым нейронным сетям.
5
Работа сопровождается интерактивными учебными материалами, реализованными с использованием пакета Python snnTorch и посвящёнными представленным методам обучения SNN.
Research Object
биологически правдоподобные спайковые нейронные сети (SNN)
Research Subject
механизмы обучения SNN, включая кодирование данных спайками, обучение на основе градиента, временное обратное распространение, пластичность, зависящую от времени спайка, и биологически правдоподобное онлайн-обучение
Publication Details
Publication Date
2023-09-01
Journal
Publisher
ISSN
Cited by
794
Open access PDF
Access Type
Author Information
Download PDF
Subscribe to digest
Источники этой статьи в scid.ai13
Классификация ImageNet с использованием глубоких сверточных нейронных сетей2017
Adam: метод стохастической оптимизации2014
Использование генеративного искусственного интеллекта для масштабирования интеллектуальных обучающих систем2023
Обучение представлений фраз с использованием RNN энкодер–декодера для статистического машинного перевода2014
Распределённые представления слов и фраз и их композиционность2013
Эффективные подходы к нейронному машинному переводу на основе механизма внимания2015
Преодоление катастрофического забывания в нейронных сетях2017
Модель языка на основе рекуррентной нейронной сети2010
Организация поведения: нейропсихологическая теория1950
Обучение с использованием суррогатного градиента в спайковых нейронных сетях: перенос возможностей градиентной оптимизации в спайковые нейронные сети2019
Динамика нейронов2014
Хайдельбергские наборы данных о спайках для систематической оценки спайковых нейронных сетей2020
Фреймворк Aion: размерное возникновение сознания ИИ, коллапс под воздействием наблюдателя и динамика космологических порталов2023