Обучение спайковых нейронных сетей с использованием достижений глубокого обучения

Мозг является идеальным источником вдохновения для разработки более эффективных нейронных сетей. Принципы работы наших синапсов и нейронов позволяют заглянуть в будущее глубокого обучения. В этой статье, сочетающей учебное пособие и обзор перспектив, показано, как применять уроки, извлечённые из нескольких десятилетий исследований в области глубокого обучения, градиентного спуска, обратного распространения ошибки и нейронауки, к биологически правдоподобным спайковым нейронным сетям (SNN). Мы также рассматриваем сложное взаимодействие между кодированием данных в виде спайков и процессом обучения; проблемы и решения, связанные с применением обучения на основе градиентов к SNN; тонкую связь между временным обратным распространением ошибки и пластичностью, зависящей от времени спайков; а также то, как глубокое обучение может развиваться в направлении биологически правдоподобного онлайн-обучения. Некоторые идеи широко признаны и обычно используются в сообществе специалистов по нейроморфной инженерии, тогда как другие впервые представлены или обоснованы именно здесь. Также доступны интерактивные учебные материалы, дополняющие эту статью и созданные с использованием нашего пакета Python snnTorch: https://snntorch.readthedocs.io/en/latest/tutorials/index.html.