Внимательные импульсные нейронные сети

Attention Spiking Neural Networks
Yonghong Tian, Yifan Hu, Guoqi Li, Lei Deng, Bo Xu, Guangshe Zhao, Man Yao, Hengyu Zhang
2023-01-31

ImageNet-1Kблочная динамическая изометрияраспознавание действий по событияммногомерное вниманиеспайковые нейронные сети
Импульсные нейронные сети (SNN), вдохновленные принципами работы мозга, становятся перспективной энергоэффективной альтернативой традиционным искусственным нейронным сетям (ANN). Однако разрыв в производительности между SNN и ANN долгое время существенно препятствовал широкому внедрению SNN. Чтобы реализовать весь потенциал SNN, в данной работе мы исследуем механизмы внимания, которые помогают человеку сосредоточиваться на важной информации. Мы предлагаем концепцию внимания в SNN на основе многомерного модуля внимания, который оценивает веса внимания отдельно или одновременно по временной, канальной и пространственной размерностям. Опираясь на существующие теории нейронауки, мы используем веса внимания для оптимизации мембранных потенциалов, что, в свою очередь, регулирует импульсные ответы. Обширные экспериментальные результаты, полученные на наборах данных для распознавания действий на основе событий и классификации изображений, показывают, что внимание позволяет стандартным SNN одновременно обеспечивать более разреженное генерирование импульсов, более высокую производительность и энергоэффективность. В частности, для одношаговой и четырехшаговой Res-SNN-104 на ImageNet-1K достигнута точность top-1 75,92% и 77,08% соответственно, что соответствует передовым результатам для SNN. По сравнению с соответствующей Res-ANN-104 разрыв в производительности составляет −0,95 и +0,21 процентного пункта соответственно, а выигрыш в энергоэффективности — 31,8× и 7,4×. Для анализа эффективности SNN с механизмом внимания мы теоретически доказываем с использованием теории блочной динамической изометрии, что деградация импульсных сигналов или исчезновение градиентов, обычно имеющие место в SNN, могут быть устранены. Мы также анализируем эффективность SNN с механизмом внимания с помощью предложенного нами метода визуализации импульсных ответов. Наша работа демонстрирует потенциал SNN в качестве универсальной базовой архитектуры для поддержки различных приложений в области исследований SNN, обеспечивая эффективный баланс между результативностью и энергоэффективностью.
1
Веса внимания оптимизируют мембранные потенциалы и регулируют спайковые отклики, позволяя обычным SNN одновременно достигать более разреженного возбуждения, высокой точности и повышенной энергоэффективности.
2
По сравнению с Res-ANN-104 разрыв в производительности составляет -0,95 и +0,21 процентного пункта, а энергоэффективность достигает 31,8× и 7,4× для одношаговой и четырёхшаговой моделей.
3
На ImageNet-1K одношаговая и четырёхшаговая модели Res-SNN-104 достигают точности top-1 75,92% и 77,08% соответственно; эти результаты заявлены как передовые для SNN.
4
В работе предложен многомерный модуль внимания для SNN, который раздельно или совместно моделирует временное, канальное и пространственное внимание.
5
Теоретический анализ показывает, что блочная динамическая изометрия может устранять деградацию спайков или исчезновение градиента, характерные для SNN; предложен метод визуализации спайковых откликов для анализа эффективности.

спайковые нейронные сети (SNN)

влияние многомерных механизмов внимания на спайковые отклики, точность, разреженность, энергоэффективность и динамику обучения SNN

Publication Details
Publication Date
2023-01-31
Journal
Publisher
ISSN
Access Type
Author Information
Authors
Yonghong Tian
Yifan Hu
Guoqi Li
Lei Deng
Bo Xu
Guangshe Zhao
Man Yao
Hengyu Zhang
Explore further
Open the scid.ai AI chat with a ready-made request: it will find papers on a similar topic and help build a literature review.
Find similar papers in the chat →
Make a presentation
100%