Внимательные импульсные нейронные сети
Attention Spiking Neural Networks
2023-01-31
SCID: 54.1/duyf7hb9
Discuss with AI
ImageNet-1Kблочная динамическая изометрияраспознавание действий по событияммногомерное вниманиеспайковые нейронные сети
Figures from the paper
Abstract (AI)
Импульсные нейронные сети (SNN), вдохновленные принципами работы мозга, становятся перспективной энергоэффективной альтернативой традиционным искусственным нейронным сетям (ANN). Однако разрыв в производительности между SNN и ANN долгое время существенно препятствовал широкому внедрению SNN. Чтобы реализовать весь потенциал SNN, в данной работе мы исследуем механизмы внимания, которые помогают человеку сосредоточиваться на важной информации. Мы предлагаем концепцию внимания в SNN на основе многомерного модуля внимания, который оценивает веса внимания отдельно или одновременно по временной, канальной и пространственной размерностям. Опираясь на существующие теории нейронауки, мы используем веса внимания для оптимизации мембранных потенциалов, что, в свою очередь, регулирует импульсные ответы. Обширные экспериментальные результаты, полученные на наборах данных для распознавания действий на основе событий и классификации изображений, показывают, что внимание позволяет стандартным SNN одновременно обеспечивать более разреженное генерирование импульсов, более высокую производительность и энергоэффективность. В частности, для одношаговой и четырехшаговой Res-SNN-104 на ImageNet-1K достигнута точность top-1 75,92% и 77,08% соответственно, что соответствует передовым результатам для SNN. По сравнению с соответствующей Res-ANN-104 разрыв в производительности составляет −0,95 и +0,21 процентного пункта соответственно, а выигрыш в энергоэффективности — 31,8× и 7,4×. Для анализа эффективности SNN с механизмом внимания мы теоретически доказываем с использованием теории блочной динамической изометрии, что деградация импульсных сигналов или исчезновение градиентов, обычно имеющие место в SNN, могут быть устранены. Мы также анализируем эффективность SNN с механизмом внимания с помощью предложенного нами метода визуализации импульсных ответов. Наша работа демонстрирует потенциал SNN в качестве универсальной базовой архитектуры для поддержки различных приложений в области исследований SNN, обеспечивая эффективный баланс между результативностью и энергоэффективностью.
Key Findings
1
Веса внимания оптимизируют мембранные потенциалы и регулируют спайковые отклики, позволяя обычным SNN одновременно достигать более разреженного возбуждения, высокой точности и повышенной энергоэффективности.
2
По сравнению с Res-ANN-104 разрыв в производительности составляет -0,95 и +0,21 процентного пункта, а энергоэффективность достигает 31,8× и 7,4× для одношаговой и четырёхшаговой моделей.
3
На ImageNet-1K одношаговая и четырёхшаговая модели Res-SNN-104 достигают точности top-1 75,92% и 77,08% соответственно; эти результаты заявлены как передовые для SNN.
4
В работе предложен многомерный модуль внимания для SNN, который раздельно или совместно моделирует временное, канальное и пространственное внимание.
5
Теоретический анализ показывает, что блочная динамическая изометрия может устранять деградацию спайков или исчезновение градиента, характерные для SNN; предложен метод визуализации спайковых откликов для анализа эффективности.
Research Object
спайковые нейронные сети (SNN)
Research Subject
влияние многомерных механизмов внимания на спайковые отклики, точность, разреженность, энергоэффективность и динамику обучения SNN
Publication Details
Publication Date
2023-01-31
Journal
Publisher
ISSN
Open access PDF
Access Type
Author Information
Download PDF
Subscribe to digest
Источники этой статьи в scid.ai5
Swin Transformer: Иерархический визуальный трансформер с использова́нием сдвинутых окон2021
ECA-Net: Эффективное канальное внимание для глубоких сверточных нейронных сетей2020
Механизмы внимания в компьютерном зрении: обзор2022
Tokens-to-Token ViT: обучение визуальных трансформеров с нуля на ImageNet2021
Обучение с использованием суррогатного градиента в спайковых нейронных сетях: перенос возможностей градиентной оптимизации в спайковые нейронные сети2019