Импульсная нейронная сеть с адаптивной графовой свёрткой и LSTM для интерфейсов мозг—компьютер на основе ЭЭГ

A Spiking Neural Network With Adaptive Graph Convolution and LSTM for EEG-Based Brain-Computer Interfaces
Daoqiang Zhang, Yueying Zhou, Peiliang Gong, Pengpai Wang
2023-01-01

интерфейсы мозг–компьютер на основе ЭЭГадаптивная графовая свёрткадекодирование моторных образовLSTM на основе спайковспайковые нейронные сети
Классификация сигналов электроэнцефалографии (ЭЭГ) имеет важное значение для интерфейсов мозг—компьютер (ИМК). В последнее время энергоэффективные импульсные нейронные сети (ИНС) демонстрируют значительный потенциал для анализа ЭЭГ благодаря способности моделировать сложные динамические свойства биологических нейронов и одновременно обрабатывать информацию о стимулах посредством точно синхронизированных последовательностей импульсов. Однако большинство существующих методов не обеспечивают эффективного извлечения специфической пространственной топологии каналов ЭЭГ и временных зависимостей закодированных импульсов ЭЭГ. Кроме того, большинство методов разработано для конкретных задач ИМК и обладает недостаточной универсальностью. Поэтому в данном исследовании представлена новая модель ИНС с настраиваемой импульсной адаптивной графовой свёрткой и долговременной краткосрочной памятью (LSTM), получившая название SGLNet, для ИМК на основе ЭЭГ. Сначала обучаемый импульсный кодировщик преобразует исходные сигналы ЭЭГ в последовательности импульсов. Затем концепция многоголовой адаптивной графовой свёртки адаптируется к ИНС, что позволяет эффективно использовать внутреннюю пространственную топологию различных каналов ЭЭГ. Наконец, разработаны импульсные блоки LSTM для дополнительного выделения временных зависимостей импульсов. Предложенная модель оценена на двух общедоступных наборах данных, представляющих два направления ИМК: распознавание эмоций и декодирование моторных образов. Эмпирическая оценка показывает, что SGLNet стабильно превосходит существующие современные алгоритмы классификации ЭЭГ. Данная работа предлагает новый подход к разработке высокопроизводительных ИНС для будущих ИМК, характеризующихся выраженной пространственно-временной динамикой.
1
На обоих наборах данных SGLNet стабильно превосходила современные алгоритмы классификации ЭЭГ, демонстрируя улучшенную обобщаемость между задачами BCI.
2
SGLNet представляет собой спайковую нейронную сеть, объединяющую обучаемый спайковый кодировщик, адаптивную графовую свёртку и спайковые блоки LSTM для BCI на основе ЭЭГ.
3
SGLNet оценивалась на двух общедоступных наборах данных, посвящённых распознаванию эмоций и декодированию моторных образов.
4
Спайковые блоки LSTM захватывают временные зависимости в закодированных последовательностях спайков, дополняя пространственную обработку модели.
5
Модель использует многоголовую адаптивную графовую свёртку для изучения пространственных связей между каналами ЭЭГ в рамках спайковой нейронной сети.

ЭЭГ-сигналы и преобразованные в спайковые последовательности данные для задач интерфейсов мозг–компьютер

пространственно-временные взаимосвязи между каналами ЭЭГ и эффективность классификации при распознавании эмоций и декодировании моторных образов

Publication Details
Publication Date
2023-01-01
Journal
Publisher
ISSN
Cited by
116
Access Type
Author Information
Authors
Daoqiang Zhang
Yueying Zhou
Peiliang Gong
Pengpai Wang
Explore further
Open the scid.ai AI chat with a ready-made request: it will find papers on a similar topic and help build a literature review.
Find similar papers in the chat →
Make a presentation
100%