Трансформер для сетей мозга
Brain Network Transformer
2022-01-01
SCID: 54.1/shrwdemf
Discuss with AI
датасет ABIDEтрансформер для сетей мозгаанализ сетей мозгаортонормированный кластеризационный readoutпопарные силы связей
Figures from the paper
Abstract (AI)
Мозг человека обычно моделируют в виде сети областей интереса (Regions of Interest, ROI) и связей между ними для изучения функций мозга и психических расстройств. В последнее время модели на основе трансформеров исследуются для различных типов данных, включая графы, и демонстрируют значительный прирост производительности. В данной работе мы изучаем модели на основе трансформеров для анализа сетей мозга. Учитывая уникальные свойства этих данных, мы моделируем сети мозга как графы с узлами фиксированного размера и порядка, что позволяет (1) использовать профили связей в качестве признаков узлов, обеспечивая естественную и малозатратную позиционную информацию, и (2) обучать попарные силы связей между областями интереса с помощью эффективных весов внимания, общих для разных индивидов и предсказывающих результаты последующего анализа. Кроме того, мы предлагаем операцию считывания с ортонормированной кластеризацией (Orthonormal Clustering Readout), основанную на самосупервизированной мягкой кластеризации и ортонормированной проекции. Эта конструкция учитывает лежащие в основе функциональные модули, определяющие сходное поведение групп областей интереса, что приводит к различимым эмбеддингам узлов с учетом кластерной структуры и информативным эмбеддингам графов. Наконец, мы стандартизируем заново процедуру оценки на единственном общедоступном крупномасштабном наборе данных о сетях мозга ABIDE, чтобы обеспечить содержательное сравнение различных моделей. Результаты экспериментов демонстрируют явные улучшения предложенного нами трансформера для сетей мозга как на общедоступном наборе данных ABIDE, так и на нашем ограниченном наборе данных ABCD. Реализация доступна по адресу: https://github.com/Wayfear/BrainNetworkTransformer.
Key Findings
1
Эффективные веса внимания обучают попарные силы связей между областями интереса у разных людей и формируют признаки, предсказывающие результаты последующего анализа.
2
Эксперименты показывают явное улучшение результатов предложенного Brain Network Transformer на общедоступном наборе ABIDE и ограниченном наборе ABCD по сравнению с существующими моделями.
3
Brain Network Transformer моделирует сети областей интереса мозга как графы фиксированного размера и порядка, используя профили связей как недорогую позиционную информацию.
4
Авторы стандартизируют процедуру оценки на общедоступном крупномасштабном наборе данных ABIDE для содержательного сравнения моделей анализа сетей мозга.
5
Предложенная операция Orthonormal Clustering Readout сочетает самообучаемую мягкую кластеризацию и ортонормированную проекцию, создавая кластерно-ориентированные эмбеддинги узлов и информативные эмбеддинги графов.
Research Object
сети головного мозга человека, моделируемые как графы упорядоченных областей интереса (ROI) и связей между ними
Research Subject
анализ сетей головного мозга на основе Transformer, включая обучение попарным силам связей между ROI, формирование кластерно-ориентированных представлений узлов и графов, а также предсказательную эффективность в последующих задачах
Publication Details
Publication Date
2022-01-01
Journal
Publisher
ISSN
Open access PDF
Access Type
Author Information
Download PDF
Subscribe to digest