Обучение структур графов с помощью Transformer для обнаружения аномалий в многомерных временных рядах в Интернете вещей
Learning Graph Structures With Transformer for Multivariate Time-Series Anomaly Detection in IoT
2021-07-27
SCID: 54.1/w7jzc8ns
Discuss with AI
обучение графа с помощью Gumbel-softmaxсвертка распространения влияниясенсорные сети IoTархитектура на основе Transformerобнаружение аномалий в многомерных временных рядах
Figures from the paper
Abstract (AI)
Многие реальные системы Интернета вещей (IoT), включающие разнообразные сенсорные устройства, подключенные к Интернету, генерируют значительные объемы данных многомерных временных рядов. Между тем критически важная инфраструктура IoT, такая как интеллектуальные электрические сети и сети распределения воды, часто подвергается кибератакам, что делает обнаружение аномалий важным направлением исследований. Моделирование таких взаимосвязей, тем не менее, необходимо для построения эффективной системы обнаружения аномалий, учитывая сложные топологические и нелинейные связи между датчиками, которые изначально неизвестны. Кроме того, обнаружение аномалий в многомерных временных рядах затруднено их временными зависимостями и стохастичностью. В данной статье представлен GTA — новый подход к обнаружению аномалий в многомерных временных рядах, включающий автоматическое обучение структуры графа, выполнение графовой свертки и моделирование временных зависимостей с использованием архитектуры на основе Transformer. В основе обучения структуры графа лежит стратегия обучения связей, основанная на методе выборки Gumbel–softmax, которая непосредственно обучает двунаправленные связи между датчиками. Для описания потока информации об аномалиях между узлами сети предложена новая графовая свертка, названная сверткой распространения влияния (Influence Propagation convolution). Кроме того, для преодоления ограничения, обусловленного квадратичной вычислительной сложностью, предложен механизм многоветвевого внимания, заменяющий исходный метод многоголового самовнимания. Масштабные эксперименты на четырех общедоступных эталонных наборах данных для обнаружения аномалий дополнительно демонстрируют превосходство предложенного подхода над альтернативными современными методами. Исходный код доступен по адресу: https://github.com/ZEKAICHEN/GTA.
Key Findings
1
Механизм многоветвевого внимания заменяет стандартное многоголовое самовнимание, снижая проблему его квадратичной вычислительной сложности.
2
Эксперименты на четырёх общедоступных наборах данных для обнаружения аномалий показали превосходство GTA над альтернативными современными методами.
3
GTA — это система обнаружения аномалий в многомерных временных рядах IoT, объединяющая обучение графа датчиков, графовую свёртку и моделирование временных зависимостей архитектурой на основе Transformer.
4
Предложена свёртка Influence Propagation для моделирования распространения информации об аномалиях между узлами сети.
5
Система автоматически обучает направленные связи между датчиками с помощью выборки Gumbel-softmax, не полагаясь на заранее известную топологию или заданные взаимосвязи.
Research Object
многомерные временные ряды, генерируемые сенсорными сетями и инфраструктурами IoT
Research Subject
аномалии, их пространственно-временные зависимости и отношения влияния между датчиками для целей обнаружения
Publication Details
Publication Date
2021-07-27
Journal
Publisher
ISSN
Cited by
642
Open access PDF
Access Type
Author Information
Download PDF
Subscribe to digest
Источники этой статьи в scid.ai10
Генеративно-состязательные сети2020
Графовые нейронные сети: обзор методов и приложений2020
Informer: эффективный трансформер для прогнозирования временных рядов большой длины и дальнейшее развитие этого подхода2021
Динамическая графовая сверточная нейронная сеть для обучения на облаках точек2019
Надёжное обнаружение аномалий в многомерных временных рядах с использованием стохастической рекуррентной нейронной сети2019
Обзор выявления выбросов/аномалий во временных рядах2021
Глубокое обучение для больших данных и потоковой аналитики Интернета вещей: обзор2018
Обнаружение аномалий в многомерных временных рядах на основе графовых нейронных сетей2021
Обнаружение аномалий в многомерных временных рядах с помощью графовой сети внимания2020
DeepAnT: Подход на основе глубокого обучения для неконтролируемого обнаружения аномалий во временных рядах2018
Работы, цитирующие эту статью8
Трансформеры во временных рядах: обзор2023
Глубокое обучение для обнаружения аномалий во временных рядах: обзор2024
Глубокое обучение для обнаружения аномалий во временных рядах данных: обзор, анализ и рекомендации2021
Обзор графовых нейронных сетей для временных рядов: прогнозирование, классификация, импутация и обнаружение аномалий2024
DCdetector: контрастивное обучение представлений временных рядов с двойным вниманием для обнаружения аномалий2023
Интерактивный искусственный интеллект с генерацией с расширенным поиском для сетей следующего поколения2024
Обнаружение аномалий в динамических графах: всесторонний обзор2024
Anomaly Transformer: обнаружение аномалий во временных рядах с использованием расхождения ассоциаций2024