Обучение структур графов с помощью Transformer для обнаружения аномалий в многомерных временных рядах в Интернете вещей

Многие реальные системы Интернета вещей (IoT), включающие разнообразные сенсорные устройства, подключенные к Интернету, генерируют значительные объемы данных многомерных временных рядов. Между тем критически важная инфраструктура IoT, такая как интеллектуальные электрические сети и сети распределения воды, часто подвергается кибератакам, что делает обнаружение аномалий важным направлением исследований. Моделирование таких взаимосвязей, тем не менее, необходимо для построения эффективной системы обнаружения аномалий, учитывая сложные топологические и нелинейные связи между датчиками, которые изначально неизвестны. Кроме того, обнаружение аномалий в многомерных временных рядах затруднено их временными зависимостями и стохастичностью. В данной статье представлен GTA — новый подход к обнаружению аномалий в многомерных временных рядах, включающий автоматическое обучение структуры графа, выполнение графовой свертки и моделирование временных зависимостей с использованием архитектуры на основе Transformer. В основе обучения структуры графа лежит стратегия обучения связей, основанная на методе выборки Gumbel–softmax, которая непосредственно обучает двунаправленные связи между датчиками. Для описания потока информации об аномалиях между узлами сети предложена новая графовая свертка, названная сверткой распространения влияния (Influence Propagation convolution). Кроме того, для преодоления ограничения, обусловленного квадратичной вычислительной сложностью, предложен механизм многоветвевого внимания, заменяющий исходный метод многоголового самовнимания. Масштабные эксперименты на четырех общедоступных эталонных наборах данных для обнаружения аномалий дополнительно демонстрируют превосходство предложенного подхода над альтернативными современными методами. Исходный код доступен по адресу: https://github.com/ZEKAICHEN/GTA.