DeepAnT: Подход на основе глубокого обучения для неконтролируемого обнаружения аномалий во временных рядах

Традиционные методы обнаружения аномалий, основанные на расстояниях и плотности, не способны выявлять точечные аномалии, связанные с периодичностью и сезонностью, которые часто встречаются в потоковых данных. Это создает существенный пробел в обнаружении аномалий во временных рядах в современную эпоху Интернета вещей (IoT). Для решения этой проблемы мы предлагаем новый подход к обнаружению аномалий во временных рядах на основе глубокого обучения (DeepAnT), применимый также к непотоковым данным. DeepAnT способен выявлять широкий спектр аномалий во временных рядах, включая точечные и контекстные аномалии, а также дискорды. В отличие от методов обнаружения аномалий, в которых обучаются сами аномалии, DeepAnT использует неразмеченные данные для выявления и изучения распределения данных, которое затем применяется для прогнозирования нормального поведения временного ряда. DeepAnT состоит из двух модулей: предиктора временного ряда и детектора аномалий. Модуль предиктора временного ряда использует глубокую сверточную нейронную сеть (CNN) для прогнозирования следующей временной отметки на заданном горизонте. Этот модуль принимает окно временного ряда в качестве контекста и пытается предсказать следующую временную отметку. Затем прогнозируемое значение передается в модуль детектора аномалий, который отвечает за маркировку соответствующей временной отметки как нормальной или аномальной. DeepAnT можно обучать без удаления аномалий из исходного набора данных. Как правило, для обучения модели подходам на основе глубокого обучения требуются большие объемы данных. В то же время DeepAnT можно обучать на относительно небольшом наборе данных, обеспечивая хорошие возможности обобщения благодаря эффективному совместному использованию параметров CNN. Поскольку обнаружение аномалий в DeepAnT является неконтролируемым, подход не зависит от меток аномалий при создании модели. Поэтому его можно непосредственно применять в реальных сценариях, где практически невозможно разметить большой поток данных, поступающих от разнородных датчиков и содержащих как нормальные, так и аномальные точки. Мы провели подробную оценку 15 алгорит...