Обнаружение аномалий в потоковых данных в реальном времени без учителя

Наблюдается значительный рост доступности потоковых данных и данных временных рядов. Во многом обусловленные распространением подключённых источников данных, работающих в реальном времени, эти данные создают как технические проблемы, так и новые возможности. Одной из ключевых возможностей потоковой аналитики является моделирование каждого потока без учителя и обнаружение необычного, аномального поведения в реальном времени. Раннее обнаружение аномалий имеет большую ценность, однако на практике его бывает трудно выполнять надёжно. Ограничения прикладных систем требуют обрабатывать данные в реальном времени, а не пакетами. Потоковым данным изначально свойственен дрейф концепции, поэтому предпочтительны алгоритмы, способные непрерывно обучаться. Кроме того, огромное количество независимых потоков, встречающееся на практике, требует полной автоматизации детекторов аномалий. В данной работе предлагается новый алгоритм обнаружения аномалий, удовлетворяющий этим ограничениям. Метод основан на алгоритме онлайн-памяти последовательностей, называемом иерархической временной памятью (Hierarchical Temporal Memory, HTM). Также представлены результаты, полученные с использованием Numenta Anomaly Benchmark (NAB) — набора для тестирования, содержащего реальные потоки данных с размеченными аномалиями. Этот набор, первый в своём роде, предоставляет контролируемую среду с открытым исходным кодом для тестирования алгоритмов обнаружения аномалий на потоковых данных. Представлены результаты и анализ широкого спектра алгоритмов на этом наборе, а также обсуждены будущие задачи развивающейся области потоковой аналитики.