Практический подход к обнаружению и локализации аномалий в асинхронных многомерных временных рядах

Инженеры eBay используют надежные методы мониторинга сигналов ИТ-систем для обнаружения аномалий. Однако увеличение масштаба этих сигналов как по объему, так и по размерности превышает возможности традиционных статистических моделей пространства состояний и методов обучения с учителем. Поэтому в современных исследованиях все чаще рассматриваются передовые методы, основанные на глубоком обучении без учителя. Тем не менее при реализации таких методов мы обнаружили ряд недостатков, включая необходимость частичной разметки и ограниченную эффективность на многомерных наборах данных, а также другие проблемы, обсуждаемые в настоящей работе. Мы предлагаем практический подход к выявлению аномалий в больших многомерных наборах данных. Мы отмечаем, что в реальных приложениях имеется множество временных рядов, демонстрирующих асинхронные, но устойчиво повторяющиеся вариации, например в ИТ-системах, метеорологии, коммунальном хозяйстве и транспортных системах. Наше решение разработано с учетом этого свойства. В нем применяется спектральный анализ латентного представления предварительно обученного автокодировщика для извлечения доминирующих частот в различных сигналах. Затем эти частоты используются в следующей нейронной сети, которая обучается определять фазовые сдвиги между сигналами и формирует синхронизированное представление исходных многомерных данных. Случайные подмножества синхронизированных многомерных данных затем подаются на массив автокодировщиков, обучаемых минимизировать квантильные ошибки реконструкции. На основе полученных моделей аномалии выявляются и локализуются с помощью голосования по большинству. Мы сравниваем этот метод с передовыми подходами на общедоступных наборах данных и данных eBay, используя методы оценки, приведенные в соответствующих исследованиях. Кроме того, мы рассматриваем ограничения этих методов оценки и предлагаем более реалистичный метод оценки.