Сервис обнаружения аномалий во временных рядах в Microsoft

Крупным компаниям необходимо в режиме реального времени отслеживать различные метрики (например, количество просмотров страниц и доход) своих приложений и сервисов. В Microsoft мы разрабатываем сервис обнаружения аномалий во временных рядах, который помогает клиентам непрерывно контролировать временные ряды и своевременно получать оповещения о потенциальных инцидентах. В данной статье представлены конвейер и алгоритм нашего сервиса обнаружения аномалий, разработанные с учетом требований к точности, эффективности и универсальности. Конвейер состоит из трех основных модулей: приема данных, платформы для проведения экспериментов и онлайн-вычислений. Для решения задачи обнаружения аномалий во временных рядах мы предлагаем новый алгоритм, основанный на спектральном остатке (Spectral Residual, SR) и сверточной нейронной сети (Convolutional Neural Network, CNN). Наша работа представляет собой первую попытку адаптировать модель SR из области обнаружения визуальной значимости к задаче обнаружения аномалий во временных рядах. Кроме того, мы инновационно объединяем SR и CNN для повышения эффективности модели SR. Наш подход демонстрирует превосходящие результаты экспериментов по сравнению с базовыми методами, соответствующими современному уровню, как на общедоступных наборах данных, так и на производственных данных Microsoft.