Обнаружение аномалий без учителя с помощью вариационного автокодировщика для сезонных KPI в веб-приложениях

Для обеспечения непрерывности бизнеса крупные интернет-компании должны внимательно отслеживать различные ключевые показатели эффективности (KPI), например просмотры страниц, число онлайн-пользователей и число заказов, в своих веб-приложениях, чтобы точно обнаруживать аномалии и своевременно инициировать устранение и смягчение последствий. Однако обнаружение аномалий для этих сезонных KPI с разнообразными паттернами и переменным качеством данных представляет собой значительную проблему, особенно при отсутствии меток. В этой статье мы предлагаем Donut, алгоритм необучаемого обнаружения аномалий на основе вариационного автокодировщика (VAE). Благодаря ряду ключевых приёмов Donut существенно превосходит современный контролируемый ансамблевый подход и базовый VAE-подход; его лучшие F-меры для изученных KPI от одной из ведущих мировых интернет-компаний находятся в диапазоне от 0.75 до 0.9. Мы предлагаем новую интерпретацию реконструкции для Donut через оценку ядровой плотности (KDE), что делает его первым VAE-основанным алгоритмом обнаружения аномалий с убедительным теоретическим обоснованием.