Комплексный обзор методов обнаружения аномалий для больших данных высокой размерности

Обнаружение аномалий в данных высокой размерности становится фундаментальной исследовательской задачей, имеющей различные применения в реальном мире. Однако многие существующие методы обнаружения аномалий не обеспечивают достаточной точности из-за так называемых «больших данных», характеризующихся большими объемами и высокой скоростью формирования данных из множества источников. Сосуществование этих двух проблем можно обозначить как «проклятие большой размерности», которое влияет на существующие методы как с точки зрения производительности, так и точности. Для устранения этого пробела и понимания сути проблемы необходимо выявить уникальные трудности, возникающие при обнаружении аномалий в условиях одновременно высокой размерности и больших данных. Поэтому данный обзор направлен на представление современного состояния исследований по обнаружению аномалий в больших данных высокой размерности посредством треугольной модели с тремя вершинами: проблема (большая размерность), методы/алгоритмы (обнаружение аномалий) и инструменты (приложения/фреймворки для работы с большими данными). В обзоре рассматриваются работы авторов, непосредственно относящиеся к любой из вершин или тесно с ними связанные. Кроме того, обсуждаются ограничения традиционных подходов и современных стратегий обработки данных высокой размерности, а также новейшие методы и приложения для больших данных, необходимые для оптимизации обнаружения аномалий.