Обнаружение выбросов в данных мониторинга с использованием многослойного автокодировщика

Данные мониторинга содержат важную информацию о состоянии контролируемого объекта и служат основой для последующего интеллектуального анализа и обработки данных. Однако данные мониторинга часто загрязнены выбросами, что отрицательно влияет на последующую обработку данных. Для решения этой проблемы в статье предлагается метод обнаружения выбросов на основе многослойного автокодировщика (stacked autoencoder, SAE). SAE обладает высокой способностью к извлечению признаков и в значительной степени сохраняет исходную информацию, содержащуюся в данных. SAE, обученный на нормальных данных, способен изучать характеристики нормальных данных. При подаче на вход обученной сети набора данных, содержащего выбросы, для выбросов возникают большие ошибки реконструкции между исходными входными данными и реконструированными данными, полученными посредством отображения параметров кодирования и декодирования, что позволяет локализовать выбросы. Кроме того, в статье вводятся критерий Граббса и критерий ПауТа для выявления ошибок реконструкции, соответствующих выбросам, на основе традиционного порогового метода. Предлагаемый метод позволяет быстро отделять аномальные данные от нормальных по величине ошибки реконструкции и критерию идентификации. Эффективность и превосходство предложенного метода подтверждены экспериментами на реальных данных и сравнением с традиционными алгоритмами обнаружения выбросов.