В направлении обучения с учителем для обнаружения аномалий

Обнаружение аномалий рассматривается как задача обучения без учителя, поскольку аномалии возникают в результате враждебных или маловероятных событий с неизвестными распределениями. Однако прогностическая эффективность методов обнаружения аномалий, основанных исключительно на обучении без учителя, во многих задачах часто не позволяет достичь требуемых показателей обнаружения, что обусловливает необходимость использования размеченных данных для построения модели. В рамках первого результата показано, что классические подходы к полуобучению, исходящие из классификатора с учителем, непригодны и с трудом обнаруживают новые и неизвестные аномалии. Мы утверждаем, что обнаружение аномалий в условиях полуобучения должно основываться на парадигме обучения без учителя, и разрабатываем новый алгоритм, отвечающий этому требованию. Хотя задача оптимизации изначально является невыпуклой, далее мы показываем, что при относительно слабых предположениях она имеет эквивалентную выпуклую формулировку. Кроме того, мы предлагаем стратегию активного обучения для автоматической фильтрации кандидатов на разметку. В эмпирическом исследовании на данных об обнаружении сетевых вторжений мы показываем, что предложенная методология обучения требует значительно меньше размеченных данных, чем современные методы, и при этом обеспечивает более высокую точность обнаружения.