Надёжное и переносимое обнаружение аномалий на основе журналов

Сообщения журналов предоставляют ценный источник информации о работе системы, необходимый для обеспечения её безопасности и согласованности. В последнее время было предложено множество методов машинного и глубокого обучения для автоматического обнаружения аномальных сообщений журналов, что устраняет необходимость их ручного выявления экспертами. Однако на практике эффективность существующих методов на основе обучения существенно снижается из-за неполноты информации и сдвига распределения. В частности, каждое сообщение журнала фактически может быть разобрано на фиксированное число ключевых информационных полей, тогда как существующие методы анализируют сообщения, используя только информацию о событии журнала, и игнорируют другие полезные информационные поля, которые могут иметь решающее значение для обнаружения аномалий. Кроме того, распределение сообщений реальных журналов непрерывно изменяется вследствие динамической природы среды выполнения, поэтому модель обнаружения, традиционно обученная на основе нереалистичного предположения о независимости и одинаковом распределении (i.i.d.), может не обеспечивать ожидаемую и стабильную производительность. В данной работе представлена надёжная и переносимая платформа обнаружения аномалий RT-Log, предназначенная для решения указанных проблем. Для всестороннего анализа сообщений журналов мы вводим метод адаптивного моделирования связей, который избирательно и динамически выявляет взаимодействия признаков между информационными полями журнала, обеспечивая эффективные и интерпретируемые представления журналов. Для обеспечения надёжности и переносимости метода мы предлагаем универсальную технику обобщения по средам, предназначенную для обучения представлений, инвариантных к среде и способных обобщаться на различные среды выполнения. Мы оцениваем эффективность обнаружения аномалий RT-Log на крупных наборах данных из реального мира. Обширные экспериментальные результаты показывают, что в различных условиях RT-Log стабильно превосходит современные методы с существенным отрывом.