Разбор журналов с возможностью обобщения на новые типы журналов

Разбор журналов, преобразующий полуструктурированные журналы в структурированные, является первым этапом автоматизированного анализа журналов. Существующие средства разбора по-прежнему неудовлетворительно работают в реальных системах из-за появления новых типов журналов во вновь генерируемых данных. На практике журналы, собранные во время работы системы, часто не содержат всех возможных типов журналов, поскольку типы, связанные с редко активируемыми состояниями системы, с малой вероятностью будут зарегистрированы, тогда как новые типы журналов регулярно появляются при обновлении системы. Кроме того, большинство существующих средств разбора требуют предварительной обработки для заблаговременного выделения переменных; однако такая обработка основывается на априорных знаниях оператора о доступных журналах и поэтому может плохо работать с новыми типами журналов. Более того, параметры средств разбора, настроенные на основе доступных журналов, трудно обобщить на новые типы журналов. Для поддержки новых типов журналов мы предлагаем стратегию имитации генерации переменных и разрабатываем новый подход к разбору журналов с возможностью обобщения, получивший название Log3T. Log3T использует предварительно обученную модель на основе трансформерного кодировщика для извлечения шаблонов журналов и обновляет свои параметры непосредственно во время разбора, адаптируясь к новым типам журналов с помощью модифицированного обучения во время тестирования. Результаты экспериментов на 16 эталонных наборах данных показывают, что Log3T превосходит современные средства разбора по точности разбора. Кроме того, Log3T может автоматически адаптироваться к новым типам журналов во вновь поступающих данных.