Hue: адаптивный к пользователю парсер гибридных журналов

Разбор журналов, который извлекает шаблоны журналов из полуструктурированных журналов и формирует структурированные журналы, является первым и наиболее важным этапом автоматизированного анализа журналов. Хотя существующие парсеры журналов демонстрируют приемлемую эффективность, по своей конструкции они имеют два существенных ограничения. Во-первых, они изначально не поддерживают гибридные журналы, состоящие как из однострочных, так и из многострочных записей, например исключений Java и счетчиков Hadoop. Во-вторых, они недостаточно эффективно интегрируют предметные знания в процесс разбора, что затрудняет идентификацию неоднозначных токенов в журналах. В данной статье сформулирована новая исследовательская задача — разбор гибридных журналов, являющийся обобщением традиционных задач разбора журналов, — и предложен Hue, первый подход к разбору гибридных журналов с адаптацией к пользователю. В частности, Hue преобразует каждое сообщение журнала в последовательность специальных подстановочных символов с использованием таблицы приведения ключей и определяет типы журналов посредством агрегирования строк и извлечения шаблонов. Кроме того, Hue эффективно использует обратную связь от пользователя с помощью новой стратегии объединения и отклонения, что позволяет быстро адаптироваться к сложным и изменяющимся шаблонам журналов. Мы оценили Hue на трех наборах данных гибридных журналов и шестнадцати широко используемых наборах данных однострочных журналов из Loghub. Результаты показывают, что Hue достигает средней точности группировки 0,845 для гибридных журналов, значительно превосходя лучшие результаты существующих парсеров, среднее значение которых составляет 0,563. Hue также демонстрирует наилучшие на сегодняшний день результаты на наборах данных однострочных журналов.