LogParser-LLM: повышение эффективности анализа журналов с помощью больших языковых моделей

Журналы представляют собой повсеместные цифровые следы, играющие незаменимую роль в диагностике систем, анализе безопасности и оптимизации производительности. Извлечение практически значимой информации из журналов критически зависит от процесса их разбора, который преобразует необработанные журналы в структурированные форматы для последующего анализа. Однако сложность современных систем и динамический характер журналов создают серьезные проблемы для существующих методов автоматического разбора. Появление больших языковых моделей (Large Language Models, LLM) открывает новые возможности. Благодаря обширным знаниям и способности учитывать контекст LLM преобразовали широкий спектр прикладных областей. На этой основе мы представляем LogParser-LLM — новый анализатор журналов, интегрирующий возможности LLM. Такое объединение обеспечивает органичное сочетание семантических представлений со статистическими особенностями, устраняет необходимость настройки гиперпараметров и использования размеченных обучающих данных, а также обеспечивает быструю адаптацию посредством онлайн-разбора. В рамках дальнейшего исследования мы рассматриваем сложную проблему гранулярности разбора, предлагаем новую метрику и интегрируем взаимодействие с пользователем, позволяя ему настраивать гранулярность в соответствии с конкретными потребностями. Эффективность метода эмпирически продемонстрирована в экспериментах на наборе Loghub-2k и крупномасштабном бенчмарке LogPub. В экспериментах на бенчмарке LogPub, включавших в среднем 3,6 миллиона журналов на набор для 14 наборов данных, LogParser-LLM требовал в среднем всего 272,5 обращений к LLM, достигая показателя F1, равного 90,6%, для точности группировки и 81,1% для точности разбора. Эти результаты демонстрируют высокую эффективность и точность метода, превосходящего современные передовые анализаторы журналов, включая методы на основе шаблонов, нейронных сетей и существующие подходы с усилением LLM.