Loghub: большая коллекция наборов данных системных журналов для аналитики журналов на основе искусственного интеллекта

Журналы широко применяются при разработке и сопровождении программных систем, поскольку содержат богатую информацию о функционировании систем во время выполнения. В последние годы увеличение размера и сложности программного обеспечения привело к стремительному росту объёма журналов. Для эффективной обработки этих больших объёмов журналов сформировалось направление исследований, сосредоточенное на разработке интеллектуальных и автоматизированных методов анализа журналов. Однако лишь немногие из этих методов были успешно внедрены в промышленности из-за отсутствия общедоступных наборов данных журналов и открытого бенчмаркинга на их основе. Чтобы восполнить этот существенный пробел и стимулировать дальнейшие исследования в области аналитики журналов на основе искусственного интеллекта, мы собрали и опубликовали Loghub — большую коллекцию наборов данных системных журналов. В частности, Loghub предоставляет 19 наборов данных реальных журналов, собранных из широкого спектра программных систем, включая распределённые системы, суперкомпьютеры, операционные системы, мобильные системы, серверные приложения и автономное программное обеспечение. В статье обобщается статистика этих наборов данных, рассматриваются практические сценарии их использования и представлены результаты бенчмаркинга на основе Loghub, призванные помочь исследователям и практикам в данной области. На момент написания статьи наборы данных Loghub были скачаны в общей сложности примерно 90 000 раз сотнями организаций из промышленности и академической сферы. Наборы данных Loghub доступны по адресу: https://github.com/logpai/loghub.