Logzip: извлечение скрытых структур с помощью итеративной кластеризации для сжатия журналов

Системные журналы содержат подробную информацию о времени выполнения программных систем и используются в качестве основного источника данных для многих задач в области программной инженерии. По мере развития современных программных систем в сторону крупномасштабных и сложных структур журналы становятся одним из наиболее быстро растущих видов больших данных в промышленности. В частности, на практике такие журналы часто необходимо хранить в течение длительного времени, например года, чтобы анализировать повторяющиеся проблемы или отслеживать инциденты информационной безопасности. Однако архивирование журналов требует значительного объема дискового пространства и вычислительных ресурсов, что, в свою очередь, приводит к высоким эксплуатационным затратам. Сжатие данных необходимо для снижения затрат на хранение журналов. Традиционные инструменты сжатия, например gzip, хорошо работают с обычными текстами, но не адаптированы к системным журналам. В этой статье мы предлагаем новый эффективный метод сжатия журналов под названием Logzip. Logzip способен извлекать скрытые структуры из необработанных журналов посредством быстрой итеративной кластеризации, а затем формировать связные промежуточные представления, обеспечивающие более эффективное сжатие. Мы оцениваем Logzip на пяти больших наборах журналов, полученных от систем разных типов, общим объемом 63,6 ГБ. Результаты показывают, что в среднем Logzip позволяет сократить примерно наполовину объем хранилища по сравнению с традиционными инструментами сжатия. Кроме того, архитектура Logzip хорошо распараллеливается и создает лишь пренебрежимо малые накладные расходы. Наконец, мы делимся промышленным опытом применения Logzip в реальных продуктах Huawei.