Logzip: извлечение скрытых структур с помощью итеративной кластеризации для сжатия журналов

Системные журналы содержат подробную информацию о времени выполнения программных систем и служат основным источником данных для решения многих задач программной инженерии. По мере превращения современных программных систем в крупномасштабные и сложные структуры журналы становятся одним из быстрорастущих типов больших данных в промышленности. В частности, на практике такие журналы часто необходимо хранить в течение длительного времени (например, одного года), чтобы анализировать повторяющиеся проблемы или отслеживать инциденты, связанные с безопасностью. Однако архивирование журналов требует значительного объема дискового пространства и вычислительных ресурсов, что приводит к высоким эксплуатационным затратам. Сжатие данных необходимо для снижения затрат на хранение журналов. Традиционные инструменты сжатия (например, gzip) хорошо работают с обычными текстами, но не адаптированы к системным журналам. В этой статье предлагается новый эффективный метод сжатия журналов Logzip. Logzip извлекает скрытые структуры из исходных журналов посредством быстрой итеративной кластеризации, а затем формирует связные промежуточные представления, обеспечивающие более эффективное сжатие. Метод Logzip оценен на пяти крупных наборах данных журналов, относящихся к различным типам систем; их общий объем составляет 63,6 ГБ. Результаты показывают, что в среднем Logzip позволяет сэкономить примерно половину дискового пространства по сравнению с традиционными инструментами сжатия. При этом архитектура Logzip хорошо поддается распараллеливанию и создает лишь незначительные накладные расходы. Кроме того, авторы делятся промышленным опытом применения Logzip в реальных продуктах Huawei.