LogShrink: эффективное сжатие журналов за счёт использования их общих и вариативных характеристик

Данные журналов являются важным ресурсом для регистрации событий и состояний системы в процессе её выполнения. Однако по мере увеличения масштаба систем генерация данных журналов становится всё более интенсивной, что приводит к значительным затратам на их хранение — в производственных средах объём может достигать нескольких петабайт в сутки. Для решения этой проблемы сжатие журналов стало важной задачей, позволяющей сократить требования к дисковому пространству и сохранить возможность дальнейшего анализа журналов. К сожалению, существующие универсальные и специализированные методы сжатия журналов обладают ограниченной способностью использовать характерные свойства данных журналов. Для преодоления этих ограничений мы провели эмпирическое исследование и выявили три основных характеристики данных журналов, которые могут способствовать их сжатию. На основе этих наблюдений мы предлагаем LogShrink — новый эффективный метод сжатия журналов, использующий их общие и вариативные характеристики. Для выявления скрытых общих и вариативных характеристик сообщений журналов предложен анализатор, основанный на методах наибольшей общей подпоследовательности и энтропии. Ключевая идея состоит в том, что общие и вариативные характеристики можно использовать для представления данных журналов в более компактной форме. Кроме того, для ускорения работы анализатора общих и вариативных характеристик введён выбор последовательностей на основе кластеризации. Обширные экспериментальные результаты показывают, что по коэффициенту сжатия LogShrink в среднем превосходит базовые методы на 16–356%, сохраняя при этом приемлемую скорость сжатия.