LogShrink: эффективное сжатие журналов за счёт использования общих и вариативных характеристик данных журналов

Данные журналов являются важнейшим ресурсом для регистрации событий и состояний системы в процессе её выполнения. Однако по мере масштабирования систем объём генерируемых данных журналов стремительно возрастает, что приводит к значительным затратам на их хранение — в производственных средах они могут достигать нескольких петабайт в сутки. Для решения этой проблемы сжатие журналов стало важной задачей, позволяющей сократить потребность в дисковом пространстве и одновременно сохранить возможность дальнейшего анализа журналов. К сожалению, существующие универсальные методы сжатия и методы, специально разработанные для журналов, в ограниченной степени используют особенности данных журналов. Чтобы преодолеть эти ограничения, мы провели эмпирическое исследование и выявили три основные характеристики данных журналов, которые могут способствовать решению задачи их сжатия. На основе этих наблюдений мы предлагаем LogShrink — новый эффективный метод сжатия журналов, использующий общие и вариативные характеристики данных журналов. Для выявления скрытых общих и вариативных свойств сообщений журналов предложен анализатор, основанный на методах наибольшей общей подпоследовательности и энтропии. Ключевая идея заключается в том, что общие и вариативные свойства можно использовать для представления данных журналов в более компактной форме. Кроме того, для ускорения работы анализатора общих и вариативных свойств введён выборщик последовательностей на основе кластеризации. Обширные экспериментальные результаты показывают, что по коэффициенту сжатия LogShrink в среднем превосходит базовые методы на 16–356%, сохраняя приемлемую скорость сжатия.