LogFold: сжатие журналов с использованием структурированных токенов и гибридного кодирования

Журналы необходимы для диагностики сбоев и проведения ретроспективных исследований, поэтому многие организации, разрабатывающие программное обеспечение, хранят журнальные сообщения в течение длительного времени. Однако объем генерируемых журнальных данных быстро растет по мере усложнения программных систем, что требует эффективного метода сжатия. Помимо универсальных средств сжатия (например, Gzip и Bzip2), в последние годы было разработано множество алгоритмов сжатия, специализированных для журналов, однако их производительность остается неоптимальной по двум причинам: (1) они не учитывают избыточность внутри некоторых сложных токенов и (2) не используют детализированную стратегию кодирования для различных типов токенов. В данной работе выявлена новая закономерность избыточности в структурированных токенах и предложена новая стратегия кодирования с учетом типа токена для повышения эффективности сжатия журналов. На основе этого наблюдения представлен LogFold — новый метод сжатия журналов, состоящий из четырех компонентов: анализатора токенов, классифицирующего токены как структурированные, неструктурированные или статические; процессора, выявляющего повторяющиеся шаблоны внутри структурированных токенов на основе их скелетов разделителей; гибридного кодировщика, адаптирующего представление данных к типу токена; и упаковщика, сжимающего результат в архивный файл. Масштабные эксперименты на 16 общедоступных наборах журнальных данных показали, что LogFold превосходит современные базовые методы, обеспечивая среднее улучшение коэффициента сжатия на 11.11% при скорости сжатия 9.842 МБ/с. Исследования методом абляции дополнительно подтверждают важность каждого компонента. Кроме того, проведен анализ чувствительности, подтвердивший устойчивость и стабильность LogFold при различных внутренних настройках.