Высококоэффициентное сжатие данных, генерируемых машинами

Объём данных, генерируемых машинами, быстро растёт, создавая проблемы для систем, интенсивно использующих данные, особенно поскольку темпы роста данных опережают увеличение ёмкости хранилищ. Для решения проблемы хранения сжатие играет ключевую роль в подсистемах хранения, особенно в приложениях, интенсивно использующих данные, где необходимы высокий коэффициент сжатия и эффективный произвольный доступ. Однако существующие методы сжатия, как правило, ориентированы на универсальные подходы и подходы на основе блоков данных, не учитывая внутреннюю структуру данных, генерируемых машинами, что приводит к низкому коэффициенту сжатия или ограниченной эффективности поиска. Для устранения этих ограничений мы предлагаем алгоритм сжатия на основе шаблонов (Pattern-Based Compression, PBC), специально ориентированный на закономерности в данных, генерируемых машинами, что в большинстве случаев позволяет достичь оптимальности по Парето. В отличие от традиционных методов на основе блоков данных, PBC сжимает данные на уровне отдельных записей, обеспечивая быстрый произвольный доступ. Экспериментальная оценка показывает, что в среднем коэффициент сжатия PBC в два раза выше, чем у передовых современных методов, при сохранении сопоставимой скорости сжатия и распаковки. Мы также интегрировали PBC в промышленную систему управления базами данных и улучшили как коэффициент сжатия, так и пропускную способность.