Высококоэффициентное сжатие данных, генерируемых машинами

Объем данных, генерируемых машинами, быстро растет, создавая проблемы для систем, интенсивно работающих с данными, особенно поскольку темпы роста данных опережают темпы увеличения объема хранилищ. Для решения проблемы хранения сжатие играет критически важную роль в подсистемах хранения, особенно в приложениях, интенсивно работающих с данными, где необходимы высокие коэффициенты сжатия и эффективный произвольный доступ. Однако существующие методы сжатия, как правило, ориентированы на универсальные подходы и обработку блоков данных, не учитывают внутреннюю структуру данных, генерируемых машинами, и поэтому обеспечивают низкие коэффициенты сжатия или ограниченную эффективность поиска. Для устранения этих ограничений мы предлагаем алгоритм сжатия на основе шаблонов (Pattern-Based Compression, PBC), специально ориентированный на закономерности в данных, генерируемых машинами, что в большинстве случаев позволяет достичь оптимальности по Парето. В отличие от традиционных методов сжатия на основе блоков данных, PBC сжимает данные на уровне отдельных записей, обеспечивая быстрый произвольный доступ. Экспериментальная оценка показывает, что в среднем коэффициент сжатия PBC вдвое выше, чем у современных методов, при сохранении сопоставимых скоростей сжатия и распаковки. Кроме того, интеграция PBC в промышленную систему управления базами данных позволила улучшить как коэффициент сжатия, так и пропускную способность.