За пределами сжатия: комплексная оценка методов сжатия чисел с плавающей запятой без потерь

Современные приложения, работающие с большими объемами данных, генерируют значительные объемы данных с плавающей запятой, которые необходимы для таких областей, как базы данных и машинное обучение. Хотя многие методы сжатия ориентированы на эффективность использования пространства, существует недостаток бенчмарков, оценивающих как эффективность сжатия, так и производительность выполнения запросов, особенно в таких задачах, как выполнение запросов in situ над сжатыми данными и задачи машинного обучения, включая измерение расстояний и поиск k ближайших соседей (k-NN) в системах генерации с дополнением поиска (Retrieval-Augmented Generation, RAG). В данной статье восполняется этот пробел посредством оценки популярных методов сжатия чисел с плавающей запятой без потерь по трем ключевым критериям: эффективности сжатия, производительности операций с базами данных и производительности запросов машинного обучения. Мы реализовали эти методы на языке Rust и интегрировали их в библиотеку с открытым исходным кодом для использования с колоночными движками. Сравнение выявляет компромиссы между эффективностью сжатия и производительностью запросов, показывая, что ни один из подходов не превосходит другие по всем направлениям, а некоторые методы обеспечивают более высокую степень сжатия ценой снижения производительности.