BtrBlocks: эффективное столбцовое сжатие для озёр данных

Аналитика перемещается в облако, а данные — в озёра данных. Они размещаются в сервисах объектного хранения, таких как S3, и обеспечивают бесшовный обмен данными и совместимость систем. Для этого многие системы используют открытые форматы хранения, такие как Apache Parquet. Однако эти форматы не оптимизированы для озёр данных с удалённым доступом и современных высокопроизводительных сетей. Неэффективная распаковка делает сканирование данных ограниченным производительностью центрального процессора, что увеличивает время выполнения запросов и их стоимость. В этой работе мы представляем BtrBlocks — открытый столбцовый формат хранения, разработанный для озёр данных. BtrBlocks использует набор облегчённых схем кодирования, обеспечивая быструю и эффективную распаковку и высокую степень сжатия.