Эмпирическая оценка колоночных форматов хранения данных

Колоночное хранение является ключевым компонентом современной системы аналитики данных. Хотя многие системы управления базами данных (СУБД) используют проприетарные форматы хранения, большинство из них обеспечивает широкую поддержку открытых форматов хранения, таких как Parquet и ORC, для упрощения кроссплатформенного обмена данными. Однако эти форматы были разработаны более десяти лет назад, в начале 2010-х годов, для экосистемы Hadoop. С тех пор существенно изменились как аппаратное обеспечение, так и характер рабочих нагрузок. В этой статье мы повторно исследуем наиболее широко используемые открытые колоночные форматы хранения данных (Parquet и ORC), подробно анализируя их внутреннее устройство. Мы разработали бенчмарк для стресс-тестирования производительности и эффективности использования пространства этими форматами при различных конфигурациях рабочих нагрузок. На основе всесторонней оценки Parquet и ORC мы выявили проектные решения, эффективные для современного аппаратного обеспечения и реальных распределений данных. К ним относятся использование словарного кодирования по умолчанию, предпочтение скорости декодирования степени сжатия в алгоритмах кодирования целых чисел, возможность отключения блочного сжатия и встраивание вспомогательных структур данных с более высокой степенью детализации. Мы также выявили неэффективность проектных решений форматов при обработке распространённых рабочих нагрузок машинного обучения и использовании графических процессоров (GPU) для декодирования. Наш анализ позволил определить важные аспекты, которые могут направить разработку будущих форматов на лучшее соответствие современным технологическим тенденциям.