Влияние столбцовых форматов файлов на производительность SQL-on-Hadoop-систем: исследование ORC и Parquet

Столбцовые форматы файлов обеспечивают эффективный способ хранения данных для выполнения запросов с использованием SQL-on-Hadoop-систем. В предыдущих исследованиях производительность вычислительного механизма и формата файла рассматривалась совместно, что не позволяло оценить их индивидуальное влияние. В данной работе предлагается альтернативный подход: за счёт выполнения каждого формата файла на одном и том же вычислительном механизме мы сравниваем различные форматы файлов и настройки их параметров. Предложенная стратегия применяется к двум вычислительным механизмам — Hive и SparkSQL, а также оценивается производительность двух столбцовых форматов файлов — ORC и Parquet. Для этого используется BigBench (TPCx-BB) — стандартизированный прикладной тест производительности для сценариев обработки больших данных. Результаты экспериментов подтверждают, что выбор формата файла и его конфигурации существенно влияют на общую производительность. Показано, что ORC в целом обеспечивает более высокую производительность при использовании Hive, тогда как Parquet достигает наилучших результатов с SparkSQL. Использование сжатия ZLIB обеспечивает улучшение производительности до 60,2% для ORC, тогда как Parquet демонстрирует улучшение до 7% при использовании Snappy. Исключение составляют запросы, связанные с обработкой текста, для которых использование любого сжатия не даёт преимуществ.