До последнего бита: кодирование данных на основе данных с помощью CodecDB

Колонковые базы данных используют специализированные схемы кодирования для снижения требований к объёму хранения. Эти схемы также обеспечивают эффективную обработку данных in situ. Тем не менее многие существующие колонковые базы данных не учитывают особенности кодирования. При хранении данных такие системы опираются на общее представление о наборе данных или типах данных, чтобы вырабатывать простые правила выбора кодирования. Такой выбор на основе правил приводит к неудовлетворительной производительности. В частности, при выполнении запросов системы всегда декодируют данные в оперативную память, игнорируя возможность оптимизировать доступ к закодированным данным. Мы разработали CodecDB — колонковую базу данных с учётом кодирования, — чтобы продемонстрировать преимущества тесной взаимосвязи проектирования базы данных со схемами кодирования данных. CodecDB обоснованно выбирает наиболее эффективную схему кодирования для заданного столбца и использует операторы запросов, учитывающие кодирование, для оптимизации доступа к закодированным данным. С точки зрения хранения CodecDB в среднем обеспечивает 90% точности выбора наилучшего кодирования и повышает коэффициент сжатия до 40% по сравнению с современным решением для выбора кодирования. С точки зрения выполнения запросов CodecDB в среднем на порядок быстрее новейших колонковых баз данных с открытым исходным кодом и коммерческих колонковых баз данных на тесте TPC-H и в среднем в 3 раза быстрее недавнего исследовательского проекта на тесте Star Schema Benchmark (SSB).