Эффективное облегчённое сжатие в сочетании с быстрым сканированием

Увеличение объёма оперативной памяти позволило выполнять запросы преимущественно в оперативной памяти. Системы управления базами данных используют сжатие не только для размещения данных в оперативной памяти, но и для устранения узкого места, связанного с пропускной способностью памяти. Облегчённые схемы сжатия ориентированы прежде всего на эффективность, а не на степень сжатия, и позволяют операторам запросов обрабатывать данные в сжатом виде. Например, при словарном сжатии различные значения столбца хранятся в отсортированном словаре, а сами значения представляются в виде индексных кодов с минимально необходимым числом битов. Упаковка битов каждого кода в смежные позиции, то есть горизонтальная побитовая упаковка, была оптимизирована с использованием SIMD-инструкций для распаковки и параллельной проверки предикатов по машинным словам процессора при выполнении сканирования с выборкой. Чередование битов кодов, то есть вертикальная побитовая упаковка, обеспечивает более быстрое сканирование, но приводит к чрезмерным затратам на упаковку и распаковку. В данной работе с использованием SIMD-инструкций усовершенствованы упаковка и распаковка при вертикальной побитовой упаковке, что обеспечило ускорение более чем на порядок. Кроме того, оптимизирована горизонтальная побитовая упаковка на современных процессорах и проведено сравнение всех подходов. Хотя ни один вариант не превосходит остальные во всех случаях, вертикальная побитовая упаковка обеспечивает удачный компромисс, сочетая самое быстрое сканирование с сопоставимой скоростью упаковки и распаковки.