Блоки данных

В данной работе предлагается способ уменьшения объёма основной памяти, занимаемого высокопроизводительными гибридными базами данных OLTP и OLAP, при сохранении высокой производительности выполнения запросов и пропускной способности транзакций. Для этого вводится инновационный сжатый колоночный формат хранения холодных данных, названный блоками данных (Data Blocks). Блоки данных также включают новую облегчённую индексную структуру, называемую позиционным SMA (Positional SMA), которая сужает диапазоны сканирования внутри блоков данных, даже если полностью исключить блок невозможно. Для достижения максимальной производительности OLTP схемы сжатия в блоках данных являются очень лёгкими, поэтому транзакции OLTP по-прежнему могут быстро обращаться к отдельным кортежам. Это отличает предлагаемую схему хранения от схем, используемых в специализированных аналитических базах данных, где данные обычно необходимо распаковывать на уровне битов. До настоящего времени высокопроизводительные аналитические системы использовали либо векторизованное выполнение запросов, либо компиляцию запросов «точно в срок» (JIT). Мелкозернистая адаптивность блоков данных требует объединения лучших характеристик обоих подходов посредством интерпретируемой подсистемы векторизованного сканирования, передающей данные конвейерам запросов, скомпилированным с использованием JIT. Экспериментальная оценка HyPer, полнофункциональной гибридной системы управления базами данных OLTP и OLAP, показывает, что блоки данных повышают производительность при различных рабочих нагрузках запросов, сохраняя при этом высокую пропускную способность транзакций.