Управление и обработка больших данных в оперативной памяти: обзор

Увеличение объёма оперативной памяти способствовало развитию управления и обработки больших данных в оперативной памяти. Устраняя узкие места ввода-вывода на диск, это позволяет поддерживать интерактивную аналитическую обработку данных. Однако системы, работающие в оперативной памяти, гораздо более чувствительны к другим источникам накладных расходов, несущественным для традиционных дискоориентированных систем с узким местом на I/O. Такие задачи, как отказоустойчивость и согласованность, также сложнее решаются в среде оперативной памяти. Мы наблюдаем революцию в проектировании систем управления базами данных, использующих оперативную память в качестве уровня хранения данных. Многие исследования сосредоточены по нескольким направлениям: использование современной архитектуры CPU и иерархии памяти, временная и пространственная эффективность, параллелизм и управление параллельным доступом (concurrency control). В данном обзоре мы даём подробный обзор широкого круга предложений и систем для управления и обработки данных в оперативной памяти, включая как системы хранения данных, так и фреймворки обработки данных. Также мы представляем важные технологии управления памятью и выделяем ключевые факторы, которые следует учитывать для достижения эффективного управления и обработки данных в оперативной памяти.