Управление и обработка больших данных в оперативной памяти: обзор
In-Memory Big Data Management and Processing: A Survey
2015-04-29
SCID: 54.1/chxjy44g
Discuss with AI
управление параллелизмомотказоустойчивостьуправление большими данными в памятиобработка данных в памятиинтерактивная аналитика данных
Figures from the paper
Abstract (AI)
Увеличение объёма оперативной памяти стимулировало развитие технологий управления и обработки больших данных в оперативной памяти. Устранение узкого места, связанного с операциями ввода-вывода на диске, сделало возможной поддержку интерактивной аналитики данных. Однако системы, работающие в оперативной памяти, гораздо более чувствительны к другим источникам накладных расходов, которые не имеют существенного значения в традиционных дисковых системах, ограниченных скоростью операций ввода-вывода. Некоторые задачи, такие как обеспечение отказоустойчивости и согласованности, также сложнее решать в среде оперативной памяти. Мы наблюдаем революцию в проектировании систем управления базами данных, использующих оперативную память в качестве уровня хранения данных. Значительная часть этих исследований сосредоточена на нескольких направлениях: использовании современных центральных процессоров и иерархий памяти, эффективности по времени и пространству, параллелизме и управлении конкурентным доступом. В этом обзоре мы стремимся всесторонне рассмотреть широкий спектр предложений и систем для управления и обработки данных в оперативной памяти, включая как системы хранения данных, так и платформы обработки данных. Кроме того, представлен comprehensive обзор важных технологий управления памятью и рассмотрены ключевые факторы, которые необходимо учитывать для достижения эффективного управления и обработки данных в оперативной памяти.
Key Findings
1
Эффективное управление данными в памяти требует учёта технологий управления памятью и факторов проектирования, включая компромиссы между временем и пространством и особенности современного оборудования.
2
Эффективное обеспечение отказоустойчивости и согласованности сложнее реализовать в средах обработки данных в памяти.
3
Рост объёма оперативной памяти сделал возможными системы обработки больших данных в памяти, устраняющие узкие места дискового ввода-вывода и поддерживающие интерактивную аналитику.
4
В системах, работающих в памяти, становятся заметными накладные расходы на процессор и иерархию памяти, менее существенные в традиционных дисковых системах с ограничением по вводу-выводу.
5
В обзоре рассматривается широкий спектр систем хранения и фреймворков обработки данных в памяти, включая использование современных CPU и иерархии памяти, эффективность, параллелизм и управление конкурентным доступом.
Research Object
Системы управления и обработки больших данных в оперативной памяти (включая in-memory системы хранения данных и фреймворки для обработки данных)
Research Subject
подходы к проектированию, факторы производительности и проблемы управления и обработки больших данных в оперативной памяти, включая управление памятью, использование иерархии CPU и памяти, эффективность, параллелизм, управление конкурентным доступом, отказоустойчивость и согласованность
Publication Details
Publication Date
2015-04-29
Journal
Publisher
ISSN
Cited by
425
Open access PDF
Access Type
Author Information
Download PDF
Subscribe to digest