Управление и обработка больших данных в оперативной памяти: обзор

In-Memory Big Data Management and Processing: A Survey
Beng Chin Ooi, Meihui Zhang, Hao Zhang, Gang Chen, Kian‐Lee Tan
2015-04-29

управление параллелизмомотказоустойчивостьуправление большими данными в памятиобработка данных в памятиинтерактивная аналитика данных
Увеличение объёма оперативной памяти стимулировало развитие технологий управления и обработки больших данных в оперативной памяти. Устранение узкого места, связанного с операциями ввода-вывода на диске, сделало возможной поддержку интерактивной аналитики данных. Однако системы, работающие в оперативной памяти, гораздо более чувствительны к другим источникам накладных расходов, которые не имеют существенного значения в традиционных дисковых системах, ограниченных скоростью операций ввода-вывода. Некоторые задачи, такие как обеспечение отказоустойчивости и согласованности, также сложнее решать в среде оперативной памяти. Мы наблюдаем революцию в проектировании систем управления базами данных, использующих оперативную память в качестве уровня хранения данных. Значительная часть этих исследований сосредоточена на нескольких направлениях: использовании современных центральных процессоров и иерархий памяти, эффективности по времени и пространству, параллелизме и управлении конкурентным доступом. В этом обзоре мы стремимся всесторонне рассмотреть широкий спектр предложений и систем для управления и обработки данных в оперативной памяти, включая как системы хранения данных, так и платформы обработки данных. Кроме того, представлен comprehensive обзор важных технологий управления памятью и рассмотрены ключевые факторы, которые необходимо учитывать для достижения эффективного управления и обработки данных в оперативной памяти.
1
Эффективное управление данными в памяти требует учёта технологий управления памятью и факторов проектирования, включая компромиссы между временем и пространством и особенности современного оборудования.
2
Эффективное обеспечение отказоустойчивости и согласованности сложнее реализовать в средах обработки данных в памяти.
3
Рост объёма оперативной памяти сделал возможными системы обработки больших данных в памяти, устраняющие узкие места дискового ввода-вывода и поддерживающие интерактивную аналитику.
4
В системах, работающих в памяти, становятся заметными накладные расходы на процессор и иерархию памяти, менее существенные в традиционных дисковых системах с ограничением по вводу-выводу.
5
В обзоре рассматривается широкий спектр систем хранения и фреймворков обработки данных в памяти, включая использование современных CPU и иерархии памяти, эффективность, параллелизм и управление конкурентным доступом.

Системы управления и обработки больших данных в оперативной памяти (включая in-memory системы хранения данных и фреймворки для обработки данных)

подходы к проектированию, факторы производительности и проблемы управления и обработки больших данных в оперативной памяти, включая управление памятью, использование иерархии CPU и памяти, эффективность, параллелизм, управление конкурентным доступом, отказоустойчивость и согласованность

Publication Details
Publication Date
2015-04-29
Journal
Publisher
ISSN
Cited by
425
Access Type
Author Information
Authors
Beng Chin Ooi
Meihui Zhang
Hao Zhang
Gang Chen
Kian‐Lee Tan
Explore further
Open the scid.ai AI chat with a ready-made request: it will find papers on a similar topic and help build a literature review.
Find similar papers in the chat →
Make a presentation
100%