Озеро данных Lakehouse: обзор и экспериментальное исследование

Data Lakehouse: A survey and experimental study
Ahmed A. Harby, Farhana H. Zulkernine
2024-09-26

Производительность аналитических запросовУправление большими даннымиОзеро данныхОзеро данныхХранилище данных
Эффективное управление большими данными крайне необходимо для обработки экспоненциального роста объёма данных, генерируемых цифровыми информационными системами, и преобразования их в полезные знания. Структурированные базы данных, озёра данных и хранилища данных по отдельности обеспечивали решения с различной степенью успешности. Однако для извлечения практически значимых выводов из неструктурированных данных, поступающих из распределённых источников, появился новый и более совершенный подход — озеро данных Lakehouse. Объединяя преимущества хранилищ данных и озёр данных, Lakehouse позволяет быстро обрабатывать и объединять данные, одновременно принимая и сохраняя высокоскоростные неструктурированные данные, а также поддерживая их преобразование и аналитическую обработку после хранения. Архитектура Lakehouse обладает функциями, необходимыми для оптимальной работы, и привлекла значительное внимание исследовательского сообщества в области управления большими данными. В статье сопоставляются системы озёр данных, хранилищ данных и Lakehouse; рассматриваются их сильные и слабые стороны; определяются необходимые функции для решения эволюционирующих задач управления большими данными и их анализа; предлагается усовершенствованная архитектура Lakehouse. Кроме того, в рамках экспериментального исследования демонстрируется производительность трёх современных систем управления данными — озера данных на базе HDFS, хранилища данных Hive и Lakehouse на базе Delta — при управлении данными для обработки аналитических запросов.
1
В эксперименте сравнивается производительность HDFS как озера данных, Hive как хранилища данных и Delta Lake как lakehouse-системы при выполнении аналитических запросов.
2
Архитектура data lakehouse объединяет аналитические возможности хранилищ данных с приёмом и хранением высокоскоростных неструктурированных данных, поступающих из распределённых источников.
3
Lakehouse поддерживает быстрое объединение и обработку данных, преобразование после хранения и последующую аналитику над разнородными данными.
4
В статье рассматриваются и сравниваются озёра данных, хранилища данных и lakehouse-системы, включая их сильные и слабые стороны для управления большими данными.
5
Авторы определяют необходимые возможности для решения развивающихся задач управления и анализа больших данных и предлагают усовершенствованную архитектуру lakehouse.

системы Data Lakehouse и их сравнение с озёрами данных и хранилищами данных

управление большими данными и производительность аналитических запросов, включая приём данных, хранение, преобразование, аналитику, а также сильные и слабые стороны систем

Publication Details
Publication Date
2024-09-26
Journal
Publisher
ISSN
Cited by
76
Access Type
Author Information
Authors
Ahmed A. Harby
Farhana H. Zulkernine
Explore further
Open the scid.ai AI chat with a ready-made request: it will find papers on a similar topic and help build a literature review.
Find similar papers in the chat →
Make a presentation
100%