Озеро данных Lakehouse: обзор и экспериментальное исследование
Data Lakehouse: A survey and experimental study
2024-09-26
SCID: 54.1/srebt3dq
Discuss with AI
Производительность аналитических запросовУправление большими даннымиОзеро данныхОзеро данныхХранилище данных
Figures from the paper
Abstract (AI)
Эффективное управление большими данными крайне необходимо для обработки экспоненциального роста объёма данных, генерируемых цифровыми информационными системами, и преобразования их в полезные знания. Структурированные базы данных, озёра данных и хранилища данных по отдельности обеспечивали решения с различной степенью успешности. Однако для извлечения практически значимых выводов из неструктурированных данных, поступающих из распределённых источников, появился новый и более совершенный подход — озеро данных Lakehouse. Объединяя преимущества хранилищ данных и озёр данных, Lakehouse позволяет быстро обрабатывать и объединять данные, одновременно принимая и сохраняя высокоскоростные неструктурированные данные, а также поддерживая их преобразование и аналитическую обработку после хранения. Архитектура Lakehouse обладает функциями, необходимыми для оптимальной работы, и привлекла значительное внимание исследовательского сообщества в области управления большими данными. В статье сопоставляются системы озёр данных, хранилищ данных и Lakehouse; рассматриваются их сильные и слабые стороны; определяются необходимые функции для решения эволюционирующих задач управления большими данными и их анализа; предлагается усовершенствованная архитектура Lakehouse. Кроме того, в рамках экспериментального исследования демонстрируется производительность трёх современных систем управления данными — озера данных на базе HDFS, хранилища данных Hive и Lakehouse на базе Delta — при управлении данными для обработки аналитических запросов.
Key Findings
1
В эксперименте сравнивается производительность HDFS как озера данных, Hive как хранилища данных и Delta Lake как lakehouse-системы при выполнении аналитических запросов.
2
Архитектура data lakehouse объединяет аналитические возможности хранилищ данных с приёмом и хранением высокоскоростных неструктурированных данных, поступающих из распределённых источников.
3
Lakehouse поддерживает быстрое объединение и обработку данных, преобразование после хранения и последующую аналитику над разнородными данными.
4
В статье рассматриваются и сравниваются озёра данных, хранилища данных и lakehouse-системы, включая их сильные и слабые стороны для управления большими данными.
5
Авторы определяют необходимые возможности для решения развивающихся задач управления и анализа больших данных и предлагают усовершенствованную архитектуру lakehouse.
Research Object
системы Data Lakehouse и их сравнение с озёрами данных и хранилищами данных
Research Subject
управление большими данными и производительность аналитических запросов, включая приём данных, хранение, преобразование, аналитику, а также сильные и слабые стороны систем
Publication Details
Publication Date
2024-09-26
Journal
Publisher
ISSN
Cited by
76
Open access PDF
Access Type
Author Information
Download PDF
Subscribe to digest