Lakehouse: современное состояние концепций и технологий
The Lakehouse: State of the Art on Concepts and Technologies
2024-04-18
SCID: 54.1/jdy9jjqc
Discuss with AI
озеро-склад данныхозёра данныхплатформы данныххранилища данныхкорпоративная аналитика
Figures from the paper
Abstract (AI)
В контексте аналитики данных так называемые lakehouse представляют собой новые варианты платформ данных, которые стремятся объединить характеристики хранилищ данных и озёр данных. Таким образом, lakehouse обещают упростить корпоративные аналитические архитектуры, которые часто характеризуются высокими эксплуатационными затратами, низкой скоростью аналитических процессов и другими недостатками, обусловленными репликацией данных. Однако существуют различные представления и трактовки парадигмы lakehouse, обычно обусловленные конкретными технологиями и различающимися аналитическими сценариями использования. Поэтому остаётся неясным, какие проблемы решают lakehouse, как их следует характеризовать и какие технологии можно использовать для их реализации. В данной статье рассматриваются эти вопросы: представлен всесторонний обзор концепций и технологий, связанных с парадигмой lakehouse, а lakehouse описываются как самостоятельный архитектурный подход к построению платформ данных. Рассматриваются концепции и технологии, посвящённые lakehouse в научной литературе, на основе чего формируется концептуальный фундамент lakehouse. Кроме того, несколько популярных технологий оцениваются с точки зрения их пригодности для построения lakehouse. Все результаты обосновываются и демонстрируются с помощью репрезентативного аналитического сценария. Выявляются типичные проблемы традиционных платформ данных, предлагается новое, более точное определение lakehouse и формулируются технические требования к ним. В рамках оценки эти требования применяются к нескольким популярным технологиям; при этом фреймворки для озёр данных оказываются особенно полезными для создания lakehouse. Работа содержит обзор современного состояния и концептуальный фундамент парадигмы lakehouse, которые могут способствовать дальнейшим исследованиям.
Key Findings
1
Оценка популярных технологий показала, что фреймворки для озёр данных особенно подходят для построения lakehouse-архитектур.
2
Предложено более точное определение lakehouse, сформирована концептуальная основа и выведены технические требования к реализации таких архитектур.
3
Озёра данных (lakehouses) характеризуются как отдельная архитектура платформ данных, объединяющая возможности хранилищ данных и озёр данных для упрощения корпоративной аналитики.
4
В работе выявлены проблемы традиционных платформ, включая высокие эксплуатационные затраты, медленную аналитическую обработку и недостатки, вызванные репликацией данных.
5
Репрезентативный аналитический сценарий используется для подтверждения обзора концепций, технологий, проблем и требований lakehouse.
Research Object
платформы данных типа lakehouse как отдельный архитектурный подход, сочетающий характеристики хранилищ данных и озёр данных
Research Subject
концепции, технические требования, технологии реализации и пригодность технологий для построения lakehouse-платформ
Publication Details
Publication Date
2024-04-18
Journal
Publisher
ISSN
Cited by
71
Open access PDF
Access Type
Author Information
Download PDF
Subscribe to digest