Lakehouse: современное состояние концепций и технологий

The Lakehouse: State of the Art on Concepts and Technologies
Bernhard Mitschang, J. G. Schneider, Christoph Gröger, Arnold Lutsch, Holger Schwarz
2024-04-18

озеро-склад данныхозёра данныхплатформы данныххранилища данныхкорпоративная аналитика
В контексте аналитики данных так называемые lakehouse представляют собой новые варианты платформ данных, которые стремятся объединить характеристики хранилищ данных и озёр данных. Таким образом, lakehouse обещают упростить корпоративные аналитические архитектуры, которые часто характеризуются высокими эксплуатационными затратами, низкой скоростью аналитических процессов и другими недостатками, обусловленными репликацией данных. Однако существуют различные представления и трактовки парадигмы lakehouse, обычно обусловленные конкретными технологиями и различающимися аналитическими сценариями использования. Поэтому остаётся неясным, какие проблемы решают lakehouse, как их следует характеризовать и какие технологии можно использовать для их реализации. В данной статье рассматриваются эти вопросы: представлен всесторонний обзор концепций и технологий, связанных с парадигмой lakehouse, а lakehouse описываются как самостоятельный архитектурный подход к построению платформ данных. Рассматриваются концепции и технологии, посвящённые lakehouse в научной литературе, на основе чего формируется концептуальный фундамент lakehouse. Кроме того, несколько популярных технологий оцениваются с точки зрения их пригодности для построения lakehouse. Все результаты обосновываются и демонстрируются с помощью репрезентативного аналитического сценария. Выявляются типичные проблемы традиционных платформ данных, предлагается новое, более точное определение lakehouse и формулируются технические требования к ним. В рамках оценки эти требования применяются к нескольким популярным технологиям; при этом фреймворки для озёр данных оказываются особенно полезными для создания lakehouse. Работа содержит обзор современного состояния и концептуальный фундамент парадигмы lakehouse, которые могут способствовать дальнейшим исследованиям.
1
Оценка популярных технологий показала, что фреймворки для озёр данных особенно подходят для построения lakehouse-архитектур.
2
Предложено более точное определение lakehouse, сформирована концептуальная основа и выведены технические требования к реализации таких архитектур.
3
Озёра данных (lakehouses) характеризуются как отдельная архитектура платформ данных, объединяющая возможности хранилищ данных и озёр данных для упрощения корпоративной аналитики.
4
В работе выявлены проблемы традиционных платформ, включая высокие эксплуатационные затраты, медленную аналитическую обработку и недостатки, вызванные репликацией данных.
5
Репрезентативный аналитический сценарий используется для подтверждения обзора концепций, технологий, проблем и требований lakehouse.

платформы данных типа lakehouse как отдельный архитектурный подход, сочетающий характеристики хранилищ данных и озёр данных

концепции, технические требования, технологии реализации и пригодность технологий для построения lakehouse-платформ

Publication Details
Publication Date
2024-04-18
Journal
Publisher
ISSN
Cited by
71
Access Type
Author Information
Authors
Bernhard Mitschang
J. G. Schneider
Christoph Gröger
Arnold Lutsch
Holger Schwarz
Explore further
Open the scid.ai AI chat with a ready-made request: it will find papers on a similar topic and help build a literature review.
Find similar papers in the chat →
Make a presentation
100%