Озеро-склад данных: хранилище данных и не только

The Data Lakehouse: Data Warehousing and More
Dipankar Mazumdar, Hughes, Jason, JB Onofre
2023-10-12

RDBMS-OLAPоблачные озера данныхозеро-склад данныххранилище данныхзависимость от поставщика
Реляционные системы управления базами данных, предназначенные для оперативной аналитической обработки (RDBMS-OLAP), на протяжении многих лет служили основой демократизации данных и поддержки таких аналитических сценариев, как бизнес-аналитика и формирование отчетности. Однако системы RDBMS-OLAP имеют ряд хорошо известных недостатков. Они оптимизированы главным образом для реляционных нагрузок, приводят к неконтролируемому размножению копий данных, а хранение данных в проприетарных форматах может приводить к зависимости от поставщика и ограничивать доступ к вычислительным ядрам, инструментам и возможностям, выходящим за рамки предложений поставщика. По мере стремительного роста спроса на принятие решений на основе данных необходимость в более надежной архитектуре данных, способной решить эти проблемы, становится все более очевидной. Облачные озера данных устранили некоторые недостатки систем RDBMS-OLAP, однако создали собственный комплекс проблем. В последнее время организации часто применяют двухуровневый архитектурный подход, чтобы воспользоваться преимуществами обеих платформ, используя одновременно облачные озера данных и системы RDBMS-OLAP. Однако такой подход порождает дополнительные проблемы, усложнение и накладные расходы. В статье рассматривается, каким образом озеро-склад данных — новый архитектурный подход — обеспечивает совокупность преимуществ системы RDBMS-OLAP и облачного озера данных, а также предоставляет дополнительные преимущества. Мы раскладываем современное хранилище данных на независимые от реализации компоненты, возможности и практики. Затем рассматриваем эти аспекты и показываем, каким образом архитектура озера-склада данных им соответствует. Наконец, мы делаем следующий шаг и обсуждаем дополнительные возможности и преимущества, которые архитектура озера-склада данных предоставляет по сравнению с системой RDBMS-OLAP.
1
Помимо воспроизведения возможностей традиционных хранилищ и озёр данных, lakehouse предоставляет дополнительные возможности и преимущества по сравнению с RDBMS-OLAP-системами.
2
Облачные озёра данных устраняют некоторые недостатки RDBMS-OLAP, но создают собственные проблемы, из-за чего организации применяют сложные двухуровневые архитектуры, объединяющие обе платформы.
3
RDBMS-OLAP-системы имеют ограничения, включая специализацию на реляционных нагрузках, распространение копий данных, проприетарные форматы и зависимость от поставщика.
4
Озеро-склад данных (data lakehouse) представлено как архитектурный подход, объединяющий преимущества облачных озёр данных и RDBMS-OLAP при снижении дублирования, сложности и эксплуатационных накладных расходов.
5
В статье хранилище данных разложено на независимые от реализации компоненты, возможности и практики, после чего показано, как архитектура lakehouse им соответствует.

архитектура озера-склада данных (data lakehouse)

возможности, преимущества и архитектурные свойства озера-склада данных по сравнению с системами RDBMS-OLAP и облачными озёрами данных

Publication Details
Publication Date
2023-10-12
Journal
Publisher
ISSN
Cited by
38
Access Type
Author Information
Authors
Dipankar Mazumdar
Hughes, Jason
JB Onofre
Explore further
Open the scid.ai AI chat with a ready-made request: it will find papers on a similar topic and help build a literature review.
Find similar papers in the chat →
Make a presentation
100%