Озеро-склад данных: хранилище данных и не только
The Data Lakehouse: Data Warehousing and More
2023-10-12
SCID: 54.1/ymt5rnrp
Discuss with AI
RDBMS-OLAPоблачные озера данныхозеро-склад данныххранилище данныхзависимость от поставщика
Figures from the paper
Abstract (AI)
Реляционные системы управления базами данных, предназначенные для оперативной аналитической обработки (RDBMS-OLAP), на протяжении многих лет служили основой демократизации данных и поддержки таких аналитических сценариев, как бизнес-аналитика и формирование отчетности. Однако системы RDBMS-OLAP имеют ряд хорошо известных недостатков. Они оптимизированы главным образом для реляционных нагрузок, приводят к неконтролируемому размножению копий данных, а хранение данных в проприетарных форматах может приводить к зависимости от поставщика и ограничивать доступ к вычислительным ядрам, инструментам и возможностям, выходящим за рамки предложений поставщика. По мере стремительного роста спроса на принятие решений на основе данных необходимость в более надежной архитектуре данных, способной решить эти проблемы, становится все более очевидной. Облачные озера данных устранили некоторые недостатки систем RDBMS-OLAP, однако создали собственный комплекс проблем. В последнее время организации часто применяют двухуровневый архитектурный подход, чтобы воспользоваться преимуществами обеих платформ, используя одновременно облачные озера данных и системы RDBMS-OLAP. Однако такой подход порождает дополнительные проблемы, усложнение и накладные расходы. В статье рассматривается, каким образом озеро-склад данных — новый архитектурный подход — обеспечивает совокупность преимуществ системы RDBMS-OLAP и облачного озера данных, а также предоставляет дополнительные преимущества. Мы раскладываем современное хранилище данных на независимые от реализации компоненты, возможности и практики. Затем рассматриваем эти аспекты и показываем, каким образом архитектура озера-склада данных им соответствует. Наконец, мы делаем следующий шаг и обсуждаем дополнительные возможности и преимущества, которые архитектура озера-склада данных предоставляет по сравнению с системой RDBMS-OLAP.
Key Findings
1
Помимо воспроизведения возможностей традиционных хранилищ и озёр данных, lakehouse предоставляет дополнительные возможности и преимущества по сравнению с RDBMS-OLAP-системами.
2
Облачные озёра данных устраняют некоторые недостатки RDBMS-OLAP, но создают собственные проблемы, из-за чего организации применяют сложные двухуровневые архитектуры, объединяющие обе платформы.
3
RDBMS-OLAP-системы имеют ограничения, включая специализацию на реляционных нагрузках, распространение копий данных, проприетарные форматы и зависимость от поставщика.
4
Озеро-склад данных (data lakehouse) представлено как архитектурный подход, объединяющий преимущества облачных озёр данных и RDBMS-OLAP при снижении дублирования, сложности и эксплуатационных накладных расходов.
5
В статье хранилище данных разложено на независимые от реализации компоненты, возможности и практики, после чего показано, как архитектура lakehouse им соответствует.
Research Object
архитектура озера-склада данных (data lakehouse)
Research Subject
возможности, преимущества и архитектурные свойства озера-склада данных по сравнению с системами RDBMS-OLAP и облачными озёрами данных
Publication Details
Publication Date
2023-10-12
Journal
Publisher
ISSN
Cited by
38
Open access PDF
Access Type
Author Information
Download PDF
Subscribe to digest