Delta Lake

Delta lake: high-performance ACID table storage over cloud object stores
Matei Zaharia, Xiao Li, Michael Armbrust, Ali Ghodsi, Peter A. Boncz, Adrian M. Ionescu, Reynold Xin, Tathagata Das, Mostafa Mokhtar, Liwen Sun, Burak Yavuz, Shixiong Zhu, M Krishna Murthy, Joseph Torres, Herman van Hövell, Alicja Łuszczak, Michał Świtakowski, Michał Szafrański, Takuya Ueshin, Sameer Paranjpye, Pieter Senster, Adrian Ionescu, Takuya Ueshin, Ali Ghodsi
2020-08-01

ACID-транзакцииApache ParquetDelta Lakeоблачные объектные хранилищажурнал транзакций
Объектные хранилища в облаке, такие как Amazon S3, относятся к крупнейшим и наиболее экономичным системам хранения данных в мире, что делает их привлекательной основой для размещения крупных хранилищ данных и озёр данных. Однако реализация этих хранилищ в виде хранилищ типа «ключ—значение» затрудняет обеспечение транзакций ACID и высокой производительности: операции с метаданными, такие как перечисление объектов, являются дорогостоящими, а гарантии согласованности ограничены. В этой статье представлена Delta Lake — разработанный первоначально в Databricks слой хранения таблиц с открытым исходным кодом, обеспечивающий свойства ACID поверх облачных объектных хранилищ. Delta Lake использует журнал транзакций, компактируемый в формат Apache Parquet, что обеспечивает свойства ACID, путешествие во времени и значительно более быстрые операции с метаданными для больших табличных наборов данных, включая возможность быстро находить среди миллиардов секций таблицы те, которые релевантны запросу. Эта архитектура также используется для реализации высокоуровневых функций, таких как автоматическая оптимизация размещения данных, операции upsert, кэширование и журналы аудита. Доступ к таблицам Delta Lake можно получать из Apache Spark, Hive, Presto, Redshift и других систем. Delta Lake развёрнута у тысяч клиентов Databricks, обрабатывающих эксабайты данных в день; крупнейшие экземпляры управляют наборами данных эксабайтного масштаба и миллиардами объектов.
1
Компактный журнал транзакций в формате Apache Parquet обеспечивает свойства ACID, откат во времени и значительно более быстрые операции с метаданными для крупных табличных наборов данных.
2
Delta Lake — это открытый табличный слой хранения с поддержкой ACID-транзакций для облачных объектных хранилищ.
3
Delta Lake поддерживает автоматическую оптимизацию размещения данных, upsert-операции, кэширование и журналы аудита, а также интеграцию с несколькими системами выполнения запросов.
4
Такая архитектура позволяет быстро находить релевантные разделы среди миллиардов, снижая влияние дорогостоящего перечисления объектов в объектных хранилищах.
5
Технология используется тысячами клиентов Databricks, обрабатывающих эксабайты данных в день; крупнейшие развертывания управляют наборами эксабайтного масштаба и миллиардами объектов.

Таблицы Delta Lake как крупные табличные наборы данных, хранящиеся в облачных объектных хранилищах

ACID-транзакции, производительность операций с метаданными, функция «путешествия во времени» и возможности управления данными данного слоя хранения

Publication Details
Publication Date
2020-08-01
Journal
Publisher
ISSN
Cited by
578
Access Type
Author Information
Authors
Matei Zaharia
Xiao Li
Michael Armbrust
Ali Ghodsi
Peter A. Boncz
Adrian M. Ionescu
Reynold Xin
Tathagata Das
Mostafa Mokhtar
Liwen Sun
Burak Yavuz
Shixiong Zhu
M Krishna Murthy
Joseph Torres
Herman van Hövell
Alicja Łuszczak
Michał Świtakowski
Michał Szafrański
Takuya Ueshin
Sameer Paranjpye
Pieter Senster
Adrian Ionescu
Takuya Ueshin
Ali Ghodsi
Explore further
Open the scid.ai AI chat with a ready-made request: it will find papers on a similar topic and help build a literature review.
Find similar papers in the chat →
Make a presentation
100%