Delta Lake
Delta lake: high-performance ACID table storage over cloud object stores
2020-08-01
SCID: 54.1/p55fe2qu
Discuss with AI
ACID-транзакцииApache ParquetDelta Lakeоблачные объектные хранилищажурнал транзакций
Figures from the paper
Abstract (AI)
Объектные хранилища в облаке, такие как Amazon S3, относятся к крупнейшим и наиболее экономичным системам хранения данных в мире, что делает их привлекательной основой для размещения крупных хранилищ данных и озёр данных. Однако реализация этих хранилищ в виде хранилищ типа «ключ—значение» затрудняет обеспечение транзакций ACID и высокой производительности: операции с метаданными, такие как перечисление объектов, являются дорогостоящими, а гарантии согласованности ограничены. В этой статье представлена Delta Lake — разработанный первоначально в Databricks слой хранения таблиц с открытым исходным кодом, обеспечивающий свойства ACID поверх облачных объектных хранилищ. Delta Lake использует журнал транзакций, компактируемый в формат Apache Parquet, что обеспечивает свойства ACID, путешествие во времени и значительно более быстрые операции с метаданными для больших табличных наборов данных, включая возможность быстро находить среди миллиардов секций таблицы те, которые релевантны запросу. Эта архитектура также используется для реализации высокоуровневых функций, таких как автоматическая оптимизация размещения данных, операции upsert, кэширование и журналы аудита. Доступ к таблицам Delta Lake можно получать из Apache Spark, Hive, Presto, Redshift и других систем. Delta Lake развёрнута у тысяч клиентов Databricks, обрабатывающих эксабайты данных в день; крупнейшие экземпляры управляют наборами данных эксабайтного масштаба и миллиардами объектов.
Key Findings
1
Компактный журнал транзакций в формате Apache Parquet обеспечивает свойства ACID, откат во времени и значительно более быстрые операции с метаданными для крупных табличных наборов данных.
2
Delta Lake — это открытый табличный слой хранения с поддержкой ACID-транзакций для облачных объектных хранилищ.
3
Delta Lake поддерживает автоматическую оптимизацию размещения данных, upsert-операции, кэширование и журналы аудита, а также интеграцию с несколькими системами выполнения запросов.
4
Такая архитектура позволяет быстро находить релевантные разделы среди миллиардов, снижая влияние дорогостоящего перечисления объектов в объектных хранилищах.
5
Технология используется тысячами клиентов Databricks, обрабатывающих эксабайты данных в день; крупнейшие развертывания управляют наборами эксабайтного масштаба и миллиардами объектов.
Research Object
Таблицы Delta Lake как крупные табличные наборы данных, хранящиеся в облачных объектных хранилищах
Research Subject
ACID-транзакции, производительность операций с метаданными, функция «путешествия во времени» и возможности управления данными данного слоя хранения
Publication Details
Publication Date
2020-08-01
Journal
Publisher
ISSN
Cited by
578
Open access PDF
Access Type
Author Information
Download PDF
Subscribe to digest
Источники этой статьи в scid.ai2
Работы, цитирующие эту статью9
Озёра данных: обзор функций и систем2023
Озеро данных Lakehouse: обзор и экспериментальное исследование2024
Lakehouse: современное состояние концепций и технологий2024
Эмпирическая оценка колоночных форматов хранения данных2023
BigLake: эволюция BigQuery в направлении мультиоблачного lakehouse2024
Эволюция архитектур хранения данных: исследование ценности с точки зрения безопасности архитектуры Data Lakehouse2024
GeoLake: обеспечение поддержки геопространственных данных в озёрах данных2023
Озеро-склад данных: информационная система нового поколения2024
Собственный механизм выполнения запросов HANA для систем Lakehouse2025