BigLake: эволюция BigQuery в направлении мультиоблачного lakehouse
BigLake: BigQuery's Evolution toward a Multi-Cloud Lakehouse
2024-05-23
SCID: 54.1/hwfs82jq
Discuss with AI
ACID-транзакцииBigLakeBigQueryозеро данных и хранилищемультиоблачное озеро данных
Figures from the paper
Abstract (AI)
Распределённая облачно-нативная архитектура BigQuery позволила Google Cloud развивать систему с учётом различных потребностей клиентов во всём спектре аналитических и AI/ML-нагрузок. Одно из ключевых требований клиентов к BigQuery связано с объединением рабочих нагрузок озёр данных и корпоративных хранилищ данных. Этот подход сочетает: (1) потребность в базовых примитивах управления данными — например, безопасности, управлении и контроле, общих метаданных среды выполнения, ускорении производительности и транзакциях ACID, — предоставляемых корпоративными хранилищами данных, с (2) использованием гибкости экосистемы открытых форматов и аналитики, а также новых типов рабочих нагрузок, таких как AI/ML для неструктурированных данных в объектном хранилище. Кроме того, существует острая необходимость поддерживать BigQuery как мультиоблачное решение, поскольку клиенты облачных сервисов по умолчанию выбирают мультиоблачную инфраструктуру.
Key Findings
1
BigLake отвечает на важное требование клиентов использовать BigQuery в мультиоблачных средах, поскольку мультиоблачная модель становится стандартом.
2
BigQuery развивается в направлении мультиоблачного lakehouse для объединения рабочих нагрузок озёр данных и корпоративных хранилищ данных.
3
Подход lakehouse предназначен для поддержки новых рабочих нагрузок, таких как AI/ML над неструктурированными данными, хранящимися в объектных хранилищах.
4
Целевая архитектура сочетает возможности корпоративных хранилищ, включая безопасность, управление данными, общие метаданные среды выполнения, ускорение производительности и транзакции ACID, с открытыми форматами данных и аналитическими экосистемами.
Research Object
BigLake — мультиоблачная система lakehouse, развивающая BigQuery для унификации рабочих нагрузок озёр данных и корпоративных хранилищ данных
Research Subject
Интеграция возможностей управления корпоративными данными с аналитикой и AI/ML на основе открытых форматов и объектного хранения в мультиоблачных средах
Publication Details
Publication Date
2024-05-23
Journal
Publisher
ISSN
Cited by
38
Access Type
Author Information
Download PDF
Subscribe to digest