BigLake: эволюция BigQuery в направлении мультиоблачного lakehouse

BigLake: BigQuery's Evolution toward a Multi-Cloud Lakehouse
Justin J. Levandoski, Garrett Casto, M. Deng, Rushabh Desai, Pavan Edara, Thibaud Hottelier, Amir H. Hormati, Anoop Johnson, Jeff Johnson, Dawid Kurzyniec, Sam McVeety, Prem Ramanathan, Gaurav Saxena, Vidya Shanmugan, Yuri Volobuev
2024-05-23

ACID-транзакцииBigLakeBigQueryозеро данных и хранилищемультиоблачное озеро данных
Распределённая облачно-нативная архитектура BigQuery позволила Google Cloud развивать систему с учётом различных потребностей клиентов во всём спектре аналитических и AI/ML-нагрузок. Одно из ключевых требований клиентов к BigQuery связано с объединением рабочих нагрузок озёр данных и корпоративных хранилищ данных. Этот подход сочетает: (1) потребность в базовых примитивах управления данными — например, безопасности, управлении и контроле, общих метаданных среды выполнения, ускорении производительности и транзакциях ACID, — предоставляемых корпоративными хранилищами данных, с (2) использованием гибкости экосистемы открытых форматов и аналитики, а также новых типов рабочих нагрузок, таких как AI/ML для неструктурированных данных в объектном хранилище. Кроме того, существует острая необходимость поддерживать BigQuery как мультиоблачное решение, поскольку клиенты облачных сервисов по умолчанию выбирают мультиоблачную инфраструктуру.
1
BigLake отвечает на важное требование клиентов использовать BigQuery в мультиоблачных средах, поскольку мультиоблачная модель становится стандартом.
2
BigQuery развивается в направлении мультиоблачного lakehouse для объединения рабочих нагрузок озёр данных и корпоративных хранилищ данных.
3
Подход lakehouse предназначен для поддержки новых рабочих нагрузок, таких как AI/ML над неструктурированными данными, хранящимися в объектных хранилищах.
4
Целевая архитектура сочетает возможности корпоративных хранилищ, включая безопасность, управление данными, общие метаданные среды выполнения, ускорение производительности и транзакции ACID, с открытыми форматами данных и аналитическими экосистемами.

BigLake — мультиоблачная система lakehouse, развивающая BigQuery для унификации рабочих нагрузок озёр данных и корпоративных хранилищ данных

Интеграция возможностей управления корпоративными данными с аналитикой и AI/ML на основе открытых форматов и объектного хранения в мультиоблачных средах

Publication Details
Publication Date
2024-05-23
Journal
Publisher
ISSN
Cited by
38
Access Type
Author Information
Authors
Justin J. Levandoski
Garrett Casto
M. Deng
Rushabh Desai
Pavan Edara
Thibaud Hottelier
Amir H. Hormati
Anoop Johnson
Jeff Johnson
Dawid Kurzyniec
Sam McVeety
Prem Ramanathan
Gaurav Saxena
Vidya Shanmugan
Yuri Volobuev
Explore further
Open the scid.ai AI chat with a ready-made request: it will find papers on a similar topic and help build a literature review.
Find similar papers in the chat →
Make a presentation
100%