GeoLake: обеспечение поддержки геопространственных данных в озёрах данных

GeoLake: Bringing Geospatial Support to Lakehouses
Bo Peng, Yuanyuan Zhang, Yalei Du, Jinhua Su
2023-01-01

системы Lakehouseформат файлов Parquetпространственный SQLгеопространственные данныепроталкивание пространственных предикатов
За последнее десятилетие объём геопространственных данных значительно вырос, сопровождаясь быстрым развитием технологий. Однако их внедрение в различных отраслях было частично ограничено отсутствием эффективной системы данных, способной поспевать за этими изменениями. Среди потенциальных решений наиболее перспективным представляется подход lakehouse — архитектура, объединяющая возможности озёр данных и хранилищ данных. Однако существующие lakehouse-системы не имеют встроенной поддержки геопространственных данных. Для устранения этого пробела мы представляем GeoLake — первое в отрасли универсальное решение для работы с геопространственными данными, адаптированное к lakehouse-системам. GeoLake предлагает ряд ключевых возможностей, включая нативную поддержку хранения геометрических значений в таблицах lakehouse, а также обеспечивает бесшовное выполнение запросов и обработку геопространственных таблиц с использованием Spatial SQL. Кроме того, GeoLake реализует передовые методы, такие как пространственное секционирование и проталкивание пространственных предикатов, в рамках архитектуры lakehouse. Эти методы ускоряют выполнение геопространственных запросов за счёт эффективного пропуска данных и оптимизированной организации данных. Также GeoLake включает специально разработанный формат файлов Parquet, адаптированный для быстрого сканирования закодированных геометрических значений. Эксперименты с крупномасштабными геопространственными наборами данных, полученными из реальных условий, демонстрируют существенное повышение производительности, обеспечиваемое GeoLake. Кроме того, несколько отраслей, включая автомобильное производство, автострахование и инициативы умных городов, причём некоторые из них представлены компаниями из списка Fortune 500, активно внедряют GeoLake или рассматривают возможность его внедрения для решения задач, связанных с управлением и анализом геопространственных данных в больших масштабах.
1
Специализированный формат Parquet обеспечивает быстрое сканирование закодированных геометрических значений.
2
Эксперименты на реальных крупномасштабных геопространственных наборах данных показали значительное повышение производительности; решение внедряется или рассматривается для внедрения в автомобильной промышленности, страховании и проектах умных городов.
3
GeoLake представлен как первое универсальное решение для работы с геопространственными данными, специально разработанное для Lakehouse-систем.
4
Пространственное секционирование и проталкивание пространственных предикатов ускоряют запросы благодаря эффективному пропуску данных и оптимизированной организации хранения.
5
Система обеспечивает нативное хранение геометрических значений в таблицах Lakehouse и поддерживает их обработку и запросы посредством Spatial SQL.

управление и аналитика геопространственных данных в системах Lakehouse

интегрированные хранение, запросы и обработка геопространственных данных, а также оптимизация производительности запросов в архитектурах Lakehouse

Publication Details
Publication Date
2023-01-01
Journal
Publisher
ISSN
Cited by
14
Access Type
Author Information
Authors
Bo Peng
Yuanyuan Zhang
Yalei Du
Jinhua Su
Explore further
Open the scid.ai AI chat with a ready-made request: it will find papers on a similar topic and help build a literature review.
Find similar papers in the chat →
Make a presentation
100%