GeoLake: обеспечение поддержки геопространственных данных в озёрах данных
GeoLake: Bringing Geospatial Support to Lakehouses
2023-01-01
SCID: 54.1/ufvyuuw4
Discuss with AI
системы Lakehouseформат файлов Parquetпространственный SQLгеопространственные данныепроталкивание пространственных предикатов
Figures from the paper
Abstract (AI)
За последнее десятилетие объём геопространственных данных значительно вырос, сопровождаясь быстрым развитием технологий. Однако их внедрение в различных отраслях было частично ограничено отсутствием эффективной системы данных, способной поспевать за этими изменениями. Среди потенциальных решений наиболее перспективным представляется подход lakehouse — архитектура, объединяющая возможности озёр данных и хранилищ данных. Однако существующие lakehouse-системы не имеют встроенной поддержки геопространственных данных. Для устранения этого пробела мы представляем GeoLake — первое в отрасли универсальное решение для работы с геопространственными данными, адаптированное к lakehouse-системам. GeoLake предлагает ряд ключевых возможностей, включая нативную поддержку хранения геометрических значений в таблицах lakehouse, а также обеспечивает бесшовное выполнение запросов и обработку геопространственных таблиц с использованием Spatial SQL. Кроме того, GeoLake реализует передовые методы, такие как пространственное секционирование и проталкивание пространственных предикатов, в рамках архитектуры lakehouse. Эти методы ускоряют выполнение геопространственных запросов за счёт эффективного пропуска данных и оптимизированной организации данных. Также GeoLake включает специально разработанный формат файлов Parquet, адаптированный для быстрого сканирования закодированных геометрических значений. Эксперименты с крупномасштабными геопространственными наборами данных, полученными из реальных условий, демонстрируют существенное повышение производительности, обеспечиваемое GeoLake. Кроме того, несколько отраслей, включая автомобильное производство, автострахование и инициативы умных городов, причём некоторые из них представлены компаниями из списка Fortune 500, активно внедряют GeoLake или рассматривают возможность его внедрения для решения задач, связанных с управлением и анализом геопространственных данных в больших масштабах.
Key Findings
1
Специализированный формат Parquet обеспечивает быстрое сканирование закодированных геометрических значений.
2
Эксперименты на реальных крупномасштабных геопространственных наборах данных показали значительное повышение производительности; решение внедряется или рассматривается для внедрения в автомобильной промышленности, страховании и проектах умных городов.
3
GeoLake представлен как первое универсальное решение для работы с геопространственными данными, специально разработанное для Lakehouse-систем.
4
Пространственное секционирование и проталкивание пространственных предикатов ускоряют запросы благодаря эффективному пропуску данных и оптимизированной организации хранения.
5
Система обеспечивает нативное хранение геометрических значений в таблицах Lakehouse и поддерживает их обработку и запросы посредством Spatial SQL.
Research Object
управление и аналитика геопространственных данных в системах Lakehouse
Research Subject
интегрированные хранение, запросы и обработка геопространственных данных, а также оптимизация производительности запросов в архитектурах Lakehouse
Publication Details
Publication Date
2023-01-01
Journal
Publisher
ISSN
Cited by
14
Open access PDF
Access Type
Author Information
Download PDF
Subscribe to digest