Собственный механизм выполнения запросов HANA для систем Lakehouse
The HANA Native Query Engine for Lakehouse Systems
2025-08-01
SCID: 54.1/eesnb9br
Discuss with AI
аналитическая обработка запросовархитектура прямого доступанативный движок запросов HANAсистемы озёр данныхSQL-on-Files
Figures from the paper
Abstract (AI)
Современные корпоративные приложения и системы хранилищ данных перемещают данные в озёра данных по экономическим причинам и для обеспечения масштабируемости. Затем данные хранятся в популярных колоночных файловых форматах, таких как Parquet, которые оптимизированы для записи с использованием открытых табличных форматов, таких как Iceberg или Delta. Это создаёт новые проблемы для существующих систем баз данных и механизмов выполнения запросов, поскольку ожидаются высокая производительность и масштабируемость при доступе к этим данным в сложных аналитических запросах, несмотря на то что данные находятся в удалённом озере данных. В этой работе мы представляем адаптацию облачного механизма базы данных HANA для эффективной обработки файлов в озёрах данных, которую мы называем SQL-on-Files (SoF). Мы обосновываем эту эволюцию её значимостью для Business Data Cloud и Lakehouse компании SAP; обсуждаем применимость общих архитектурных решений, таких как архитектуры с выталкиванием обработки (pushdown) и прямым доступом; а также раскрываем принятые в SoF проектные решения для масштабируемой аналитической обработки запросов на уровнях механизма выполнения, оптимизатора и кэширования. Наша оценка SoF демонстрирует преимущества прямого доступа по сравнению с архитектурами с выталкиванием обработки на новом тесте производительности хранилищ данных со сложными аналитическими нагрузками.
Key Findings
1
Оценка на новом складском бенчмарке со сложными аналитическими нагрузками показала преимущество прямого доступа над архитектурами с выталкиванием обработки.
2
SQL-on-Files предназначен для масштабируемой аналитической обработки в средах SAP Business Data Cloud и lakehouse.
3
Движок базы данных HANA Cloud был адаптирован для непосредственной обработки данных Parquet и открытых табличных форматов в удалённых озёрах данных посредством архитектуры SQL-on-Files.
4
В работе анализируются архитектуры с выталкиванием обработки и прямым доступом для выполнения запросов в lakehouse, включая решения для исполняющего механизма, оптимизатора и кэширования.
Research Object
Облачный движок базы данных HANA, адаптированный для обработки файлов Parquet в удалённых озёрах данных в составе lakehouse-систем
Research Subject
Масштабируемое и эффективное выполнение сложных аналитических запросов, включая сравнение производительности архитектур прямого доступа и pushdown, а также соответствующие решения по проектированию движка, оптимизатора и кэширования
Publication Details
Publication Date
2025-08-01
Journal
Publisher
ISSN
Cited by
7
Access Type
Author Information
Download PDF
Subscribe to digest