Собственный механизм выполнения запросов HANA для систем Lakehouse

The HANA Native Query Engine for Lakehouse Systems
P Willems, Daniel Ritter, Norman May, Taehyung Lee, Mihnea Andrei, Sukhyeun Cho, Maik Görgens, Amit Pathak, Paul R. Willems
2025-08-01

аналитическая обработка запросовархитектура прямого доступанативный движок запросов HANAсистемы озёр данныхSQL-on-Files
Современные корпоративные приложения и системы хранилищ данных перемещают данные в озёра данных по экономическим причинам и для обеспечения масштабируемости. Затем данные хранятся в популярных колоночных файловых форматах, таких как Parquet, которые оптимизированы для записи с использованием открытых табличных форматов, таких как Iceberg или Delta. Это создаёт новые проблемы для существующих систем баз данных и механизмов выполнения запросов, поскольку ожидаются высокая производительность и масштабируемость при доступе к этим данным в сложных аналитических запросах, несмотря на то что данные находятся в удалённом озере данных. В этой работе мы представляем адаптацию облачного механизма базы данных HANA для эффективной обработки файлов в озёрах данных, которую мы называем SQL-on-Files (SoF). Мы обосновываем эту эволюцию её значимостью для Business Data Cloud и Lakehouse компании SAP; обсуждаем применимость общих архитектурных решений, таких как архитектуры с выталкиванием обработки (pushdown) и прямым доступом; а также раскрываем принятые в SoF проектные решения для масштабируемой аналитической обработки запросов на уровнях механизма выполнения, оптимизатора и кэширования. Наша оценка SoF демонстрирует преимущества прямого доступа по сравнению с архитектурами с выталкиванием обработки на новом тесте производительности хранилищ данных со сложными аналитическими нагрузками.
1
Оценка на новом складском бенчмарке со сложными аналитическими нагрузками показала преимущество прямого доступа над архитектурами с выталкиванием обработки.
2
SQL-on-Files предназначен для масштабируемой аналитической обработки в средах SAP Business Data Cloud и lakehouse.
3
Движок базы данных HANA Cloud был адаптирован для непосредственной обработки данных Parquet и открытых табличных форматов в удалённых озёрах данных посредством архитектуры SQL-on-Files.
4
В работе анализируются архитектуры с выталкиванием обработки и прямым доступом для выполнения запросов в lakehouse, включая решения для исполняющего механизма, оптимизатора и кэширования.

Облачный движок базы данных HANA, адаптированный для обработки файлов Parquet в удалённых озёрах данных в составе lakehouse-систем

Масштабируемое и эффективное выполнение сложных аналитических запросов, включая сравнение производительности архитектур прямого доступа и pushdown, а также соответствующие решения по проектированию движка, оптимизатора и кэширования

Publication Details
Publication Date
2025-08-01
Journal
Publisher
ISSN
Cited by
7
Access Type
Author Information
Authors
P Willems
Daniel Ritter
Norman May
Taehyung Lee
Mihnea Andrei
Sukhyeun Cho
Maik Görgens
Amit Pathak
Paul R. Willems
Explore further
Open the scid.ai AI chat with a ready-made request: it will find papers on a similar topic and help build a literature review.
Find similar papers in the chat →
Make a presentation
100%