Готовые для ИИ конвейеры инженерии данных: обзор медальонной архитектуры и облачных моделей интеграции
AI-READY DATA ENGINEERING PIPELINES: A REVIEW OF MEDALLION ARCHITECTURE AND CLOUD-BASED INTEGRATION MODELS
2022-03-01
SCID: 54.1/7hr7u3mp
Discuss with AI
медальонная архитектураоблачная интеграцияпроисхождение данныхинфраструктура lakehouseуправление метаданными
Figures from the paper
Abstract (AI)
В данном систематическом обзоре исследуются готовые для искусственного интеллекта (ИИ) конвейеры инженерии данных на основе анализа 106 исследований, опубликованных в период с 2010 по 2022 год, с акцентом на медальонную архитектуру, облачно-нативные модели интеграции, управление метаданными и инфраструктуру lakehouse. В соответствии с рекомендациями PRISMA источники были отобраны из IEEE Xplore, Scopus, Web of Science, ScienceDirect и Google Scholar. В обзоре рассматриваются ключевые архитектурные стратегии, шаблоны интеграции и механизмы управления, обеспечивающие масштабируемые и объяснимые рабочие процессы ИИ. Медальонная архитектура обсуждалась в 42 исследованиях; особое внимание уделялось ее многоуровневой структуре bronze–silver–gold, поддерживающей модульные преобразования и прослеживаемость данных. Практические исследования продемонстрировали снижение избыточности, повышение воспроизводимости и совместимость с практиками MLOps, что делает эту архитектуру подходящей для применения в финансовых технологиях, розничной торговле и предиктивном обслуживании. Облачные инструменты, такие как AWS Glue, Azure Data Factory и GCP Dataflow, упоминались в 58 статьях. Эти платформы поддерживают оркестрацию в реальном времени, автоматическое масштабирование и бессерверное выполнение. В исследованиях сообщалось о сокращении времени развертывания на 30% при использовании в конвейерах контейнеризации, низкокодовой оркестрации и облачно-нативных систем хранения. Мультиоблачные и гибридные модели рассматривались как средства решения проблем суверенитета данных, задержек и зависимости от поставщика. Метаданные и происхождение данных были центральными темами 39 исследований, подчеркнувших важность версионирования схем, отслеживания преобразований и готовности к аудиту. Было показано, что такие инструменты, как Apache Atlas, Amundsen и Microsoft Purview, повышают объяснимость и воспроизводимость моделей, сокращают продолжительность аудита и способствуют внедрению этичного ИИ. Тридцать шесть исследований были посвящены платформам lakehouse, таким как Delta Lake и Apache Hudi. Эти системы объединяют масштабируемость озер данных с надежностью хранилищ данных, обеспечивая применение схемы при чтении, обновление признаков в реальном времени и версионированные снимки данных в конвейерах обучения и обслуживания моделей. Однако в 31 исследовании отмечались проблемы...
Key Findings
1
Облачные инструменты встречались в 58 исследованиях и обеспечивали оркестрацию в реальном времени, автомасштабирование и бессерверное выполнение; контейнеризация, low-code-оркестрация и облачное хранение сокращали время развёртывания на 30%.
2
Платформы lakehouse изучались в 36 исследованиях и объединяли масштабируемость озёр данных с надёжностью хранилищ, поддерживая schema-on-read, обновление признаков в реальном времени и версионированные снимки данных в конвейерах обучения и обслуживания.
3
Medallion Architecture рассматривалась в 42 исследованиях; её уровни bronze-silver-gold обеспечивали модульные преобразования, трассируемость данных, воспроизводимость и совместимость с практиками MLOps.
4
Механизмы управления метаданными и происхождением данных были центральными в 39 исследованиях; версионирование схем, отслеживание преобразований и готовность к аудиту повышали объяснимость, воспроизводимость и обеспечивали ответственное внедрение ИИ.
5
Мультиоблачные и гибридные архитектуры рассматривались как средства решения проблем суверенитета данных, задержек и зависимости от поставщика.
6
Систематический обзор проанализировал 106 исследований 2010–2022 годов, посвящённых Medallion Architecture, облачной интеграции, управлению метаданными и инфраструктуре lakehouse для ИИ-конвейеров.
Research Object
Готовые для ИИ конвейеры инженерии данных, включая Medallion Architecture, облачно-нативные модели интеграции, управление метаданными и инфраструктуру lakehouse
Research Subject
Архитектурные стратегии, шаблоны интеграции, механизмы управления, масштабируемость, объяснимость, прослеживаемость и воспроизводимость, обеспечивающие рабочие процессы ИИ и MLOps
Publication Details
Publication Date
2022-03-01
Journal
Publisher
ISSN
Open access PDF
Access Type
Author Information
Download PDF
Subscribe to digest