Готовые для ИИ конвейеры инженерии данных: обзор медальонной архитектуры и облачных моделей интеграции

AI-READY DATA ENGINEERING PIPELINES: A REVIEW OF MEDALLION ARCHITECTURE AND CLOUD-BASED INTEGRATION MODELS
Hosne Ara Mohna, Tonmoy Barua, Manager, Facilities and Administration, MetLife, Bangladesh, Mohammad Mohiuddin, Data Engineer, NCC Bank PLC, Dhaka, Bangladesh, Md Mostafizur Rahman
2022-03-01

медальонная архитектураоблачная интеграцияпроисхождение данныхинфраструктура lakehouseуправление метаданными
В данном систематическом обзоре исследуются готовые для искусственного интеллекта (ИИ) конвейеры инженерии данных на основе анализа 106 исследований, опубликованных в период с 2010 по 2022 год, с акцентом на медальонную архитектуру, облачно-нативные модели интеграции, управление метаданными и инфраструктуру lakehouse. В соответствии с рекомендациями PRISMA источники были отобраны из IEEE Xplore, Scopus, Web of Science, ScienceDirect и Google Scholar. В обзоре рассматриваются ключевые архитектурные стратегии, шаблоны интеграции и механизмы управления, обеспечивающие масштабируемые и объяснимые рабочие процессы ИИ. Медальонная архитектура обсуждалась в 42 исследованиях; особое внимание уделялось ее многоуровневой структуре bronze–silver–gold, поддерживающей модульные преобразования и прослеживаемость данных. Практические исследования продемонстрировали снижение избыточности, повышение воспроизводимости и совместимость с практиками MLOps, что делает эту архитектуру подходящей для применения в финансовых технологиях, розничной торговле и предиктивном обслуживании. Облачные инструменты, такие как AWS Glue, Azure Data Factory и GCP Dataflow, упоминались в 58 статьях. Эти платформы поддерживают оркестрацию в реальном времени, автоматическое масштабирование и бессерверное выполнение. В исследованиях сообщалось о сокращении времени развертывания на 30% при использовании в конвейерах контейнеризации, низкокодовой оркестрации и облачно-нативных систем хранения. Мультиоблачные и гибридные модели рассматривались как средства решения проблем суверенитета данных, задержек и зависимости от поставщика. Метаданные и происхождение данных были центральными темами 39 исследований, подчеркнувших важность версионирования схем, отслеживания преобразований и готовности к аудиту. Было показано, что такие инструменты, как Apache Atlas, Amundsen и Microsoft Purview, повышают объяснимость и воспроизводимость моделей, сокращают продолжительность аудита и способствуют внедрению этичного ИИ. Тридцать шесть исследований были посвящены платформам lakehouse, таким как Delta Lake и Apache Hudi. Эти системы объединяют масштабируемость озер данных с надежностью хранилищ данных, обеспечивая применение схемы при чтении, обновление признаков в реальном времени и версионированные снимки данных в конвейерах обучения и обслуживания моделей. Однако в 31 исследовании отмечались проблемы...
1
Облачные инструменты встречались в 58 исследованиях и обеспечивали оркестрацию в реальном времени, автомасштабирование и бессерверное выполнение; контейнеризация, low-code-оркестрация и облачное хранение сокращали время развёртывания на 30%.
2
Платформы lakehouse изучались в 36 исследованиях и объединяли масштабируемость озёр данных с надёжностью хранилищ, поддерживая schema-on-read, обновление признаков в реальном времени и версионированные снимки данных в конвейерах обучения и обслуживания.
3
Medallion Architecture рассматривалась в 42 исследованиях; её уровни bronze-silver-gold обеспечивали модульные преобразования, трассируемость данных, воспроизводимость и совместимость с практиками MLOps.
4
Механизмы управления метаданными и происхождением данных были центральными в 39 исследованиях; версионирование схем, отслеживание преобразований и готовность к аудиту повышали объяснимость, воспроизводимость и обеспечивали ответственное внедрение ИИ.
5
Мультиоблачные и гибридные архитектуры рассматривались как средства решения проблем суверенитета данных, задержек и зависимости от поставщика.
6
Систематический обзор проанализировал 106 исследований 2010–2022 годов, посвящённых Medallion Architecture, облачной интеграции, управлению метаданными и инфраструктуре lakehouse для ИИ-конвейеров.

Готовые для ИИ конвейеры инженерии данных, включая Medallion Architecture, облачно-нативные модели интеграции, управление метаданными и инфраструктуру lakehouse

Архитектурные стратегии, шаблоны интеграции, механизмы управления, масштабируемость, объяснимость, прослеживаемость и воспроизводимость, обеспечивающие рабочие процессы ИИ и MLOps

Publication Details
Publication Date
2022-03-01
Journal
Publisher
ISSN
Access Type
Author Information
Authors
Hosne Ara Mohna
Tonmoy Barua
Manager, Facilities and Administration, MetLife, Bangladesh
Mohammad Mohiuddin
Data Engineer, NCC Bank PLC, Dhaka, Bangladesh
Md Mostafizur Rahman
Explore further
Open the scid.ai AI chat with a ready-made request: it will find papers on a similar topic and help build a literature review.
Find similar papers in the chat →
Make a presentation
100%