Проектирование устойчивых архитектур данных для современных финансовых учреждений

Engineering Sustainable Data Architectures for Modern Financial Institutions
Vlad Dıaconıța, Sergiu-Alexandru Ionescu, Andreea-Oana Radu
2025-04-19

Apache KafkaApache Sparkобработка финансовых данныхустойчивые вычисленияустойчивая архитектура данных
Современные финансовые учреждения управляют все более сложными процессами, связанными с данными, и уделяют повышенное внимание воздействию на окружающую среду и энергопотреблению. В финансовом моделировании интегрируются реляционные базы данных, системы обработки больших данных и облачные технологии с учетом оптимизации ресурсов и устойчивых вычислений. Мы предлагаем четырехуровневую архитектуру для решения задач обработки финансовых данных. Разработанная архитектура включает уровни источников данных, интеграции данных, обработки и хранения. На этапе загрузки данных обрабатываются рыночные потоки, записи транзакций и данные клиентов. Данные в реальном времени поступают через Kafka и преобразуются с помощью конвейеров извлечения, преобразования и загрузки (ETL). Уровень обработки включает Apache Spark для анализа данных в реальном времени, Hadoop для пакетной обработки и инфраструктуру машинного обучения (ML), поддерживающую прогностическое моделирование. Для оптимизации шаблонов доступа уровень хранения включает различные компоненты слоя данных. Результаты тестирования показывают, что обработка рыночных данных в реальном времени, подготовка отчетности о соблюдении нормативных требований, оценка рисков и анализ клиентов могут выполняться с учетом целей экологической устойчивости. Метрики, полученные при тестовом развертывании, подтверждают стратегии внедрения и технические спецификации архитектурных компонентов. Мы также рассмотрели модели интеграции и совершенствование потоков данных с применением в финансовой сфере. Цель исследования — совершенствование корпоративной архитектуры данных в финансовом контексте, включая рекомендации по модернизации инфраструктуры данных.
1
Предложена четырехуровневая устойчивая архитектура данных для финансовых учреждений, включающая источники данных, интеграцию, обработку и хранение.
2
Apache Spark применяется для анализа в реальном времени, Hadoop — для пакетной обработки, а инфраструктура машинного обучения — для финансового прогнозирования.
3
Метрики развертывания подтверждают предложенные компоненты архитектуры, стратегии интеграции, улучшения потоков данных и рекомендации по модернизации финансовой инфраструктуры данных.
4
Результаты тестового развертывания показывают, что обработка рыночных данных в реальном времени, комплаенс-отчетность, оценка рисков и анализ клиентов могут соответствовать целям экологической устойчивости.
5
Архитектура обрабатывает рыночные потоки, транзакционные записи и данные клиентов, используя Kafka для захвата данных в реальном времени и ETL-конвейеры для преобразования.

устойчивая архитектура данных для современных финансовых учреждений

эффективность архитектуры при устойчивой интегрированной обработке, хранении и анализе финансовых данных, включая обработку рыночных данных в реальном времени, подготовку отчётности о соответствии требованиям, оценку рисков и анализ клиентов

Publication Details
Publication Date
2025-04-19
Journal
Publisher
ISSN
Cited by
55
Access Type
Author Information
Authors
Vlad Dıaconıța
Sergiu-Alexandru Ionescu
Andreea-Oana Radu
Explore further
Open the scid.ai AI chat with a ready-made request: it will find papers on a similar topic and help build a literature review.
Find similar papers in the chat →
Make a presentation
100%