Проектирование устойчивых архитектур данных для современных финансовых учреждений
Engineering Sustainable Data Architectures for Modern Financial Institutions
2025-04-19
SCID: 54.1/nyerf74s
Discuss with AI
Apache KafkaApache Sparkобработка финансовых данныхустойчивые вычисленияустойчивая архитектура данных
Figures from the paper
Abstract (AI)
Современные финансовые учреждения управляют все более сложными процессами, связанными с данными, и уделяют повышенное внимание воздействию на окружающую среду и энергопотреблению. В финансовом моделировании интегрируются реляционные базы данных, системы обработки больших данных и облачные технологии с учетом оптимизации ресурсов и устойчивых вычислений. Мы предлагаем четырехуровневую архитектуру для решения задач обработки финансовых данных. Разработанная архитектура включает уровни источников данных, интеграции данных, обработки и хранения. На этапе загрузки данных обрабатываются рыночные потоки, записи транзакций и данные клиентов. Данные в реальном времени поступают через Kafka и преобразуются с помощью конвейеров извлечения, преобразования и загрузки (ETL). Уровень обработки включает Apache Spark для анализа данных в реальном времени, Hadoop для пакетной обработки и инфраструктуру машинного обучения (ML), поддерживающую прогностическое моделирование. Для оптимизации шаблонов доступа уровень хранения включает различные компоненты слоя данных. Результаты тестирования показывают, что обработка рыночных данных в реальном времени, подготовка отчетности о соблюдении нормативных требований, оценка рисков и анализ клиентов могут выполняться с учетом целей экологической устойчивости. Метрики, полученные при тестовом развертывании, подтверждают стратегии внедрения и технические спецификации архитектурных компонентов. Мы также рассмотрели модели интеграции и совершенствование потоков данных с применением в финансовой сфере. Цель исследования — совершенствование корпоративной архитектуры данных в финансовом контексте, включая рекомендации по модернизации инфраструктуры данных.
Key Findings
1
Предложена четырехуровневая устойчивая архитектура данных для финансовых учреждений, включающая источники данных, интеграцию, обработку и хранение.
2
Apache Spark применяется для анализа в реальном времени, Hadoop — для пакетной обработки, а инфраструктура машинного обучения — для финансового прогнозирования.
3
Метрики развертывания подтверждают предложенные компоненты архитектуры, стратегии интеграции, улучшения потоков данных и рекомендации по модернизации финансовой инфраструктуры данных.
4
Результаты тестового развертывания показывают, что обработка рыночных данных в реальном времени, комплаенс-отчетность, оценка рисков и анализ клиентов могут соответствовать целям экологической устойчивости.
5
Архитектура обрабатывает рыночные потоки, транзакционные записи и данные клиентов, используя Kafka для захвата данных в реальном времени и ETL-конвейеры для преобразования.
Research Object
устойчивая архитектура данных для современных финансовых учреждений
Research Subject
эффективность архитектуры при устойчивой интегрированной обработке, хранении и анализе финансовых данных, включая обработку рыночных данных в реальном времени, подготовку отчётности о соответствии требованиям, оценку рисков и анализ клиентов
Publication Details
Publication Date
2025-04-19
Journal
Publisher
ISSN
Cited by
55
Open access PDF
Access Type
Author Information
Download PDF
Subscribe to digest