Сопоставление схем с использованием федеративного обучения на гибридном наборе признаков

Для повышения репрезентативности в анализе данных необходимо извлекать и интегрировать данные из различных источников. В статье исследуется применение машинного обучения к одному из основных этапов интеграции данных — сопоставлению схем (schema matching). Схема представляет собой структуру конкретной базы данных, включая определение отношений, их атрибутов, типов данных и определение первичных и внешних ключей. Результатом этого этапа является сопоставление элементов исходных схем с элементами целевой схемы. Предложена нейронная модель, основанная на комбинации сетей долгой краткосрочной памяти (LSTM), механизмов внимания и многослойного персептрона. Модель обучается на гибридном наборе признаков, включающем метрики сходства имен, типы данных, теги, описательную статистику и коэффициенты корреляции для числовых данных. Проведённые эксперименты показали, что предложенная модель превосходит базовую нейронную модель и классические методы сопоставления схем. Также показано, что федеративное обучение, сохраняющее приватность данных, обеспечивает качество модели практически на том же уровне по сравнению с централизованным обучением.