Мультимодальное глубокое обучение для извлечения сущностей и отношений и построения пространственно-временного графа знаний для принятия решений при ликвидации последствий землетрясений

В статье предлагается новая платформа, объединяющая мультимодальное глубокое обучение с пространственно-временным представлением знаний для повышения эффективности обработки информации и поддержки принятия решений при проведении аварийно-спасательных работ после землетрясений. Для решения задач интеграции разнородных данных разработана сеть слияния на основе межмодального внимания (Cross-Modal Attention Fusion Network, CAFN), которая динамически согласует семантическую информацию текстовой, визуальной и пространственно-временной модальностей. Совместная модель извлечения сущностей и отношений на основе Transformer одновременно выявляет связанные с чрезвычайными ситуациями сущности и отношения между ними, достигая значения F1 89,0% и превосходя традиционные методы на 8,7%. Кроме того, разработано представление пространственно-временного графа знаний со специализированными механизмами логического вывода, которые явно моделируют динамический характер чрезвычайных ситуаций. Полученная система поддержки принятия решений демонстрирует значение F1 94,0% при решении задач распределения ресурсов и планирования маршрутов, превосходя традиционные системы на основе правил на 23,7%. Результаты экспериментов подтверждают эффективность предложенного подхода при обработке сложной мультимодальной информации и поддержке принятия решений в условиях дефицита времени во время аварийно-спасательных работ после землетрясений.