MISA

Мультимодальный анализ настроений представляет собой активно развивающуюся область исследований, использующую мультимодальные сигналы для аффективного анализа видеороликов, создаваемых пользователями. Основной подход к этой задаче заключается в разработке сложных методов слияния (фьюжна). Однако гетерогенная природа сигналов порождает распределительные разрывы между модальностями, которые представляют значительные трудности. В этой работе мы стремимся обучить эффективные представления модальностей для облегчения процесса фьюжна. Мы предлагаем новую архитектуру MISA, которая проецирует каждую модальность в два различных подпространства. Первое подпространство — инвариантно к модальности, в нём представления разных модальностей усваивают общие черты и уменьшают модальный разрыв. Второе подпространство — специфично для модальности, приватно для каждой модальности и захватывает её характерные признаки. Эти представления дают целостное представление о мультимодальных данных, которое используется для фьюжна и получения предсказаний задачи. Наши эксперименты на популярных бенчмарках по анализу настроений, MOSI и MOSEI, демонстрируют значительный прирост по сравнению с современными моделями. Мы также рассматриваем задачу мультимодального обнаружения юмора и проводим эксперименты на недавно предложенном датасете UR_FUNNY. И здесь наша модель превосходит сильные базовые методы, подтверждая полезность MISA как мультимодальной архитектуры.