Сеть слияния признаков, управляемая многообразным знанием, для мультимодального анализа сентимента

С прогрессом мультимедиа и информационных технологий мультимодальный анализ сентимента (MSA) стал одним из наиболее передовых и сложных направлений исследований в области искусственного интеллекта. Мультимодальные данные, включая текстовую, визуальную и аудиоинформацию, дают дополнительные перспективы для анализа настроений. Однако посторонняя информация в невербальных модальностях снижает точность анализа сентимента, поскольку связанные с настроением признаки в основном сосредоточены в изменениях движений рта и изменениях высоты тона, что создаёт проблему для точного анализа сентимента. Чтобы решить эту проблему, мы предлагаем сеть слияния признаков, управляемую многообразным знанием (MKGN). MKGN использует многообразные знания, сгенерированные алгоритмами обучения многообразия, чтобы направлять нейронные сети в извлечении эффективных невербальных признаков и установлении связей между множественными признаками при снижении размерности. Кроме того, для улучшения качества знания мы предлагаем два метода усиления знания: фильтр знания (KF) и контрастное обучение знаний (CL). KF используется для отфильтровывания ненадёжного знания, а CL дополнительно укрепляет сохранившиеся знания путём изменения расстояния между знаниями. Важно, что предложенная MKGN демонстрирует отличные результаты на трёх наборах данных по сравнению с современными моделями: на наборе MOSI точность улучшилась на 2% и 1% соответственно; на MOSEI точность улучшилась на 3,8% и 1,8% соответственно; на UR-FUNNY точность улучшилась на 0,4%.