FMSA: Мультимодальный анализ тональности социальных сетей в условиях малого числа примеров на основе интегрированного обучения с подсказками и визуально-языковых моделей

Мультимодальный анализ тональности (MSA) в социальных сетях приобретает всё большее значение для понимания сложных эмоциональных проявлений, однако сталкивается с существенными трудностями в условиях ограниченных данных, когда размеченный мультимодальный контент представлен в недостаточном объёме. В данной работе представлен FMSA — новая платформа, объединяющая обучение на основе подсказок с современными визуально-языковыми моделями для обеспечения устойчивого мультимодального анализа тональности в условиях малого числа примеров. Предлагаемый подход использует учитывающий инструкции Query Transformer (Q-Former) для динамического извлечения и выравнивания визуальных признаков с текстовыми подсказками, специфичными для задачи, что улучшает межмодальное слияние. Для формирования репрезентативных наборов данных в условиях малого числа примеров вводится стратегия распределённой согласованной выборки, обеспечивающая статистическое разнообразие при ограниченных ресурсах. При оценивании на шести эталонных наборах данных социальных сетей, включая MVSA-S, MVSA-M и Twitter-Depression, FMSA превосходит современные методы, достигая на MVSA-S при использовании полного набора данных точности 63,47% и показателя F1 57,34%, а в условиях малого числа примеров — точности 61,25% и показателя F1 56,06% при использовании лишь 1% данных. Благодаря дообучению облегчённых компонентов при сохранении устойчивости предварительно обученной модели FMSA снижает риск переобучения и обеспечивает обобщаемую производительность. Кроме того, мы выпускаем тщательно отобранный набор данных для обучения в условиях малого числа примеров в качестве ресурса для научного сообщества. Данная платформа развивает мультимодальный анализ тональности, предлагая эффективное и масштабируемое решение для интерпретации мультимодальных эмоций в сценариях с ограниченными ресурсами.