Мультимодальное компактное билинейное объединение для ответов на визуальные вопросы и визуального заземления
Multimodal Compact Bilinear Pooling for Visual Question Answering and Visual Grounding
2016-01-01
SCID: 54.1/9acsqfsa
Discuss with AI
датасет Visual7Wмультимодальное компактное билинейное объединениеслияние мультимодальных признаковвизуальное заземлениевизуальные вопросы и ответы
Figures from the paper
Abstract (AI)
В последние годы активно исследуется моделирование текстовой и визуальной информации с помощью векторных представлений, обученных на больших языковых или визуальных наборах данных. Однако такие задачи, как ответы на визуальные вопросы, требуют объединения этих векторных представлений. Подходы к мультимодальному объединению включают поэлементное умножение или сложение, а также конкатенацию визуальных и текстовых представлений. Мы предполагаем, что эти методы менее выразительны, чем внешнее произведение визуального и текстового векторов. Поскольку внешнее произведение обычно неприемлемо из-за высокой размерности результата, мы предлагаем использовать мультимодальное компактное билинейное объединение (Multimodal Compact Bilinear pooling, MCB) для эффективного и выразительного объединения мультимодальных признаков. Мы всесторонне оцениваем MCB на задачах ответов на визуальные вопросы и визуального заземления. Мы стабильно демонстрируем преимущества MCB по сравнению с вариантами без MCB. Для ответов на визуальные вопросы мы предлагаем архитектуру, которая использует MCB дважды: сначала для предсказания внимания к пространственным признакам, а затем для объединения представления с учетом внимания с представлением вопроса. Эта модель превосходит современные методы на наборе данных Visual7W и в соревновании VQA.
Key Findings
1
MCB стабильно улучшает результаты по сравнению с абляционными моделями без мультимодального компактного билинейного пуллинга в задачах визуальных вопросов и визуального заземления.
2
Модель на основе MCB достигает результатов уровня state-of-the-art на наборе Visual7W и в соревновании VQA.
3
Метод устраняет проблему чрезмерной размерности явного внешнего произведения, сохраняя более богатые мультимодальные взаимодействия по сравнению с поэлементными операциями и конкатенацией.
4
В работе предложен мультимодальный компактный билинейный пуллинг (MCB), эффективно аппроксимирующий выразительные взаимодействия внешнего произведения визуальных и текстовых признаков.
5
Предложенная архитектура для ответов на визуальные вопросы применяет MCB дважды: для предсказания пространственного внимания и объединения выделенных визуальных признаков с признаками вопроса.
Research Object
мультимодальные системы ответов на визуальные вопросы и визуального заземления
Research Subject
эффективность мультимодального компактного билинейного пуллинга для выразительного объединения визуальных и текстовых представлений
Publication Details
Publication Date
2016-01-01
Journal
Publisher
ISSN
Cited by
1696
Open access PDF
Access Type
Author Information
Download PDF
Subscribe to digest
Источники этой статьи в scid.ai7
Глубокое остаточное обучение для распознавания изображений2016
Очень глубокие сверточные сети для масштабного распознавания изображений2014
Adam: метод стохастической оптимизации2014
ImageNet: крупномасштабная иерархическая база изображений2009
Обучение «последовательность-в-последовательность» с помощью нейронных сетей2014
Билинейные модели CNN для точной (fine-grained) визуальной классификации2015
Adam: метод стохастической оптимизации2021