Мультимодальное компактное билинейное объединение для ответов на визуальные вопросы и визуального заземления

Multimodal Compact Bilinear Pooling for Visual Question Answering and Visual Grounding
Trevor Darrell, Marcus Rohrbach, Akira Fukui, Dong Huk Park, Daylen Yang, Anna Rohrbach
2016-01-01

датасет Visual7Wмультимодальное компактное билинейное объединениеслияние мультимодальных признаковвизуальное заземлениевизуальные вопросы и ответы
В последние годы активно исследуется моделирование текстовой и визуальной информации с помощью векторных представлений, обученных на больших языковых или визуальных наборах данных. Однако такие задачи, как ответы на визуальные вопросы, требуют объединения этих векторных представлений. Подходы к мультимодальному объединению включают поэлементное умножение или сложение, а также конкатенацию визуальных и текстовых представлений. Мы предполагаем, что эти методы менее выразительны, чем внешнее произведение визуального и текстового векторов. Поскольку внешнее произведение обычно неприемлемо из-за высокой размерности результата, мы предлагаем использовать мультимодальное компактное билинейное объединение (Multimodal Compact Bilinear pooling, MCB) для эффективного и выразительного объединения мультимодальных признаков. Мы всесторонне оцениваем MCB на задачах ответов на визуальные вопросы и визуального заземления. Мы стабильно демонстрируем преимущества MCB по сравнению с вариантами без MCB. Для ответов на визуальные вопросы мы предлагаем архитектуру, которая использует MCB дважды: сначала для предсказания внимания к пространственным признакам, а затем для объединения представления с учетом внимания с представлением вопроса. Эта модель превосходит современные методы на наборе данных Visual7W и в соревновании VQA.
1
MCB стабильно улучшает результаты по сравнению с абляционными моделями без мультимодального компактного билинейного пуллинга в задачах визуальных вопросов и визуального заземления.
2
Модель на основе MCB достигает результатов уровня state-of-the-art на наборе Visual7W и в соревновании VQA.
3
Метод устраняет проблему чрезмерной размерности явного внешнего произведения, сохраняя более богатые мультимодальные взаимодействия по сравнению с поэлементными операциями и конкатенацией.
4
В работе предложен мультимодальный компактный билинейный пуллинг (MCB), эффективно аппроксимирующий выразительные взаимодействия внешнего произведения визуальных и текстовых признаков.
5
Предложенная архитектура для ответов на визуальные вопросы применяет MCB дважды: для предсказания пространственного внимания и объединения выделенных визуальных признаков с признаками вопроса.

мультимодальные системы ответов на визуальные вопросы и визуального заземления

эффективность мультимодального компактного билинейного пуллинга для выразительного объединения визуальных и текстовых представлений

Publication Details
Publication Date
2016-01-01
Journal
Publisher
ISSN
Cited by
1696
Access Type
Author Information
Authors
Trevor Darrell
Marcus Rohrbach
Akira Fukui
Dong Huk Park
Daylen Yang
Anna Rohrbach
Explore further
Open the scid.ai AI chat with a ready-made request: it will find papers on a similar topic and help build a literature review.
Find similar papers in the chat →
Make a presentation
100%