Не просто предполагайте; смотрите и отвечайте: преодоление априорных представлений в визуальном ответе на вопросы
Don't Just Assume; Look and Answer: Overcoming Priors for Visual Question Answering
2018-06-01
SCID: 54.1/zhm4eqwp
Discuss with AI
изменяющиеся априорные распределенияобоснованные визуальные вопросы и ответысети с накопленным вниманиемнаборы данных VQA-CPвизуальные вопросы и ответы
Figures from the paper
Abstract (AI)
Ряд исследований показал, что современные модели визуального ответа на вопросы (Visual Question Answering, VQA) в значительной степени опираются на поверхностные корреляции в обучающих данных и недостаточно связывают ответы с содержанием изображений. Чтобы стимулировать разработку моделей, ориентированных на последнее, мы предлагаем новую постановку задачи VQA, в которой для каждого типа вопросов обучающая и тестовая выборки имеют различные априорные распределения ответов. В частности, мы представляем новые разбиения наборов данных VQA v1 и VQA v2, которые называем Visual Question Answering under Changing Priors (VQA-CP v1 и VQA-CP v2 соответственно). Сначала мы оцениваем несколько существующих моделей VQA в рамках этой новой постановки и показываем, что их производительность значительно снижается по сравнению с исходной постановкой VQA. Затем мы предлагаем новую модель Grounded Visual Question Answering (GVQA), включающую индуктивные смещения и архитектурные ограничения, специально разработанные для предотвращения «жульничества» модели за счёт преимущественной опоры на априорные распределения в обучающих данных. В частности, GVQA явно разделяет распознавание визуальных концептов, присутствующих на изображении, и определение пространства правдоподобных ответов для заданного вопроса, благодаря чему модель более устойчиво обобщается на различные распределения ответов. GVQA построена на основе существующей модели VQA — Stacked Attention Networks (SAN). Эксперименты показывают, что GVQA значительно превосходит SAN на наборах данных VQA-CP v1 и VQA-CP v2. Примечательно, что в ряде случаев она также превосходит более мощные модели VQA, такие как Multimodal Compact Bilinear Pooling (MCB). При обучении и оценивании на исходных наборах данных VQA v1 и VQA v2 преимущества GVQA дополняют преимущества SAN. Наконец, GVQA является более прозрачной и интерпретируемой моделью по сравнению с существующими моделями VQA.
Key Findings
1
Существующие модели VQA значительно теряют в качестве на VQA-CP по сравнению с исходной схемой оценки VQA.
2
GVQA разделяет распознавание визуальных концептов и определение пространства ответов, обусловленного вопросом, снижая зависимость от обучающих априорных распределений и улучшая обобщение между распределениями.
3
GVQA значительно превосходит SAN на обеих версиях VQA-CP и в ряде случаев превосходит MCB, одновременно обеспечивая большую прозрачность и дополняя преимущества SAN на стандартных наборах VQA.
4
Модели VQA сильно зависят от поверхностных априорных распределений ответов, что выявляет недостаточную привязку к изображениям при изменении этих распределений.
5
VQA-CP v1 и VQA-CP v2 вводят разбиения, в которых распределения ответов для каждого типа вопросов различаются между обучением и тестированием, непосредственно проверяя устойчивость к сдвигу априорных распределений.
Research Object
модели визуальных вопросов и ответов (VQA), оцениваемые на наборах данных VQA-CP и VQA при изменяющихся распределениях априорных вероятностей ответов
Research Subject
зависимость моделей от априорных вероятностей ответов по сравнению с опорой на изображение, включая обобщение между распределениями и интерпретируемость
Publication Details
Publication Date
2018-06-01
Journal
Publisher
ISSN
Cited by
623
Open access PDF
Access Type
Author Information
Download PDF
Subscribe to digest