GQA: новый набор данных для визуального рассуждения в реальных условиях и композиционного ответа на вопросы

GQA: A New Dataset for Real-World Visual Reasoning and Compositional Question Answering
Christopher D. Manning, Drew A. Hudson
2019-06-01

датасет GQAграфы сцен Visual Genomeкомпозиционный вопросно-ответный поискфункциональные программывизуальное рассуждение
Мы представляем GQA — новый набор данных для визуального рассуждения в реальных условиях и композиционного ответа на вопросы, предназначенный для устранения ключевых недостатков существующих наборов данных для визуальных вопросов и ответов (VQA). Мы разработали мощный и устойчивый механизм генерации вопросов, использующий структуры графов сцен Visual Genome для создания 22 млн разнообразных вопросов, требующих рассуждения; каждый из них сопровождается функциональной программой, представляющей его семантику. Эти программы позволяют осуществлять строгий контроль распределения ответов; кроме того, мы предлагаем новый настраиваемый метод сглаживания для уменьшения смещений, связанных с вопросами. Набор данных дополнен комплексом новых метрик, оценивающих такие важные свойства, как согласованность, заземление и правдоподобие. Проведен подробный анализ базовых методов и моделей, соответствующих современному уровню, с получением детализированных результатов для различных типов вопросов и топологий. Если модель на основе долгой кратковременной памяти (LSTM), не использующая визуальную информацию, достигает лишь 42,1%, а сильные модели VQA — 54,1%, то показатель людей составляет максимум 89,3%, что создает широкие возможности для дальнейших исследований. Мы надеемся, что GQA станет ресурсом, способствующим разработке следующего поколения моделей с повышенной устойчивостью, улучшенной согласованностью и более глубоким семантическим пониманием визуальной информации и языка.
1
Предложен настраиваемый метод сглаживания для уменьшения смещений «вопрос—ответ» благодаря более строгому контролю распределения ответов в датасете.
2
Каждый вопрос GQA сопровождается функциональной программой, отражающей его семантику и позволяющей контролируемо анализировать рассуждения и распределение ответов.
3
GQA представляет датасет для визуального рассуждения в реальном мире, содержащий 22 миллиона разнообразных композиционных вопросов, созданных на основе графов сцен Visual Genome.
4
Производительность моделей значительно уступает человеческой: слепая LSTM достигает 42,1%, сильные VQA-модели — 54,1%, а люди — 89,3%.
5
Вместе с датасетом представлен набор метрик для оценки согласованности, заземления и правдоподобия, обеспечивающий детальный анализ систем визуальных вопросов и ответов.

GQA — набор данных, содержащий изображения реального мира, связанные с композиционными вопросами и ответами по визуальному содержанию, а также функциональными программами

Обеспечение набором данных устойчивого, согласованного, обоснованного и правдоподобного визуального рассуждения и композиционного ответа на вопросы, включая управление распределением ответов и оценивание по различным типам вопросов

Publication Details
Publication Date
2019-06-01
Journal
Publisher
ISSN
Cited by
1796
Access Type
Author Information
Authors
Christopher D. Manning
Drew A. Hudson
Explore further
Open the scid.ai AI chat with a ready-made request: it will find papers on a similar topic and help build a literature review.
Find similar papers in the chat →
Make a presentation
100%