Visual Genome: объединение языка и зрения с использованием плотной разметки изображений, созданной краудсорсингом

Visual Genome: Connecting Language and Vision Using Crowdsourced Dense Image Annotations
Li-Jia Li, Li Fei-Fei, Ranjay Krishna, Yuke Zhu, Oliver Groth, Justin Johnson, Kenji Hata, Joshua Kravitz, Stephanie Chen, Yannis Kalantidis, David A. Shamma, Michael S. Bernstein
2017-02-06

датасет Visual Genomeплотные аннотации изображенийописание изображенийотношения между объектамивизуальные вопросы и ответы
Несмотря на прогресс в перцептивных задачах, таких как классификация изображений, компьютеры по-прежнему плохо справляются с когнитивными задачами, включая описание изображений и ответы на вопросы. Когнитивные способности лежат в основе задач, требующих не только распознавания, но и рассуждений о визуальном мире. Однако модели, используемые для обработки богатого содержания изображений в когнитивных задачах, по-прежнему обучаются на тех же наборах данных, которые были разработаны для перцептивных задач. Для успешного решения когнитивных задач моделям необходимо понимать взаимодействия и отношения между объектами на изображении. Если спросить: «На каком транспортном средстве едет человек?», компьютеру потребуется идентифицировать объекты на изображении, а также отношения riding(man, carriage) и pulling(horse, carriage), чтобы правильно ответить: «Человек едет в конной повозке». В этой статье мы представляем набор данных Visual Genome, предназначенный для моделирования таких отношений. Для обучения этих моделей мы собираем плотную разметку объектов, атрибутов и отношений внутри каждого изображения. В частности, наш набор данных содержит более 108 тыс. изображений; в среднем на одно изображение приходится 35 объектов, 26 атрибутов и 21 парное отношение между объектами. Мы канонизируем объекты, атрибуты, отношения, а также именные группы в описаниях областей и парах «вопрос–ответ», сопоставляя их с синсетами WordNet. В совокупности эти аннотации образуют наиболее плотный и крупный набор данных, включающий описания изображений, объекты, атрибуты, отношения и пары «вопрос–ответ».
1
Аннотации включают описания изображений, объекты, атрибуты, отношения и пары вопросов и ответов, обеспечивая обучение за пределами обычных перцептивных датасетов.
2
Объекты, атрибуты, отношения, именные группы из описаний областей и пары вопросов и ответов приведены к синсетам WordNet.
3
Датасет содержит более 108 тысяч изображений с плотными аннотациями: в среднем 35 объектов, 26 атрибутов и 21 попарное отношение между объектами на изображение.
4
Датасет заявлен как крупнейший и наиболее плотный ресурс, объединяющий эти взаимодополняющие типы визуально-языковых аннотаций.
5
Представлен датасет Visual Genome для когнитивных задач компьютерного зрения, требующих рассуждений о взаимодействиях и отношениях между объектами изображения.

Набор данных Visual Genome с плотными аннотациями изображений (объекты, атрибуты, отношения, описания регионов и пары вопрос–ответ)

Моделирование взаимодействий и отношений между объектами на изображениях для визуального рассуждения, описания изображений и ответов на вопросы

Publication Details
Publication Date
2017-02-06
Journal
Publisher
ISSN
Access Type
Author Information
Authors
Li-Jia Li
Li Fei-Fei
Ranjay Krishna
Yuke Zhu
Oliver Groth
Justin Johnson
Kenji Hata
Joshua Kravitz
Stephanie Chen
Yannis Kalantidis
David A. Shamma
Michael S. Bernstein
Explore further
Open the scid.ai AI chat with a ready-made request: it will find papers on a similar topic and help build a literature review.
Find similar papers in the chat →
Make a presentation
100%