Visual Genome: объединение языка и зрения с использованием плотной разметки изображений, созданной краудсорсингом
Visual Genome: Connecting Language and Vision Using Crowdsourced Dense Image Annotations
2017-02-06
SCID: 54.1/9ur6wz4v
Discuss with AI
датасет Visual Genomeплотные аннотации изображенийописание изображенийотношения между объектамивизуальные вопросы и ответы
Figures from the paper
Abstract (AI)
Несмотря на прогресс в перцептивных задачах, таких как классификация изображений, компьютеры по-прежнему плохо справляются с когнитивными задачами, включая описание изображений и ответы на вопросы. Когнитивные способности лежат в основе задач, требующих не только распознавания, но и рассуждений о визуальном мире. Однако модели, используемые для обработки богатого содержания изображений в когнитивных задачах, по-прежнему обучаются на тех же наборах данных, которые были разработаны для перцептивных задач. Для успешного решения когнитивных задач моделям необходимо понимать взаимодействия и отношения между объектами на изображении. Если спросить: «На каком транспортном средстве едет человек?», компьютеру потребуется идентифицировать объекты на изображении, а также отношения riding(man, carriage) и pulling(horse, carriage), чтобы правильно ответить: «Человек едет в конной повозке». В этой статье мы представляем набор данных Visual Genome, предназначенный для моделирования таких отношений. Для обучения этих моделей мы собираем плотную разметку объектов, атрибутов и отношений внутри каждого изображения. В частности, наш набор данных содержит более 108 тыс. изображений; в среднем на одно изображение приходится 35 объектов, 26 атрибутов и 21 парное отношение между объектами. Мы канонизируем объекты, атрибуты, отношения, а также именные группы в описаниях областей и парах «вопрос–ответ», сопоставляя их с синсетами WordNet. В совокупности эти аннотации образуют наиболее плотный и крупный набор данных, включающий описания изображений, объекты, атрибуты, отношения и пары «вопрос–ответ».
Key Findings
1
Аннотации включают описания изображений, объекты, атрибуты, отношения и пары вопросов и ответов, обеспечивая обучение за пределами обычных перцептивных датасетов.
2
Объекты, атрибуты, отношения, именные группы из описаний областей и пары вопросов и ответов приведены к синсетам WordNet.
3
Датасет содержит более 108 тысяч изображений с плотными аннотациями: в среднем 35 объектов, 26 атрибутов и 21 попарное отношение между объектами на изображение.
4
Датасет заявлен как крупнейший и наиболее плотный ресурс, объединяющий эти взаимодополняющие типы визуально-языковых аннотаций.
5
Представлен датасет Visual Genome для когнитивных задач компьютерного зрения, требующих рассуждений о взаимодействиях и отношениях между объектами изображения.
Research Object
Набор данных Visual Genome с плотными аннотациями изображений (объекты, атрибуты, отношения, описания регионов и пары вопрос–ответ)
Research Subject
Моделирование взаимодействий и отношений между объектами на изображениях для визуального рассуждения, описания изображений и ответов на вопросы
Publication Details
Publication Date
2017-02-06
Journal
Publisher
ISSN
Open access PDF
Access Type
Author Information
Download PDF
Subscribe to digest