Visual Genome: соединение языка и зрения с помощью краудсорсинговых плотных аннотаций изображений

Несмотря на прогресс в перцептивных задачах, таких как классификация изображений, компьютеры по-прежнему плохо справляются с когнитивными задачами, такими как описание изображений и ответы на вопросы. Когниция является ключевой для задач, которые включают не только распознавание, но и рассуждение о нашем визуальном мире. Однако модели, используемые для решения богатого содержательного наполнения изображений в когнитивных задачах, все еще обучаются с использованием тех же наборов данных, разработанных для перцептивных задач. Для успешного выполнения когнитивных задач модели должны понимать взаимодействия и отношения между объектами на изображении. На вопрос «На каком транспорте едет человек?» компьютеры должны идентифицировать объекты на изображении, а также отношения riding(man, carriage) и pulling(horse, carriage), чтобы правильно ответить, что «человек едет в конной карете». В этой статье мы представляем набор данных Visual Genome для обеспечения моделирования таких отношений. Мы собираем плотные аннотации объектов, атрибутов и отношений в каждом изображении для обучения этих моделей. В частности, наш набор данных содержит более 108K изображений, где в среднем на каждом изображении 35 объектов, 26 атрибутов и 21 попарное отношение между объектами. Мы канонизируем объекты, атрибуты, отношения и именные словосочетания в описаниях регионов и парах вопросов-ответов в синонимы WordNet. В совокупности эти аннотации представляют собой самый плотный и крупнейший набор данных описаний изображений, объектов, атрибутов, отношений и пар вопросов-ответов.