Визуальный диалог

Мы предлагаем задачу Визуального диалога, требующую от ИИ-агента ведения содержательного диалога с людьми на естественном разговорном языке о визуальном контенте. Конкретно, при заданном изображении, истории диалога и вопросе об изображении агент должен увязать вопрос с изображением, вывести контекст из истории и дать точный ответ. Визуальный диалог достаточно отвязан от конкретной прикладной задачи, чтобы служить общим тестом машинного интеллекта, при этом он достаточно основан на зрении, чтобы позволять объективную оценку отдельных ответов и отслеживание прогресса по бенчмарку. Мы разработали новую протокол сбора данных для двух собеседников в чате, чтобы подготовить крупномасштабный набор данных Visual Dialog (VisDial). VisDial содержит по одному диалогу (10 пар вопрос–ответ) для примерно 140 тыс. изображений из датасета COCO, всего около 1,4 млн пар вопрос–ответ диалога. Мы предлагаем семейство нейронных энкодер–декодерных моделей для Визуального диалога с тремя энкодерами (Late Fusion, Hierarchical Recurrent Encoder и Memory Network) и двумя декодерами (генеративным и дискриминативным), которые превосходят ряд сложных базовых методов. Мы предлагаем протокол оценки на основе поиска, в котором от ИИ-агента требуется упорядочить набор кандидатных ответов и оцениваться по метрикам, таким как средний обратный ранг (mean reciprocal rank) человеческого ответа. Мы количественно измеряем разрыв между машинной и человеческой производительностью для задачи Визуального диалога посредством исследований с участием людей. Наш набор данных, код и обученные модели будут опубликованы по адресу https://visualdialog.org. В совокупности мы демонстрируем первого визуального чат-бота.