Симметричная схема плотного поиска с двойным кодированием для визуального ответа на вопросы, требующие привлечения знаний
A Symmetric Dual Encoding Dense Retrieval Framework for Knowledge-Intensive Visual Question Answering
2023-07-18
SCID: 54.1/8x2stmdm
Discuss with AI
OK-VQAплотный поискитеративная дистилляция знанийзнание-интенсивный визуальный вопрос-ответсимметричное двойное кодирование
Figures from the paper
Abstract (AI)
Визуальный ответ на вопросы, требующие привлечения знаний (Knowledge-Intensive Visual Question Answering, KI-VQA), заключается в ответе на вопрос об изображении, ответ на который отсутствует в самом изображении. В статье предложен новый конвейер для задач KI-VQA, состоящий из модуля поиска и модуля чтения. Сначала представлен DEDR — симметричная схема плотного поиска с двойным кодированием, в которой документы и запросы кодируются в общем пространстве эмбеддингов с использованием одномодальных (текстовых) и мультимодальных кодировщиков. Предложен итеративный подход к дистилляции знаний, устраняющий разрыв между пространствами представлений, формируемыми этими двумя кодировщиками. Масштабная оценка на двух общепризнанных наборах данных для KI-VQA — OK-VQA и FVQA — показывает, что DEDR превосходит базовые методы, соответствующие современному уровню, на 11,6% и 30,9% для OK-VQA и FVQA соответственно.
Key Findings
1
Итеративная дистилляция знаний устраняет различия между пространствами представлений одномодального текстового и мультимодального кодировщиков.
2
DEDR превосходит современные базовые методы на 11,6% на OK-VQA и на 30,9% на FVQA.
3
DEDR использует симметричное двойное кодирование, отображая документы и запросы на основе изображений в общее пространство представлений с помощью текстового и мультимодального кодировщиков.
4
Эксперименты на наборах данных OK-VQA и FVQA подтверждают эффективность предложенного подхода к извлечению знаний для KI-VQA.
5
В работе представлена система, состоящая из ретривера и модуля чтения, специально разработанная для задач визуального ответа на вопросы, требующих внешних знаний.
Research Object
Задачи визуального ответа на вопросы, требующие внешних знаний (KI-VQA), включающие вопросы об изображениях, ответы на которые отсутствуют в самих изображениях
Research Subject
Эффективность извлечения знаний и формирования ответов в KI-VQA, в частности результативность симметричного плотного поиска с двойным кодированием и итеративной дистилляции знаний для согласования текстовых и мультимодальных представлений
Publication Details
Publication Date
2023-07-18
Journal
Publisher
ISSN
Cited by
27
Open access PDF
Access Type
Author Information
Download PDF
Subscribe to digest
Источники этой статьи в scid.ai4
Swin Transformer: Иерархический визуальный трансформер с использова́нием сдвинутых окон2021
Исследование пределов трансферного обучения с помощью унифицированного преобразователя текста в текст2019
Плотный поиск фрагментов текста для ответов на вопросы в открытом домене2020
Использование поиска фрагментов текста с генеративными моделями для ответов на вопросы в открытом домене2021