Симметричная схема плотного поиска с двойным кодированием для визуального ответа на вопросы, требующие привлечения знаний

A Symmetric Dual Encoding Dense Retrieval Framework for Knowledge-Intensive Visual Question Answering
Hamed Zamani, Alireza Salemi, Juan Altmayer Pizzorno
2023-07-18

OK-VQAплотный поискитеративная дистилляция знанийзнание-интенсивный визуальный вопрос-ответсимметричное двойное кодирование
Визуальный ответ на вопросы, требующие привлечения знаний (Knowledge-Intensive Visual Question Answering, KI-VQA), заключается в ответе на вопрос об изображении, ответ на который отсутствует в самом изображении. В статье предложен новый конвейер для задач KI-VQA, состоящий из модуля поиска и модуля чтения. Сначала представлен DEDR — симметричная схема плотного поиска с двойным кодированием, в которой документы и запросы кодируются в общем пространстве эмбеддингов с использованием одномодальных (текстовых) и мультимодальных кодировщиков. Предложен итеративный подход к дистилляции знаний, устраняющий разрыв между пространствами представлений, формируемыми этими двумя кодировщиками. Масштабная оценка на двух общепризнанных наборах данных для KI-VQA — OK-VQA и FVQA — показывает, что DEDR превосходит базовые методы, соответствующие современному уровню, на 11,6% и 30,9% для OK-VQA и FVQA соответственно.
1
Итеративная дистилляция знаний устраняет различия между пространствами представлений одномодального текстового и мультимодального кодировщиков.
2
DEDR превосходит современные базовые методы на 11,6% на OK-VQA и на 30,9% на FVQA.
3
DEDR использует симметричное двойное кодирование, отображая документы и запросы на основе изображений в общее пространство представлений с помощью текстового и мультимодального кодировщиков.
4
Эксперименты на наборах данных OK-VQA и FVQA подтверждают эффективность предложенного подхода к извлечению знаний для KI-VQA.
5
В работе представлена система, состоящая из ретривера и модуля чтения, специально разработанная для задач визуального ответа на вопросы, требующих внешних знаний.

Задачи визуального ответа на вопросы, требующие внешних знаний (KI-VQA), включающие вопросы об изображениях, ответы на которые отсутствуют в самих изображениях

Эффективность извлечения знаний и формирования ответов в KI-VQA, в частности результативность симметричного плотного поиска с двойным кодированием и итеративной дистилляции знаний для согласования текстовых и мультимодальных представлений

Publication Details
Publication Date
2023-07-18
Journal
Publisher
ISSN
Cited by
27
Access Type
Author Information
Authors
Hamed Zamani
Alireza Salemi
Juan Altmayer Pizzorno
Explore further
Open the scid.ai AI chat with a ready-made request: it will find papers on a similar topic and help build a literature review.
Find similar papers in the chat →
Make a presentation
100%