Использование поиска фрагментов текста с генеративными моделями для ответов на вопросы в открытом домене

Leveraging Passage Retrieval with Generative Models for Open Domain Question Answering
Gautier Izacard, Édouard Grave
2021-01-01

Natural QuestionsTriviaQAгенеративные моделивопросно-ответные системы в открытом доменепоиск фрагментов текста
Генеративные модели для ответов на вопросы в открытом домене показали конкурентоспособные результаты без обращения к внешним знаниям. Несмотря на перспективность этого подхода, он требует использования моделей с миллиардами параметров, обучение и применение которых требуют значительных затрат. В данной работе мы исследуем, в какой степени такие модели могут выигрывать от поиска фрагментов текста, потенциально содержащих релевантные доказательства. Мы получаем результаты, соответствующие передовому уровню, на открытых бенчмарках Natural Questions и TriviaQA. Интересно, что эффективность этого метода существенно повышается с увеличением числа извлекаемых фрагментов. Это свидетельствует о том, что генеративные модели хорошо агрегируют и объединяют доказательства из нескольких фрагментов текста.
1
Увеличение числа извлечённых фрагментов существенно повышает качество, что указывает на способность генеративных моделей агрегировать и объединять доказательства из нескольких источников.
2
Использование извлечённых фрагментов обеспечивает результаты уровня state-of-the-art на открытых наборах Natural Questions и TriviaQA.
3
Дополнение генеративных моделей механизмом извлечения может улучшить ответы на вопросы и потенциально снизить зависимость от чрезвычайно крупных моделей с миллиардами параметров, дорогостоящих в обучении и использовании.
4
В исследовании изучается дополнение генеративных моделей для открытого ответа на вопросы извлечёнными текстовыми фрагментами, содержащими потенциальные доказательства.

Генеративные модели для открытого вопросно-ответного поиска, дополненные извлечёнными текстовыми фрагментами

Влияние извлечения текстовых фрагментов, особенно их количества, на качество ответов и способность агрегировать и объединять свидетельства

Publication Details
Publication Date
2021-01-01
Journal
Publisher
ISSN
Cited by
1714
Access Type
Author Information
Authors
Gautier Izacard
Édouard Grave
Explore further
Open the scid.ai AI chat with a ready-made request: it will find papers on a similar topic and help build a literature review.
Find similar papers in the chat →
Make a presentation
100%