Использование поиска фрагментов текста совместно с генеративными моделями для ответов на вопросы в открытом домене

Генеративные модели для ответов на вопросы в открытом домене продемонстрировали конкурентоспособные результаты без обращения к внешним знаниям. Несмотря на перспективность такого подхода, он требует использования моделей с миллиардами параметров, обучение и выполнение запросов к которым обходятся дорого. В данной статье исследуется, насколько эти модели могут выиграть от поиска фрагментов текста, потенциально содержащих необходимые свидетельства. Мы получили результаты уровня state of the art на открытых бенчмарках Natural Questions и TriviaQA. Примечательно, что эффективность данного метода значительно повышается с увеличением числа извлекаемых фрагментов. Это свидетельствует о том, что генеративные модели хорошо агрегируют и комбинируют свидетельства из нескольких фрагментов.