Повышение эффективности больших языковых моделей с дополнением посредством извлечения данных за счёт итеративного взаимодействия извлечения и генерации

Генерация с дополнением посредством извлечения данных привлекла значительное внимание, поскольку обладает потенциалом для устранения ограничений больших языковых моделей, включая устаревшие знания и галлюцинации. Однако системы извлечения испытывают трудности с оценкой релевантности, особенно при обработке запросов со сложными информационными потребностями. В недавних исследованиях было предложено повысить качество моделирования релевантности за счёт активного вовлечения больших языковых моделей в процесс извлечения, то есть направлять извлечение с помощью генерации. В данной работе показано, что высоких результатов можно достичь с помощью метода ITER-RETGEN, который итеративно объединяет извлечение и генерацию: ответ модели на входные данные задачи показывает, какая информация может потребоваться для её выполнения, и поэтому может служить информативным контекстом для извлечения более релевантных знаний, что, в свою очередь, помогает сгенерировать более качественный ответ на следующей итерации. В отличие от недавних методов, чередующих извлечение и генерацию при формировании одного результата, ITER-RETGEN обрабатывает все извлечённые знания как единое целое и в значительной степени сохраняет гибкость генерации без структурных ограничений. Мы оцениваем ITER-RETGEN на задачах многошагового ответа на вопросы, проверки фактов и рассуждений на основе здравого смысла и показываем, что метод способен гибко использовать параметрические и непараметрические знания, превосходит современные базовые методы с дополнением посредством извлечения или сопоставим с ними, при этом требуя меньших затрат на извлечение и генерацию. Производительность можно дополнительно повысить с помощью адаптации извлечения, дополненной генерацией.