Улучшение адаптации к предметной области моделей генерации с дополнением извлечённой информацией (RAG) для ответов на вопросы в открытом домене

Генерация с дополнением извлечённой информацией (Retrieval-Augmented Generation, RAG) — это современный подход к ответам на вопросы в открытом домене (Open-Domain Question Answering, ODQA). Модель RAG обучалась и оценивалась преимущественно с использованием внешней базы знаний на основе Википедии и не оптимизирована для применения в других специализированных областях, таких как здравоохранение и новости. В данной работе мы оцениваем влияние совместного обучения компонентов извлечения и генерации модели RAG на адаптацию к предметной области в задаче ODQA. Мы предлагаем RAG-end2end — расширение RAG, способное адаптироваться к предметно-ориентированной базе знаний за счёт обновления во время обучения всех компонентов, связанных с внешней базой знаний. Кроме того, мы вводим вспомогательный обучающий сигнал для включения дополнительных знаний, специфичных для предметной области. Этот вспомогательный сигнал заставляет RAG-end2end реконструировать заданное предложение, обращаясь к релевантной информации во внешней базе знаний. Наш основной вклад заключается в том, что, в отличие от RAG, RAG-end2end совместно обучает компоненты извлечения и генерации для сквозной задачи ответа на вопросы и адаптации к предметной области. Мы оцениваем предложенный подход на наборах данных из трёх областей — COVID-19, новости и диалоги — и достигаем значительного повышения качества по сравнению с исходной моделью RAG. Исходный код нашей работы опубликован в открытом доступе в библиотеке Hugging Face Transformers, что подтверждает её достоверность и техническую согласованность.