Дополнение извлечённой информацией снижает галлюцинации в диалогах

Несмотря на всё более человекоподобные способности к ведению диалога, современные диалоговые модели часто страдают от фактических ошибок и галлюцинаций знаний (Roller et al., 2021). В этой работе мы исследуем применение архитектур с нейронным извлечением информации в контуре — недавно продемонстрировавших эффективность в открытом доменном вопросно-ответном поиске (QA) (Lewis et al., 2020b; Izacard and Grave, 2021b) — для диалога, основанного на знаниях; эта задача, вероятно, является более сложной, поскольку требует выполнения запросов с учётом сложного контекста многоходового диалога и генерации связных с точки зрения диалога ответов. Мы исследуем различные типы архитектур с несколькими компонентами — модулями извлечения, ранжирования и энкодерами-декодерами — с целью максимизировать информативность, сохраняя при этом способность к ведению диалога. Мы показываем, что наши лучшие модели достигают современных результатов в двух задачах диалога, основанного на знаниях. Модели демонстрируют возможности ведения диалогов в открытом домене, эффективно обобщают на сценарии, отсутствующие в обучающих данных, и, согласно оценкам людей, существенно снижают хорошо известную проблему галлюцинаций знаний в современных чат-ботах. * Равный вклад. Ниже приведён диалог с ИИ-ассистентом. Ассистент полезен, креативен, сообразителен и очень дружелюбен. Человек: Здравствуйте, кто вы? ИИ: Я — ИИ, созданный компанией OpenAI. Чем я могу помочь вам сегодня? Человек: Расскажите мне о Kyunghyun.