RocketQA: оптимизированный подход к обучению для плотного поиска фрагментов текста в системах ответов на вопросы в открытом домене

В системах ответов на вопросы в открытом домене плотный поиск фрагментов текста стал новой парадигмой поиска релевантных фрагментов для нахождения ответов. Как правило, для семантического сопоставления используется архитектура с двумя кодировщиками, обучаемая формировать плотные представления вопросов и фрагментов текста. Однако эффективное обучение двухкодировочной архитектуры затруднено рядом факторов, включая расхождение между обучением и инференсом, наличие неразмеченных положительных примеров и ограниченный объем обучающих данных. Для решения этих проблем мы предлагаем оптимизированный подход к обучению RocketQA, предназначенный для улучшения плотного поиска фрагментов текста. В RocketQA реализованы три основных технических нововведения: отрицательные примеры из межпакетного контекста, очищенные сложные отрицательные примеры и расширение данных. Результаты экспериментов показывают, что RocketQA значительно превосходит предыдущие модели, демонстрировавшие наилучшие результаты, как на наборе данных MSMARCO, так и на наборе Natural Questions. Мы также провели обширные эксперименты для оценки эффективности трех стратегий RocketQA. Кроме того, показано, что эффективность сквозной системы ответов на вопросы может быть повышена с помощью предложенного поискового модуля RocketQA.