Моделирование покрытия для нейронного машинного перевода

Механизм внимания улучшил современные методы нейронного машинного перевода (NMT) за счёт совместного обучения выравниванию и переводу. Однако он имеет тенденцию игнорировать информацию о предыдущих выравниваниях, что часто приводит к избыточному и неполному переводу. Для решения этой проблемы мы предлагаем подход NMT на основе покрытия. Мы поддерживаем вектор покрытия для отслеживания истории внимания. Вектор покрытия подаётся в модель внимания, чтобы скорректировать последующее внимание, что позволяет системе NMT более полно учитывать непереведённые слова исходного текста. Эксперименты показывают, что предлагаемый подход существенно улучшает как качество перевода, так и качество выравнивания по сравнению со стандартным NMT на базе механизма внимания.