Моделирование покрытия для нейронного машинного перевода
Modeling Coverage for Neural Machine Translation
2016-01-01
SCID: 54.1/yhqwak6b
Discuss with AI
качество выравниваниямеханизм вниманиявектор покрытиянейронный машинный переводпере- и недоперевод
Figures from the paper
Abstract (AI)
Механизм внимания улучшил современные методы нейронного машинного перевода (NMT) за счёт совместного обучения выравниванию и переводу. Однако он имеет тенденцию игнорировать информацию о предыдущих выравниваниях, что часто приводит к избыточному и неполному переводу. Для решения этой проблемы мы предлагаем подход NMT на основе покрытия. Мы поддерживаем вектор покрытия для отслеживания истории внимания. Вектор покрытия подаётся в модель внимания, чтобы скорректировать последующее внимание, что позволяет системе NMT более полно учитывать непереведённые слова исходного текста. Эксперименты показывают, что предлагаемый подход существенно улучшает как качество перевода, так и качество выравнивания по сравнению со стандартным NMT на базе механизма внимания.
Key Findings
1
Подача вектора покрытия в модель внимания корректирует будущие веса внимания для снижения ошибок перевода.
2
Введение вектора покрытия, отслеживающего историю внимания, помогает модели учитывать непереведённые слова исходного текста.
3
Стандартная NMT с механизмом внимания игнорирует информацию о прошлых выравниваниях, что приводит к пере- и недопереводу.
4
NMT с учётом покрытия значительно улучшает как качество перевода, так и качество выравнивания по сравнению со стандартной NMT с вниманием.
Research Object
Система нейронного машинного перевода на основе механизма внимания (с вектором покрытия)
Research Subject
Моделирование и использование вектора покрытия для отслеживания истории внимания с целью уменьшения перекомпоновки и недокомпоновки перевода, улучшения качества перевода и выравнивания
Publication Details
Publication Date
2016-01-01
Journal
Publisher
ISSN
Cited by
715
Open access PDF
Access Type
Author Information
Download PDF
Subscribe to digest
Источники этой статьи в scid.ai8
Обучение представлений фраз с использованием RNN энкодер–декодера для статистического машинного перевода2014
Обучение «последовательность-в-последовательность» с помощью нейронных сетей2014
Нейронный машинный перевод посредством совместного обучения выравниванию и переводу2014
Эмпирическая оценка управляемых рекуррентных нейронных сетей для моделирования последовательностей2014
Двунаправленные рекуррентные нейронные сети1997
О свойствах нейронного машинного перевода: подходы энкодер–декодер2014
Эффективные подходы к нейронному машинному переводу на основе механизма внимания2015
Обучение представлений фраз с использованием RNN Encoder–Decoder для статистического машинного перевода2014