Эффективные подходы к нейронному машинному переводу на основе механизма внимания

Механизм внимания в последнее время используется для улучшения нейронного машинного перевода (NMT) за счёт выборочного фокусирования на частях исходного предложения во время перевода. Однако мало работ исследуют полезные архитектуры для NMT на основе внимания. В статье рассматриваются два простых и эффективных класса механизмов внимания: глобальный подход, который всегда учитывает все слова исходного текста, и локальный, который в каждый момент времени просматривает только часть слов. Мы демонстрируем эффективность обоих подходов на задачах перевода WMT между английским и немецким языками в обоих направлениях. При использовании локального внимания мы достигаем существенного прироста на 5,0 BLEU по сравнению с системами без внимания, которые уже включают известные приёмы, такие как dropout. Наш ансамбль моделей с разными архитектурами внимания даёт новый рекордный результат для задачи WMT'15 «английский→немецкий» — 25,9 BLEU, что на 1,0 BLEU лучше по сравнению с предыдущей лучшей системой, основанной на NMT и n-граммовом переназначителе (n-gram reranker).