Обучение глубоких моделей Transformer для машинного перевода

Transformer является моделью, задающей современный уровень в недавних оценках систем машинного перевода. Существует два перспективных направления исследований по улучшению подобных моделей: первое использует широкие сети (так называемый Transformer-Big) и стало де-факто стандартом в разработке систем Transformer, а второе использует более глубокие представления языка, но сталкивается с трудностями при обучении глубоких сетей. В настоящей работе мы продолжаем исследование второго направления. Мы утверждаем, что по-настоящему глубокая модель Transformer может превзойти эквивалент Transformer-Big благодаря (1) правильному использованию нормализации слоёв (layer normalization) и (2) новому способу передачи комбинации предыдущих слоёв следующему слою. На задачах WMT’16 English–German и NIST OpenMT’12 Chinese–English наша глубокая система (энкодер на 30/25 слоях) превосходит неглубокую базовую и Transformer-Big базу (энкодер на 6 слоях) на 0.4–2.4 BLEU. В качестве дополнительного преимущества глубокая модель в 1.6 раза меньше по размеру и в 3 раза быстрее обучается, чем Transformer-Big.