Обучение глубоких моделей Transformer для машинного перевода

Transformer является передовой моделью в недавних оценках систем машинного перевода. Два направления исследований обещают улучшить модели этого класса: первое использует широкие сети (так называемый Transformer-Big) и стало де-факто стандартом при разработке Transformer, второе использует более глубокие представления языка, но сталкивается с трудностями при обучении глубоких сетей. Здесь мы продолжаем исследование второго направления. Мы утверждаем, что по-настоящему глубокая модель Transformer может превзойти аналог Transformer-Big за счёт (1) корректного использования нормализации слоёв и (2) нового способа передачи комбинации предыдущих слоёв на следующий. На задачах WMT'16 English–German, NIST OpenMT'12 Chinese–English и большей WMT'18 Chinese–English наша глубокая система (кодировщик из 30/25 слоёв) превосходит неглубокий базовый/Transformer-Big эталон (кодировщик из 6 слоёв) на 0.4–2.4 BLEU. В качестве дополнительного преимущества глубокая модель в 1.6× меньше по размеру и в 3× быстрее при обучении по сравнению с Transformer-Big.