Дистилляция знаний на уровне последовательностей

Нейронный машинный перевод (NMT) представляет собой новую альтернативную формулировку задачи перевода, потенциально более простую по сравнению со статистическими подходами. Однако для достижения конкурентоспособной производительности модели NMT должны быть чрезвычайно большими. В данной работе мы рассматриваем применение методов дистилляции знаний. Мы показываем, что стандартная дистилляция знаний, применяемая к предсказанию на уровне слов, может быть эффективна для NMT, и также вводим две новые версии дистилляции знаний на уровне последовательностей, которые дополнительно улучшают качество и, что несколько неожиданно, по-видимому устраняют необходимость в поиске с пучком (beam search), даже когда применяются к исходной учительской модели. Наш лучший студент работает в десять раз быстрее своего передового учителя с незначительной потерей в качестве. Он также существенно превосходит эталонную модель, обученную без дистилляции знаний: на 4.2/1.7 BLEU при жадной декодировке/поиске с пучком. Применение обрезки весов (weight pruning) поверх дистилляции знаний приводит к студенту с в 13 раз меньшим числом параметров по сравнению с исходной учительской моделью, при снижении качества на 0.4 BLEU.