Чрезвычайно большие нейронные сети: слой разреженно управляемой смеси экспертов

Емкость нейронной сети по поглощению информации ограничена числом её параметров. Условные вычисления, при которых части сети активируются для каждого примера индивидуально, теоретически были предложены как способ существенного увеличения ёмкости модели без пропорционального увеличения вычислительных затрат. На практике, однако, возникают значительные алгоритмические и производительные проблемы. В этой работе мы решаем эти проблемы и в конечном счёте реализуем обещание условных вычислений, добившись более чем 1000× увеличения ёмкости модели при лишь незначительных потерях вычислительной эффективности на современных кластерах GPU. Мы вводим слой разреженно управляемой смеси экспертов (Mixture-of-Experts, MoE), состоящий из до тысяч полносвязных подсетей. Обучаемая сеть-«гейт» определяет разреженную комбинацию этих экспертов для использования в каждом примере. Мы применяем MoE к задачам языкового моделирования и машинного перевода, где ёмкость модели критична для усвоения огромного объёма знаний, содержащихся в обучающих корпусах. Мы представляем архитектуры моделей, в которых MoE с до 137 миллиардов параметров применяется сверточно между сложенными слоями LSTM. На больших бенчмарках по языковому моделированию и машинному переводу эти модели достигают существенно лучших результатов по сравнению с передовым уровнем при более низкой вычислительной стоимости.