Pre-gated MoE: совместный дизайн алгоритма и системы для быстрого и масштабируемого вывода в архитектуре Mixture-of-Experts

Трансформерные большие языковые модели (LLM) достигли значительного прогресса в последние годы, что обусловлено увеличением их размера. Несмотря на высокую алгоритмическую эффективность, вычислительные и памятьные требования LLM создают беспрецедентные трудности. Для снижения вычислительной нагрузки LLM была предложена архитектура Mixture-of-Experts (MoE), позволяющая масштабировать размер модели без пропорционального роста вычислительных затрат. Однако высокие требования MoE к памяти и динамическая активация разреженных экспертов ограничивают её применимость в реальных задачах. Предыдущие решения, выносящие «тяжёлые» параметры экспертов в память CPU, оказываются неэффективными из‑за задержек при переносе активируемых экспертов с CPU на GPU, что приводит к серьёзным накладным расходам по времени. Наше предлагаемое решение Pre-gated MoE эффективно справляется с вычислительными и памятьными проблемами традиционных MoE за счёт совместного дизайна алгоритма и системы. Pre-gated MoE использует новую функцию предварительного гейтинга (pre-gating), которая смягчает динамическую природу активации разреженных экспертов, позволяя системе уменьшить объём занимаемой памяти при сохранении высокой производительности. Мы показываем, что Pre-gated MoE улучшает производительность и снижает потребление GPU-памяти при сохранении уровня качества модели. Эти свойства позволяют системе Pre-gated MoE экономично разворачивать масштабные LLM, используя всего один GPU с высокой производительностью.