OMG: к генерации движений с открытым словарём с помощью смеси контроллеров

В последнее время наблюдается значительный прогресс в реалистичной генерации движений по тексту. Тем не менее существующие методы часто терпят неудачу или порождают неправдоподобные движения для невидимых текстовых запросов, что ограничивает их применение. В этой работе мы представляем OMG — новую архитектуру, обеспечивающую убедительную генерацию движений по zero-shot запросам с открытым словарём. Наша ключевая идея — аккуратно адаптировать парадигму предварительного обучения с последующей дообучением (pretrain-then-finetune) для задачи текст→движение. На этапе предварительного обучения модель улучшает генеративные способности, изучая богатые вне-доменные присущие свойства движений. Для этого мы масштабируем большой безусловный диффузионный модель до 1 млрд параметров, используя массовые аннотированные данные движений объёмом свыше 20 млн экземпляров. На этапе дообучения мы вводим motion ControlNet, который включает текстовые подсказки в качестве условной информации через обучаемую копию предобученной модели и предложенный блок Mixture-of-Controllers (MoC). Блок MoC адаптивно распознаёт различные диапазоны субдвижений с помощью механизма cross-attention и обрабатывает их отдельно текстово-токен-специфическими экспертами. Такая схема эффективно выравнивает эмбеддинги токенов CLIP текстовых подсказок с разными диапазонами компактных и выразительных признаков движений. Широкие эксперименты демонстрируют, что OMG обеспечивает значительные улучшения по сравнению с современными методами в задаче zero-shot генерации движений по тексту. Страница проекта: https://tr3e.github.io/omg-page.