Устойчивая интерполяция движений (in-betweening)

В данной работе мы представляем новый, устойчивый метод генерации переходов, который может служить новым инструментом для 3D-аниматоров, основанный на состязательных рекуррентных нейронных сетях. Система синтезирует движения высокого качества, используя временно разреженные ключевые кадры в качестве ограничений анимации. Это напоминает задачу in-betweening в традиционных конвейерах анимации, когда аниматор рисует промежуточные кадры между заданными ключевыми кадрами. Сначала мы показываем, что современную модель предсказания движений (state-of-the-art) нельзя легко преобразовать в устойчивый генератор переходов лишь добавлением информации об условиях на будущие ключевые кадры. Для решения этой проблемы мы предлагаем два новых аддитивных модификатора встраивания, которые применяются на каждом временном шаге к латентным представлениям, кодируемым внутри архитектуры сети. Один модификатор — встраивание «времени до прибытия» (time-to-arrival), позволяющее варьировать длину перехода в пределах одной модели. Другой — запланированный вектор шума цели (scheduled target noise), который делает систему устойчивой к искажениям цели и позволяет сэмплировать различные переходы при фиксированных ключевых кадрах. Для качественной оценки метода мы представляем пользовательский плагин для MotionBuilder, который использует обученную модель для выполнения in-betweening в производственных сценариях. Для количественной оценки качества переходов и обобщения на более длинные горизонты предсказания мы предлагаем хорошо определенные бенчмарки in-betweening на подмножестве широко используемого датасета Human3.6M и на LaFAN1 — новом высококачественном датасете захвата движений, более подходящем для генерации переходов. Мы публикуем этот новый датасет вместе с работой и сопутствующим кодом для воспроизведения наших базовых результатов.