GenTron: диффузионные трансформеры для генерации изображений и видео

В этом исследовании мы рассматриваем диффузионные модели на основе трансформеров для генерации изображений и видео. Несмотря на доминирование архитектур трансформеров в различных областях благодаря их гибкости и масштабируемости, в области визуальной генерации преимущественно используются сверточные (CNN) U-Net архитектуры, особенно в диффузионных моделях. Мы представляем GenTron — семейство генеративных моделей, использующих трансформерную диффузию, чтобы устранить этот разрыв. Наш первый шаг заключался в адаптации Diffusion Transformers (DiTs) от классового к текстовому кондиционированию, что включало тщательное эмпирическое исследование механизма кондиционирования. Далее мы масштабировали GenTron примерно от 900M до более чем 3B параметров, наблюдая улучшение визуального качества. Кроме того, мы расширили GenTron для текст-видео генерации, введя новый метод motion-free guidance для повышения качества видео. В человеко-ориентированных оценках против SDXL GenTron достигает 51.1% побед по визуальному качеству (при 19.8% ничьих) и 42.3% побед по соответствию тексту (при 42.9% ничьих). GenTron особенно хорошо показал себя в T2I-CompBench, что подчеркивает его способность к композиционной генерации. Мы надеемся, что GenTron внесет значимый вклад и послужит полезной отправной точкой для будущих исследований. Для наиболее актуальных результатов см. https://www.shoufachen.com/gentron_website/ и версию на arXiv: https://arxiv.org/abs/2312.04557.