Swin Transformer V2: увеличение ёмкости и разрешения

Мы представляем методы масштабирования Swin Transformer до 3 миллиардов параметров и обеспечения обучения с изображениями разрешением до 1 536×1 536. За счёт увеличения ёмкости и разрешения Swin Transformer устанавливает новые рекорды на четырёх репрезентативных визуальных бенчмарках: 84,0% top-1 на классификации изображений ImageNet‑V2, 63,1 / 54,4 box / mask mAP на задачах детекции объектов COCO, 59,9 mIoU на семантической сегментации ADE20K и 86,8% top-1 на классификации видеодействий Kinetics-400. Мы решаем проблемы нестабильности обучения и исследуем, как эффективно переносить модели, предварительно обученные при низком разрешении, на модели с более высоким разрешением. С этой целью предложены несколько новых технологий: (1) техника остаточной пост-нормализации и подход со шкалированным косинусным вниманием для повышения стабильности больших визуальных моделей; (2) техника логарифмически расположенного непрерывного позиционного смещения для эффективного переноса моделей, предварительно обученных на изображениях и окнах низкого разрешения, на соответствующие высокоразрешённые варианты. Кроме того, мы делимся важными деталями реализации, которые обеспечивают значительную экономию памяти GPU и делают возможным обучение больших визуальных моделей на обычных GPU. С использованием этих методов и самоконтролируемого предобучения мы успешно обучаем сильную модель Swin Transformer с 3 миллиардами параметров и эффективно переносим её на различные визуальные задачи с изображениями или окнами высокого разрешения, добиваясь передовых точностей на множестве бенчмарков. Код доступен по адресу https://github.com/microsoft/Swin-Transformer.