Swin Transformer: Иерархический визуальный трансформер с использова́нием сдвинутых окон

В статье представлен новый визуальный трансформер под названием Swin Transformer, который служит универсальным базовым модулем для задач компьютерного зрения. Адаптация трансформера из области языка к области зрения осложняется различиями между этими доменами, такими как большие вариации в масштабе визуальных объектов и более высокое разрешение пикселей в изображениях по сравнению со словами в тексте. Для учета этих различий мы предлагаем иерархический трансформер, представления в котором вычисляются с использованием сдвинутых окон. Схема со сдвинутыми окнами повышает эффективность за счет ограничения вычислений self-attention неперекрывающимися локальными окнами при одновременном обеспечении связей между окнами. Эта иерархическая архитектура обладает гибкостью моделирования на различных масштабах и имеет линейную вычислительную сложность относительно размера изображения. Эти свойства Swin Transformer делают его совместимым с широким спектром задач зрения, включая классификацию изображений (87.3% top-1 на ImageNet-1K) и задачи плотного предсказания, такие как детекция объектов (58.7 box AP и 51.1 mask AP на COCO test-dev) и семантическая сегментация (53.5 mIoU на ADE20K val). Его производительность значительно превосходит предыдущий state-of-the-art: +2.7 box AP и +2.6 mask AP на COCO, а также +3.2 mIoU на ADE20K, демонстрируя потенциал моделей на основе трансформеров в роли бэкендов для зрения. Иерархическая структура и подход со сдвинутыми окнами также оказываются полезны для архитектур «все-MLP». Код и модели доступны публично по адресу https://github.com/microsoft/Swin-Transformer.