CSWin Transformer: универсальный визион-трансформерный бэкенд с поперечно-образными окнами

Мы представляем CSWin Transformer — эффективный и действенный бэкенд на базе Transformer для задач общего назначения в области компьютерного зрения. Одна из сложных проблем при разработке Transformer состоит в том, что глобальное самовнимание очень дорого по вычислениям, тогда как локальное самовнимание часто ограничивает поле взаимодействий каждого токена. Для решения этой проблемы мы разработали механизм самовнимания с поперечно-образным окном (Cross-Shaped Window), который вычисляет самовнимание параллельно по горизонтальным и вертикальным полосам, образующим поперечно-образное окно; каждая полоса получается разбиением входного признакового представления на полосы равной ширины. Мы приводим математический анализ влияния ширины полос и варьируем ширину полос для разных слоев сети Transformer, что обеспечивает высокую моделирующую способность при ограничении вычислительных затрат. Мы также вводим локально-улучшенное позиционное кодирование (Locally-enhanced Positional Encoding, LePE), которое лучше учитывает локальную позиционную информацию по сравнению с существующими схемами кодирования. LePE естественно поддерживает произвольные входные разрешения, что делает его особенно эффективным и удобным для downstream-задач. В сочетании с этими решениями и иерархической структурой CSWin Transformer демонстрирует конкурентную производительность на типичных задачах компьютерного зрения. В частности, он достигает 85.4% Top-1 точности на ImageNet-1K без дополнительного обучающего набора или меток, 53.9 box AP и 46.4 mask AP в задаче детекции COCO и 52.2 mIoU в задаче семантической сегментации ADE20K, превосходя предыдущий передовой бэкенд Swin Transformer на +1.2, +2.0, +1.4 и +2.0 соответственно при сходных FLOPs. При дополнительном предварительном обучении на большем наборе ImageNet-21K мы достигаем 87.5% Top-1 точности на ImageNet-1K и высокой сегментационной производительности на ADE20K с 55.7 mIoU. Код и предобученная модель доступны по адресу https://github.com/microsoft/CSWin-Transformer