Video Swin Transformer

Сообщество компьютерного зрения переживает переход от сверточных нейронных сетей (CNN) к трансформерам, где чистые архитектуры трансформеров достигают наивысшей точности на основных бенчмарках по распознаванию видео. Эти видео-модели построены на слоях трансформера, которые глобально соединяют патчи по пространственным и временным измерениям. В данной работе мы предлагаем индуктивное смещение в сторону локальности в видео-трансформерах, что приводит к лучшему компромиссу между скоростью и точностью по сравнению с предыдущими подходами, вычислявшими self-attention глобально даже при пространственно-временной факторизации. Локальность предлагаемой видео-архитектуры реализована адаптацией Swin Transformer, разработанного для области изображений, при этом сохраняется возможность использования предобученных моделей для изображений. Наш подход демонстрирует передовые результаты на широком спектре бенчмарков по распознаванию видео, включая распознавание действий (84,9% точности top-1 на Kinetics-400 и 85,9% точности top-1 на Kinetics-600 при примерно в 20× меньшем объёме данных для предобучения и примерно в 3× меньшем размере модели) и моделирование временной структуры (69,6% точности top-1 на Something-Something v2).