PVT v2: Улучшённые базовые модели с Pyramid Vision Transformer

Трансформеры в последнее время показали обнадёживающий прогресс в компьютерном зрении. В этой работе мы представляем новые базовые модели, улучшив оригинальный Pyramid Vision Transformer (PVT v1) за счёт трёх решений: (i) слоя внимания с линейной вычислительной сложностью, (ii) перекрывающейся эмбеддинга патчей и (iii) сверточной сети прямого распространения (convolutional feed-forward network). С этими модификациями PVT v2 уменьшает вычислительную сложность PVT v1 до линейной и обеспечивает существенные улучшения в фундаментальных задачах зрения, таких как классификация, детекция и сегментация. В частности, PVT v2 достигает сопоставимой или более высокой производительности по сравнению с недавними работами, такими как Swin Transformer. Мы надеемся, что эта работа содействует исследованиям передовых трансформеров в области компьютерного зрения. Исходный код доступен по адресу https://github.com/whai362/PVT.