Pyramid Vision Transformer: универсальный бэкоун для плотного предсказания без свёрток

Хотя свёрточные нейронные сети (CNN) добились значительных успехов в компьютерном зрении, в этой работе исследуется более простая архитектура бэкоуна без свёрток, пригодная для многих задач плотного предсказания. В отличие от недавно предложенного Vision Transformer (ViT), который был разработан специально для классификации изображений, мы представляем Pyramid Vision Transformer (PVT), преодолевающий трудности переноса трансформеров на различные задачи плотного предсказания. PVT имеет несколько преимуществ по сравнению с современными решениями. (1) В отличие от ViT, который обычно даёт низкое разрешение выходных карт и требует больших вычислительных и памятьных затрат, PVT можно обучать на плотных разбиениях изображения для достижения высокого разрешения выходов, что важно для задач плотного предсказания, а также он использует прогрессивную сжимающую пирамиду для уменьшения вычислений на больших картах признаков. (2) PVT наследует преимущества как CNN, так и трансформеров, что делает его унифицированным бэкоуном для различных задач зрения без свёрток, где он может выступать в качестве прямой замены CNN-бэкоунов. (3) Мы валидируем PVT с помощью обширных экспериментов, показывая, что он повышает производительность множества downstream-задач, включая детекцию объектов, instance- и семантическую сегментацию. Например, при сопоставимом числе параметров PVT+RetinaNet достигает 40.4 AP на датасете COCO, превзойдя ResNet50+RetinaNet (36.3 AP) на 4.1 абсолютных AP. Мы надеемся, что PVT сможет служить альтернативным и полезным бэкоуном для пиксельных предсказаний и способствовать дальнейшим исследованиям.