CMT: сверточные нейронные сети встречаются с визуальными трансформерами

Визуальные трансформеры успешно применяются для решения задач распознавания изображений благодаря способности выявлять дальние зависимости внутри изображения. Однако между трансформерами и существующими сверточными нейронными сетями (CNN) по-прежнему сохраняются различия как в производительности, так и в вычислительных затратах. В этой статье мы стремимся решить эту проблему и разработать сеть, превосходящую не только классические трансформеры, но и высокопроизводительные сверточные модели. Мы предлагаем новую гибридную сеть на основе трансформера, использующую трансформеры для выявления дальних зависимостей, а CNN — для извлечения локальной информации. Кроме того, мы масштабируем ее, получая семейство моделей под названием CMT, которые обеспечивают значительно более выгодный компромисс между точностью и эффективностью по сравнению с предыдущими моделями на основе CNN и трансформеров. В частности, наша модель CMT-S достигает точности top-1 83,5% на ImageNet, используя в 14 и 2 раза меньше FLOPs, чем существующие модели DeiT и EfficientNet соответственно. Предложенная CMT-S также хорошо обобщается на CIFAR10 (99,2%), CIFAR100 (91,7%), Flowers (98,7%) и другие сложные наборы данных для компьютерного зрения, такие как COCO (44,3% mAP), при значительно меньших вычислительных затратах.