SegFormer: простая и эффективная архитектура для семантической сегментации с использованием трансформеров

Мы представляем SegFormer — простую, эффективную и при этом мощную платформу для семантической сегментации, объединяющую трансформеры с легковесными декодерами на основе многослойного перцептрона (MLP). SegFormer обладает двумя важными особенностями: (1) он включает новую иерархически структурированную кодирующую часть на базе трансформера, которая формирует многомасштабные признаки и не требует позиционного кодирования, что позволяет избежать интерполяции позиционных кодов, ухудшающей качество при различии разрешений обучения и тестирования; (2) SegFormer исключает сложные декодеры: предлагаемый MLP-декодер агрегирует информацию из разных слоев, сочетая как локальное, так и глобальное внимание для построения информативных представлений. Мы показываем, что именно простота и лёгкость этой архитектуры являются ключом к эффективной сегментации на базе трансформеров. Мы масштабируем подход, получая серию моделей от SegFormer-B0 до SegFormer-B5, которые превосходят предыдущие аналоги по точности и эффективности. Например, SegFormer-B4 достигает 50.3% mIoU на наборе ADE20K с 64M параметров, что в 5 раз компактнее и на 2.2% лучше предыдущего лучшего метода. Наша лучшая модель, SegFormer-B5, достигает 84.0% mIoU на валидационном наборе Cityscapes и демонстрирует отличную нулевую (zero-shot) устойчивость на Cityscapes-C. Код будет опубликован по адресу: github.com/NVlabs/SegFormer.