Переосмысление семантической сегментации с точки зрения sequence-to-sequence на основе трансформеров

Большинство современных методов семантической сегментации используют полностью сверточную сеть (FCN) с архитектурой «энкодер-декодер». Энкодер постепенно уменьшает пространственное разрешение и изучает более абстрактные/семантические визуальные концепции с большими рецептивными полями. Поскольку моделирование контекста критично для сегментации, последние усилия были направлены на увеличение рецептивного поля, либо за счёт дилатированных/атроусных свёрток, либо путем внедрения модулей внимания. Тем не менее архитектура FCN на основе энкодера-декодера остаётся неизменной. В этой работе мы предлагаем альтернативную точку зрения, рассматривая семантическую сегментацию как задачу sequence-to-sequence предсказания. В частности, мы используем чистый трансформер (т.е. без свёрток и без уменьшения разрешения) для кодирования изображения в виде последовательности патчей. Благодаря глобальному контексту, моделируемому на каждом слое трансформера, этот энкодер можно комбинировать с простым декодером для получения мощной модели сегментации, названной SEgmentation TRansformer (SETR). Широкие эксперименты показывают, что SETR достигает нового состояния искусства на ADE20K (50.28% mIoU), Pascal Context (55.83% mIoU) и конкурентоспособных результатов на Cityscapes. В частности, в день подачи статьи мы заняли первое место в очень конкурентном лидере-борде тестового сервера ADE20K.