SwinIR: восстановление изображений с использованием Swin Transformer

Восстановление изображений — давняя задача низкоуровневого компьютерного зрения, цель которой заключается в восстановлении изображений высокого качества из низкокачественных входных данных (например, уменьшенных по масштабу, зашумлённых или сжатых изображений). В то время как современные методы восстановления изображений основаны на сверточных нейронных сетях, попыток применения трансформеров (показавших впечатляющие результаты в задачах высокого уровня) было сравнительно немного. В данной работе мы предлагаем сильную базовую модель SwinIR для восстановления изображений на основе Swin Transformer. SwinIR состоит из трёх частей: извлечение поверхностных признаков, извлечение глубоких признаков и реконструкция изображения высокого качества. В частности, модуль извлечения глубоких признаков состоит из нескольких остаточных блоков Swin Transformer (residual Swin Transformer blocks, RSTB), каждый из которых содержит несколько слоёв Swin Transformer и резидуальное соединение. Мы проводим эксперименты по трём представительным задачам: суперразрешение изображений (включая классическое, лёгкое и суперразрешение реальных изображений), шумоподавление изображений (включая шумоподавление для градаций серого и цветных изображений) и снижение артефактов сжатия JPEG. Экспериментальные результаты показывают, что SwinIR превосходит современные методы на разных задачах на 0.14–0.45 дБ, при этом общее число параметров может быть снижено до 67%.