Uformer: Общая U-образная трансформерная архитектура для восстановления изображений

В этой работе мы представляем Uformer — эффективную и быструю трансформерную архитектуру для восстановления изображений, в которой мы строим иерархическую сеть кодер–декодер с использованием трансформерного блока. В Uformer предусмотрены два ключевых решения. Во-первых, мы вводим новый локально-усиленный оконный (LeWin) трансформерный блок, который выполняет неблокирующееся (non-overlapping) оконное самовнимание вместо глобального самовнимания. Это существенно снижает вычислительную сложность на картах признаков высокого разрешения при одновременном захвате локального контекста. Во-вторых, мы предлагаем обучаемый многомасштабный модулятор восстановления в виде многомасштабного пространственного смещения для корректировки признаков в нескольких слоях декодера Uformer. Наш модулятор демонстрирует превосходную способность восстанавливать детали в различных задачах восстановления изображений при введении незначительного дополнительного числа параметров и вычислительной нагрузки. Благодаря этим двум решениям Uformer обладает высокой способностью захватывать как локальные, так и глобальные зависимости для восстановления изображений. Для оценки нашего подхода были проведены обширные эксперименты на нескольких задачах восстановления изображений, включая шумоподавление изображений, устранение смазывания при движении (motion deblurring), устранение дефокусного размытия (defocus deblurring) и удаление дождя (deraining). Без дополнительных ухищрений наш Uformer достигает превосходных или сопоставимых результатов по сравнению с современными алгоритмами. Код и модели доступны по адресу https://github.com/ZhendongWang6/Uformer.