Restormer: эффективный Transformer для восстановления изображений высокого разрешения

Поскольку сверточные нейронные сети (CNN) хорошо обучаются обобщаемым приорам изображений на больших данных, эти модели широко применяются для восстановления изображений и смежных задач. В последнее время другой класс нейронных архитектур, Transformers, продемонстрировал значительный прирост качества в задачах обработки естественного языка и задачах высокого уровня в области компьютерного зрения. Хотя модель Transformer устраняет недостатки CNN (например, ограниченное рецептивное поле и неадаптивность к содержимому входа), её вычислительная сложность растёт квадратично с пространственным разрешением, что делает применение невозможным для большинства задач восстановления изображений с высоким разрешением. В этой работе мы предлагаем эффективную модель Transformer, внося несколько ключевых решений в составные блоки (multi-head attention и feed-forward network), чтобы она могла захватывать дальние взаимодействия между пикселями и при этом оставалась применимой к большим изображениям. Наша модель, названная Restoration Transformer (Restormer), достигает передовых результатов по нескольким задачам восстановления изображений, включая удаление дождя с изображений, восстановление при движении по одному изображению, дефокусное восстановление (по одному изображению и по данным с двойным пикселем) и устранение шума на изображениях (гауссовское шумоподавление для градаций серого/цветных изображений и шумоподавление реальных изображений). Исходный код и предобученные модели доступны по адресу https://github.com/swz30/Restormer.