Vision Transformers для удаления тумана с одиночного изображения

Удаление тумана с изображений — типичная задача низкоуровневого зрения, которая восстанавливает скрытые свободные от тумана изображения из затуманенных входов. В последние годы в этой области доминируют методы на основе сверточных нейронных сетей. Однако Vision Transformers, которые недавно совершили прорыв в задачах высокого уровня, ещё не внесли новых измерений в проблему удаления тумана. Мы начинаем с популярного Swin Transformer и обнаруживаем, что несколько его ключевых решений непригодны для удаления тумана. В связи с этим мы предлагаем DehazeFormer, включающий ряд улучшений, таких как модифицированный слой нормализации, функция активации и схема агрегации пространственной информации. Мы обучаем несколько вариантов DehazeFormer на разных наборах данных, чтобы продемонстрировать его эффективность. В частности, на наиболее часто используемом наборе SOTS indoor наша малая модель превосходит FFA-Net, при этом использует только 25% параметров и 5% вычислительных затрат. Насколько нам известно, наша крупная модель — первый метод, достигший PSNR выше 40 дБ на SOTS indoor, существенно опережающий предыдущие лучшие методы. Мы также собрали крупномасштабный реалистичный датасет для удаления тумана в дистанционном зондировании, чтобы оценить способность метода удалять сильно неравномерный туман. Мы публикуем наш код и датасет по адресу https://github.com/IDKiro/DehazeFormer.