Предобученный трансформер для обработки изображений

По мере быстрого роста вычислительной мощности современного оборудования предобученные модели глубокого обучения (например, BERT, GPT-3), обученные на масштабных наборах данных, показали свою эффективность по сравнению с традиционными методами. Значительный прогресс в основном обусловлен представительной способностью трансформера и его вариантов архитектур. В данной статье мы изучаем задачи низкоуровневого компьютерного зрения (например, шумоподавление, сверхразрешение и удаление дождя) и разрабатываем новую предобученную модель, называемую Image Processing Transformer (IPT). Чтобы максимально использовать возможности трансформера, мы предлагаем применять известный бенчмарк ImageNet для генерации большого количества пар "искажённое — чистое" изображений. Модель IPT обучается на этих изображениях с использованием нескольких голов и нескольких хвостов (multi-heads и multi-tails). Кроме того, введено контрастивное обучение для лучшей адаптации к различным задачам обработки изображений. Предобученную модель можно эффективно использовать для желаемой задачи после дообучения (fine-tuning). С одной предобученной моделью IPT превосходит современные методы по состоянию на сегодняшний день на различных бенчмарках по низкоуровневым задачам. Код доступен по адресам https://github.com/huawei-noah/Pretrained-IPT и https://gitee.com/mindspore/mindspore/tree/master/model_zoo/research/cv/IPT