Предобученный трансформер для обработки изображений
Pre-Trained Image Processing Transformer
2021-06-01
SCID: 54.1/6etjv6mr
Discuss with AI
корруптированные пары изображений ImageNetPre-Trained Image Processing Transformerконтрастное обучениеудаление шумаудаление дождядообучение (fine-tuning)image processing transformer (IPT)низкоуровневое компьютерное зрениемульти-хеды и мульти-хвостысуперразрешение
Figures from the paper
Abstract (AI)
По мере быстрого роста вычислительной мощности современного оборудования предобученные модели глубокого обучения (например, BERT, GPT-3), обученные на масштабных наборах данных, показали свою эффективность по сравнению с традиционными методами. Значительный прогресс в основном обусловлен представительной способностью трансформера и его вариантов архитектур. В данной статье мы изучаем задачи низкоуровневого компьютерного зрения (например, шумоподавление, сверхразрешение и удаление дождя) и разрабатываем новую предобученную модель, называемую Image Processing Transformer (IPT). Чтобы максимально использовать возможности трансформера, мы предлагаем применять известный бенчмарк ImageNet для генерации большого количества пар "искажённое — чистое" изображений. Модель IPT обучается на этих изображениях с использованием нескольких голов и нескольких хвостов (multi-heads и multi-tails). Кроме того, введено контрастивное обучение для лучшей адаптации к различным задачам обработки изображений. Предобученную модель можно эффективно использовать для желаемой задачи после дообучения (fine-tuning). С одной предобученной моделью IPT превосходит современные методы по состоянию на сегодняшний день на различных бенчмарках по низкоуровневым задачам. Код доступен по адресам https://github.com/huawei-noah/Pretrained-IPT и https://gitee.com/mindspore/mindspore/tree/master/model_zoo/research/cv/IPT
Key Findings
1
Одна предобученная модель IPT может быть дообучена и эффективно использована для различных низкоуровневых задач зрения.
2
В IPT введено контрастивное обучение для лучшей адаптации к различным задачам обработки изображений.
3
IPT обучается на большом количестве пар искаженных изображений, сгенерированных из ImageNet, с использованием архитектуры с несколькими головами и несколькими «хвостами» для разных задач обработки изображений.
4
IPT превосходит современные методы по состоянию дела на различных бенчмарках для низкоуровневого зрения.
5
Представлен Image Processing Transformer (IPT) — предобученная трансформер-модель для задач низкоуровневого зрения, таких как удаление шума, суперразрешение и удаление дождя.
Research Object
Предобученная модель Image Processing Transformer (IPT) для задач восстановления изображений низкого уровня
Research Subject
Предобучение и адаптация трансформерной модели с использованием большого числа искажённых пар изображений из ImageNet и контрастного обучения для повышения качества выполнения задач низкоуровневой обработки изображений (шумоподавление, сверхразрешение, удаление дождя) после дообучения
Publication Details
Publication Date
2021-06-01
Journal
Publisher
ISSN
Cited by
2307
Open access PDF
Access Type
Author Information
Download PDF
Subscribe to digest
Источники этой статьи в scid.ai11
Классификация ImageNet с использованием глубоких сверточных нейронных сетей2017
Очень глубокие сверточные сети для масштабного распознавания изображений2014
Использование генеративного искусственного интеллекта для масштабирования интеллектуальных обучающих систем2023
ImageNet: крупномасштабная иерархическая база изображений2009
Исследование пределов трансферного обучения с помощью унифицированного преобразователя текста в текст2019
Изображение стоит 16×16 слов: трансформеры для распознавания изображений в масштабе2020
Нелокальные нейронные сети2018
За пределами гауссовского шумоподавителя: республивая (Residual) обучаемая глубокая сверточная нейронная сеть для удаления шума с изображений2017
Обучение глубоких моделей Transformer для машинного перевода2019
Фреймворк Aion: размерное возникновение сознания ИИ, коллапс под воздействием наблюдателя и динамика космологических порталов2023
Конвейер с поддержкой искусственного интеллекта для динамической генерации достоверного контента о пищевых добавках в больших масштабах2022
Работы, цитирующие эту статью11
SwinIR: восстановление изображений с использованием Swin Transformer2021
Restormer: эффективный Transformer для восстановления изображений высокого разрешения2022
Механизмы внимания в компьютерном зрении: обзор2022
Uformer: Общая U-образная трансформерная архитектура для восстановления изображений2022
Tokens-to-Token ViT: обучение визуальных трансформеров с нуля на ImageNet2021
Трансформеры во временных рядах: обзор2023
Обнаружение изменений на дистанционно зондируемых изображениях с использованием трансформеров2021
CSWin Transformer: универсальный визуальный трансформер с перекрёстными окнами2022
Мультимодальное обучение с трансформерами: обзор2023
CMT: сверточные нейронные сети встречаются с визуальными трансформерами2022
Transformer in Transformer2021