Непарный перенос изображений с помощью циклически согласованных состязательных сетей
Unpaired Image-to-Image Translation Using Cycle-Consistent Adversarial Networks
2017-10-01
SCID: 54.1/pq4me6ka
Discuss with AI
состязательная потеряпотеря циклической согласованностициклически согласованные состязательные сетиотображения G и обратное Fнепарный перенос изображений
Figures from the paper
Abstract (AI)
Перевод изображений в изображения представляет собой класс задач компьютерного зрения и графики, цель которых — научиться отображению между входным изображением и выходным изображением на основе обучающего набора выровненных пар изображений. Однако для многих задач парные обучающие данные недоступны. Мы предлагаем подход для обучения переводу изображения из исходной доменной области X в целевую область Y при отсутствии парных примеров. Наша цель — изучить отображение G : X → Y такое, чтобы распределение изображений G(X) было неотличимо от распределения Y при использовании состязательной функции потерь. Поскольку это отображение сильно недоопределено, мы связываем его с обратным отображением F : Y → X и вводим штраф циклической согласованности (cycle consistency loss), который заставляет F(G(X)) ≈ X (и наоборот). Представлены качественные результаты для нескольких задач, где парные обучающие данные отсутствуют, включая перенос стиля коллекций, трансфигурацию объектов, смену сезонов, улучшение фотографий и сходные задачи. Количественные сравнения с несколькими предыдущими методами демонстрируют превосходство нашего подхода.
Key Findings
1
Сочетание прямого отображения G и обратного отображения F: Y→X с потерей циклической согласованности, обеспечивающей F(G(X)) ≈ X и G(F(Y)) ≈ Y, снижает неоднозначность решения.
2
Показаны качественные результаты на задачах без парных данных, включая перенос стиля коллекций, трансформацию объектов, смену сезонов и улучшение фотографий.
3
Предложен метод непарного преобразования изображений, обучающий отображение G: X→Y без парных тренировочных примеров с использованием состязательной потери.
4
Проведены количественные сравнения, показывающие, что предложенный подход превосходит несколько предыдущих методов для непарных задач трансляции.
Research Object
Непарный перевод изображений между исходной областью X и целевой областью Y с помощью циклически-совместных состязательных сетей
Research Subject
Обучение отображений G: X→Y и F: Y→X, создающих изображения, соответствующие распределению целевой области, с принуждением циклической согласованности (F(G(X)) ≈ X и G(F(Y)) ≈ Y) для выполнения перевода изображений без парных обучающих примеров
Publication Details
Publication Date
2017-10-01
Journal
Publisher
ISSN
Cited by
24584
Open access PDF
Access Type
Author Information
Download PDF
Subscribe to digest
Источники этой статьи в scid.ai10
Глубокое остаточное обучение для распознавания изображений2016
Очень глубокие сверточные сети для масштабного распознавания изображений2014
ImageNet: крупномасштабная иерархическая база изображений2009
Преобразование изображений в изображения с помощью условных состязательных сетей2017
Снижение размерности данных с помощью нейронных сетей2006
Обратный перевод для межкультурных исследований1970
Фотореалистичное повышение разрешения одиночного изображения с использованием генеративной состязательной сети2017
Обучение представлений без учителя с помощью глубоких сверточных генеративных состязательных сетей2015
Перенос стиля изображения с использованием сверточных нейронных сетей2016
Генеративные состязательные сети с методом наименьших квадратов2017
Работы, цитирующие эту статью20
Обзор методов аугментации изображений для глубокого обучения2019
Генеративные состязательные сети: обзор2018
Генеративные состязательные сети с механизмом самовнимания2018
Глубокое обучение для обнаружения аномалий2021
Обзор объяснимого искусственного интеллекта (XAI): на пути к медицинскому XAI2020
Объяснимый искусственный интеллект (XAI): что нам известно и чего еще необходимо достичь для создания заслуживающего доверия искусственного интеллекта2023
Сопоставление изображений от ручных признаков к глубоким: обзор2020
Искусственный интеллект в креативных индустриях: обзор2021
Фреймворки и библиотеки машинного и глубокого обучения для интеллектуального анализа крупномасштабных данных: обзор2019
Глубокое обучение для искусственного интеллекта2021
Обнаружение deepfake: систематический обзор литературы2022
Искусственный интеллект и COVID-19: подходы глубокого обучения к диагностике и лечению2020
Прозрачность глубоких нейронных сетей для анализа медицинских изображений: обзор методов интерпретируемости2021
Искусственный интеллект и машинное обучение для медицинской визуализации: обзор технологий2021
Инверсия сейсмических данных с использованием глубокого обучения2019
TadGAN: обнаружение аномалий во временных рядах с использованием генеративных состязательных сетей2020
Обзор алгоритмов с экономным использованием данных в эпоху больших данных2021
Расширение организационного принятия решений с помощью алгоритмов глубокого обучения: принципы, перспективы и проблемы2020
Искусственный интеллект и здравоохранение: путь через историю, современные инновации и будущие возможности2024
Сети семантической связи с генеративным ИИ: архитектура, технологии и приложения2024