Непарный перенос изображений с помощью циклически согласованных состязательных сетей

Перевод изображений в изображения представляет собой класс задач компьютерного зрения и графики, цель которых — научиться отображению между входным изображением и выходным изображением на основе обучающего набора выровненных пар изображений. Однако для многих задач парные обучающие данные недоступны. Мы предлагаем подход для обучения переводу изображения из исходной доменной области X в целевую область Y при отсутствии парных примеров. Наша цель — изучить отображение G : X → Y такое, чтобы распределение изображений G(X) было неотличимо от распределения Y при использовании состязательной функции потерь. Поскольку это отображение сильно недоопределено, мы связываем его с обратным отображением F : Y → X и вводим штраф циклической согласованности (cycle consistency loss), который заставляет F(G(X)) ≈ X (и наоборот). Представлены качественные результаты для нескольких задач, где парные обучающие данные отсутствуют, включая перенос стиля коллекций, трансфигурацию объектов, смену сезонов, улучшение фотографий и сходные задачи. Количественные сравнения с несколькими предыдущими методами демонстрируют превосходство нашего подхода.