Преобразование изображений в изображения с помощью условных состязательных сетей

Мы исследуем условные состязательные сети как универсальное решение задач преобразования изображений в изображения. Эти сети не только обучаются отображению входного изображения в выходное, но и изучают функцию потерь для обучения этого отображения. Благодаря этому один и тот же обобщённый подход можно применять к задачам, которые традиционно требовали бы совершенно разных формулировок функции потерь. Мы демонстрируем, что этот подход эффективен для синтеза фотографий по картам меток, восстановления объектов по картам границ и колоризации изображений, а также для других задач. Кроме того, после выпуска программного обеспечения pix2pix, связанного с этой статьёй, сотни пользователей Twitter опубликовали собственные художественные эксперименты с использованием нашей системы. Как сообщество, мы больше не разрабатываем функции отображения вручную, и эта работа показывает, что мы также можем получать приемлемые результаты без ручной разработки функций потерь.