Преобразование изображений в изображения с помощью условных состязательных сетей
Image-to-Image Translation with Conditional Adversarial Networks
2017-07-01
SCID: 54.1/9k34yybx
Discuss with AI
условные состязательные сетигенеративно-состязательные сетисинтез изображенийпреобразование изображение-в-изображениесемантические карты меток
Figures from the paper
Abstract (AI)
Мы исследуем условные состязательные сети как универсальное решение задач преобразования изображений в изображения. Эти сети не только обучаются отображению входного изображения в выходное, но и изучают функцию потерь для обучения этого отображения. Благодаря этому один и тот же обобщённый подход можно применять к задачам, которые традиционно требовали бы совершенно разных формулировок функции потерь. Мы демонстрируем, что этот подход эффективен для синтеза фотографий по картам меток, восстановления объектов по картам границ и колоризации изображений, а также для других задач. Кроме того, после выпуска программного обеспечения pix2pix, связанного с этой статьёй, сотни пользователей Twitter опубликовали собственные художественные эксперименты с использованием нашей системы. Как сообщество, мы больше не разрабатываем функции отображения вручную, и эта работа показывает, что мы также можем получать приемлемые результаты без ручной разработки функций потерь.
Key Findings
1
Единый универсальный подход способен решать задачи, которые традиционно требовали разных формулировок функции потерь, уменьшая необходимость ручного проектирования целевых функций.
2
Условные состязательные сети обеспечивают универсальную основу для преобразования изображений, одновременно обучая отображение между входом и выходом и функцию потерь.
3
Связанное с работой программное обеспечение позволило сотням пользователей Twitter создавать художественные эксперименты, что указывает на широкую практическую и общественную вовлечённость.
4
Метод эффективно синтезирует фотографии по картам меток, восстанавливает объекты по картам границ и выполняет раскрашивание изображений.
5
Работа показывает, что приемлемых результатов преобразования изображений можно достичь без ручного проектирования функций отображения и потерь.
Research Object
условные состязательные сети для преобразования изображений в изображения
Research Subject
эффективность универсального преобразования изображений и обучения функции потерь для задач синтеза, реконструкции и колоризации изображений
Publication Details
Publication Date
2017-07-01
Journal
Publisher
ISSN
Cited by
24258
Open access PDF
Access Type
Author Information
Download PDF
Subscribe to digest
Источники этой статьи в scid.ai6
Adam: метод стохастической оптимизации2014
Снижение размерности данных с помощью нейронных сетей2006
Фотореалистичное повышение разрешения одиночного изображения с использованием генеративной состязательной сети2017
Обучение представлений без учителя с помощью глубоких сверточных генеративных состязательных сетей2015
Перенос стиля изображения с использованием сверточных нейронных сетей2016
Adam: метод стохастической оптимизации2021
Работы, цитирующие эту статью16
Непарный перенос изображений с помощью циклически согласованных состязательных сетей2017
Генеративные состязательные сети с методом наименьших квадратов2017
Генеративные состязательные сети: обзор2018
Масштабируемые диффузионные модели на базе трансформеров2023
Генеративные состязательные сети с механизмом самовнимания2018
Последние достижения и применения машинного обучения в физике и материаловедении твёрдого тела2019
Uformer: Общая U-образная трансформерная архитектура для восстановления изображений2022
Vision Transformers для удаления тумана с одиночного изображения2023
Искусственный интеллект в креативных индустриях: обзор2021
Глубокое обучение для обнаружения аномалий во временных рядах данных: обзор, анализ и рекомендации2021
Персонажи, созданные искусственным интеллектом, для поддержки персонализированного обучения и благополучия2021
Искусственный интеллект и машинное обучение для медицинской визуализации: обзор технологий2021
Обзор алгоритмов с экономным использованием данных в эпоху больших данных2021
Перенос обучения от синтетических к реальным LiDAR-точечным облакам для семантической сегментации2022
Гистопатология в центре внимания: обзор интерпретируемых мультимодальных подходов к диагностике рака молочной железы2024
Высокоразрешающая реконструкция трехмерных сейсмических данных с использованием генеративных состязательных сетей с механизмом глобального группированного координатного внимания2026