Генеративные состязательные сети с методом наименьших квадратов
Least Squares Generative Adversarial Networks
2017-10-01
SCID: 54.1/scwvb7q3
Discuss with AI
CIFAR-10LSGANLSUNLeast Squares Generative Adversarial Networksдивергенция Пирсона X2функция потерь наименьших квадратов
Figures from the paper
Abstract (AI)
Обучение без учителя с использованием генеративных состязательных сетей (GAN) показало высокую эффективность. Обычные GAN рассматривают дискриминатор как классификатор с функцией потерь сигмоидной кросс-энтропии. Однако мы обнаружили, что эта функция потерь может приводить к проблеме исчезающих градиентов в процессе обучения. Чтобы устранить эту проблему, в данной работе мы предлагаем генеративные состязательные сети с методом наименьших квадратов (LSGAN), в которых для дискриминатора используется функция потерь наименьших квадратов. Мы показываем, что минимизация целевой функции LSGAN эквивалентна минимизации дивергенции Пирсона χ2. У LSGAN есть два преимущества по сравнению с обычными GAN: во-первых, они способны генерировать изображения более высокого качества; во-вторых, они демонстрируют более стабильное поведение в процессе обучения. Мы оценивали LSGAN на датасетах LSUN и CIFAR-10; экспериментальные результаты показывают, что изображения, сгенерированные LSGAN, имеют лучшее качество, чем изображения, сгенерированные обычными GAN. Мы также провели два сравнительных эксперимента между LSGAN и обычными GAN, чтобы проиллюстрировать повышенную стабильность LSGAN.
Key Findings
1
LSGAN демонстрирует более стабильное поведение обучения по сравнению с обычными GAN, что подтверждается двумя экспериментальными сравнениями.
2
LSGAN генерирует более качественные изображения по сравнению с обычными GAN на наборах данных LSUN и CIFAR-10 согласно экспериментам авторов.
3
Минимизация целевой функции LSGAN эквивалентна минимизации дивергенции Пирсона X^2 между распределениями модели и данных.
4
Замена функции потерь дискриминатора из сигмоидной кросс-энтропии на наименьшие квадраты (LSGAN) снижает проблему затухающих градиентов при обучении.
Research Object
Генеративно-состязательные сети с наименьшими квадратами (LSGANs)
Research Subject
Использование функции потерь наименьших квадратов для дискриминатора с целью повышения стабильности обучения и генерации изображений более высокого качества по сравнению с обычными GAN (включая связь с минимизацией дивергенции Пирсона X^2)
Publication Details
Publication Date
2017-10-01
Journal
Publisher
ISSN
Cited by
5383
Open access PDF
Access Type
Author Information
Download PDF
Subscribe to digest
Источники этой статьи в scid.ai9
Глубокое остаточное обучение для распознавания изображений2016
Очень глубокие сверточные сети для масштабного распознавания изображений2014
Adam: метод стохастической оптимизации2014
Преобразование изображений в изображения с помощью условных состязательных сетей2017
Обучение нескольких слоев признаков на маленьких изображениях2024
Снижение размерности данных с помощью нейронных сетей2006
Фотореалистичное повышение разрешения одиночного изображения с использованием генеративной состязательной сети2017
Обучение представлений без учителя с помощью глубоких сверточных генеративных состязательных сетей2015
Adam: метод стохастической оптимизации2021
Работы, цитирующие эту статью5
Непарный перенос изображений с помощью циклически согласованных состязательных сетей2017
Обзор методов аугментации изображений для глубокого обучения2019
Реконструкция трёхмерных пористых сред с использованием генеративных состязательных нейронных сетей2017
Устойчивая интерполяция движений (in-betweening)2020
Обзор обнаружения дефектов на основе аудио- и видеоданных с использованием глубокого обучения в техническом обслуживании железнодорожного транспорта2022