Генеративные состязательные сети с методом наименьших квадратов

Least Squares Generative Adversarial Networks
Zhen Wang, Qing Li, Haoran Xie, Stephen Paul Smolley, Raymond Y.K. Lau, Xudong Mao
2017-10-01

CIFAR-10LSGANLSUNLeast Squares Generative Adversarial Networksдивергенция Пирсона X2функция потерь наименьших квадратов
Обучение без учителя с использованием генеративных состязательных сетей (GAN) показало высокую эффективность. Обычные GAN рассматривают дискриминатор как классификатор с функцией потерь сигмоидной кросс-энтропии. Однако мы обнаружили, что эта функция потерь может приводить к проблеме исчезающих градиентов в процессе обучения. Чтобы устранить эту проблему, в данной работе мы предлагаем генеративные состязательные сети с методом наименьших квадратов (LSGAN), в которых для дискриминатора используется функция потерь наименьших квадратов. Мы показываем, что минимизация целевой функции LSGAN эквивалентна минимизации дивергенции Пирсона χ2. У LSGAN есть два преимущества по сравнению с обычными GAN: во-первых, они способны генерировать изображения более высокого качества; во-вторых, они демонстрируют более стабильное поведение в процессе обучения. Мы оценивали LSGAN на датасетах LSUN и CIFAR-10; экспериментальные результаты показывают, что изображения, сгенерированные LSGAN, имеют лучшее качество, чем изображения, сгенерированные обычными GAN. Мы также провели два сравнительных эксперимента между LSGAN и обычными GAN, чтобы проиллюстрировать повышенную стабильность LSGAN.
1
LSGAN демонстрирует более стабильное поведение обучения по сравнению с обычными GAN, что подтверждается двумя экспериментальными сравнениями.
2
LSGAN генерирует более качественные изображения по сравнению с обычными GAN на наборах данных LSUN и CIFAR-10 согласно экспериментам авторов.
3
Минимизация целевой функции LSGAN эквивалентна минимизации дивергенции Пирсона X^2 между распределениями модели и данных.
4
Замена функции потерь дискриминатора из сигмоидной кросс-энтропии на наименьшие квадраты (LSGAN) снижает проблему затухающих градиентов при обучении.

Генеративно-состязательные сети с наименьшими квадратами (LSGANs)

Использование функции потерь наименьших квадратов для дискриминатора с целью повышения стабильности обучения и генерации изображений более высокого качества по сравнению с обычными GAN (включая связь с минимизацией дивергенции Пирсона X^2)

Publication Details
Publication Date
2017-10-01
Journal
Publisher
ISSN
Cited by
5383
Access Type
Author Information
Authors
Zhen Wang
Qing Li
Haoran Xie
Stephen Paul Smolley
Raymond Y.K. Lau
Xudong Mao
Explore further
Open the scid.ai AI chat with a ready-made request: it will find papers on a similar topic and help build a literature review.
Find similar papers in the chat →
Make a presentation
100%