Генеративные состязательные сети с механизмом самовнимания

В этой статье мы предлагаем Generative Adversarial Network с механизмом самовнимания (SAGAN), который обеспечивает моделирование дальнодействующих зависимостей, управляемое вниманием, для задач генерации изображений. Традиционные сверточные GAN формируют высокоразрешённые детали лишь на основе пространственно локальных точек в пониженных по разрешению картах признаков. В SAGAN детали могут генерироваться с использованием сигналов со всех локализаций признаков, а дискриминатор может проверять согласованность высокодетализированных элементов в удалённых частях изображения. Кроме того, недавние работы показали, что кондиционирование генератора влияет на производительность GAN; опираясь на это, мы применяем спектральную нормализацию к генератору GAN и обнаруживаем, что это улучшает динамику обучения. Предложенный SAGAN демонстрирует передовые результаты: Inception score увеличился с 36.8 до 52.52, а расстояние Fréchet Inception Distance (FID) сократилось с 27.62 до 18.65 на сложном наборе данных ImageNet. Визуализация слоёв внимания показывает, что генератор использует окрестности, соответствующие формам объектов, а не локальные регионы фиксированной формы.