Генеративные состязательные сети с механизмом самовнимания
Self-Attention Generative Adversarial Networks
2018-05-21
SCID: 54.1/6gn24gcb
Discuss with AI
ImageNetInception score / Frechet Inception DistanceSelf-Attention Generative Adversarial Networkself-attentionспектральная нормализация
Figures from the paper
Abstract (AI)
В этой статье мы предлагаем Generative Adversarial Network с механизмом самовнимания (SAGAN), который обеспечивает моделирование дальнодействующих зависимостей, управляемое вниманием, для задач генерации изображений. Традиционные сверточные GAN формируют высокоразрешённые детали лишь на основе пространственно локальных точек в пониженных по разрешению картах признаков. В SAGAN детали могут генерироваться с использованием сигналов со всех локализаций признаков, а дискриминатор может проверять согласованность высокодетализированных элементов в удалённых частях изображения. Кроме того, недавние работы показали, что кондиционирование генератора влияет на производительность GAN; опираясь на это, мы применяем спектральную нормализацию к генератору GAN и обнаруживаем, что это улучшает динамику обучения. Предложенный SAGAN демонстрирует передовые результаты: Inception score увеличился с 36.8 до 52.52, а расстояние Fréchet Inception Distance (FID) сократилось с 27.62 до 18.65 на сложном наборе данных ImageNet. Визуализация слоёв внимания показывает, что генератор использует окрестности, соответствующие формам объектов, а не локальные регионы фиксированной формы.
Key Findings
1
Применение спектральной нормализации к генератору улучшает динамику обучения.
2
Визуализации внимания показывают, что генератор использует окрестности, соответствующие формам объектов, а не фиксированным локальным регионам.
3
Предложена Self-Attention GAN (SAGAN), обеспечивающая моделирование долгосрочных зависимостей с помощью внимания для генерации изображений.
4
SAGAN достигает передовых результатов на ImageNet: Inception score повышен с 36.8 до 52.52, FID уменьшен с 27.62 до 18.65.
5
SAGAN позволяет генерировать детали, используя подсказки со всех позиций признаков, а не только с локальных областей.
6
Дискриминатор в SAGAN может обеспечивать согласованность детализированных признаков в удаленных частях изображения через механизм внимания.
Research Object
Сеть GAN с механизмом самовнимания (Self-Attention Generative Adversarial Network, SAGAN) для генерации изображений
Research Subject
Моделирование дальнодействующих зависимостей с помощью механизма самовнимания и улучшение обучения (включая спектральную нормализацию генератора) для получения качественных, глобально согласованных деталей изображений и улучшения метрик (Inception Score, Fréchet Inception Distance) на ImageNet
Publication Details
Publication Date
2018-05-21
Journal
Publisher
ISSN
Cited by
3610
Open access PDF
Access Type
Author Information
Download PDF
Subscribe to digest
Источники этой статьи в scid.ai6
Непарный перенос изображений с помощью циклически согласованных состязательных сетей2017
Преобразование изображений в изображения с помощью условных состязательных сетей2017
Нейронный машинный перевод посредством совместного обучения выравниванию и переводу2014
Фотореалистичное повышение разрешения одиночного изображения с использованием генеративной состязательной сети2017
Обучение представлений без учителя с помощью глубоких сверточных генеративных состязательных сетей2015
Нелокальные нейронные сети2018
Работы, цитирующие эту статью5
Restormer: эффективный Transformer для восстановления изображений высокого разрешения2022
UNETR: Трансформеры для 3D сегментации медицинских изображений2022
Механизм внимания в обработке естественного языка2020
Нейросинтез речи с использованием трансформерной сети2019
Трансформерная нейронная сеть для классификации сорных и сельскохозяйственных растений на изображениях высокого разрешения, полученных с БПЛА2022