Фотореалистичное повышение разрешения одиночного изображения с использованием генеративной состязательной сети

Несмотря на прорывы в точности и скорости методов повышения разрешения одиночных изображений с использованием более быстрых и глубоких сверточных нейронных сетей, одна ключевая проблема остается в значительной степени нерешенной: как восстанавливать более тонкие текстурные детали при сильных коэффициентах масштабирования. Поведение оптимизационных методов суперразрешения в основном определяется выбором функции целевого качества. В недавних работах в основном уделялось внимание минимизации среднеквадратичной ошибки восстановления. Полученные оценки имеют высокие значения отношения сигнала к шуму по пику (PSNR), но часто лишены высокочастотных деталей и перцепционно неудовлетворительны, поскольку не соответствуют ожидаемой при более высоком разрешении точности воспроизведения. В этой статье мы представляем SRGAN — генеративную состязательную сеть (GAN) для задач суперразрешения (SR). Насколько нам известно, это первая архитектура, способная восстанавливать фотореалистичные натуральные изображения при 4x увеличениях. Для этого мы предлагаем перцептуальную функцию потерь, состоящую из состязательной потери и потери содержания. Состязательная потеря подталкивает наше решение к многообразию натуральных изображений с помощью дискриминаторной сети, обучаемой отличать суперрезолвенные изображения от оригинальных фотореалистичных изображений. Кроме того, мы используем потерю содержания, мотивированную перцептуальным сходством, а не сходством в пиксельном пространстве. Наша глубокая остаточная сеть способна восстанавливать фотореалистичные текстуры из сильно пониженных по разрешению изображений на публичных бенчмарках. Обширный тест по средней оценке мнения (mean-opinion-score, MOS) демонстрирует существенно значимые приросты перцептуального качества при использовании SRGAN. Значения MOS, полученные для SRGAN, ближе к значениям оригинальных изображений с высоким разрешением, чем к результатам любого современного метода.