Удаление артефактов сжатия с помощью глубокой генеративно-состязательной модели

Артефакты сжатия возникают на изображениях при применении алгоритма сжатия с потерями. Эти артефакты устраняют детали, присутствовавшие в исходном изображении, либо добавляют шум и мелкие структуры; вследствие этого изображения становятся менее привлекательными для человеческого глаза, а производительность алгоритмов компьютерного зрения, таких как детекторы объектов, может снижаться. Для устранения таких артефактов при распаковке изображения необходимо восстановить исходное изображение по его искажённой версии. Для этого мы предлагаем полносвёрточную остаточную модель прямого распространения, которая непосредственно оптимизирует индекс структурного подобия (Structural Similarity Index, SSIM), представляющий собой более эффективную функцию потерь по сравнению с более простой среднеквадратичной ошибкой (Mean Squared Error, MSE). Затем, основываясь на той же архитектуре, мы переформулируем задачу в рамках генеративно-состязательной модели. Наша генеративно-состязательная сеть (GAN) способна создавать изображения с более фотореалистичными деталями, чем сети, основанные на MSE или SSIM. Кроме того, мы показываем, что наш подход может использоваться как этап предварительной обработки для обнаружения объектов, когда изображения настолько деградируют из-за сжатия, что современные детекторы перестают работать. В этой задаче наш метод на основе GAN обеспечивает более высокую производительность, чем сети, обученные с использованием MSE или SSIM.