Глубокое остаточное обучение для распознавания изображений
Deep Residual Learning for Image Recognition
2016-06-01
SCID: 54.1/pfjygd2z
Discuss with AI
COCO обнаружение объектовILSVRC 2015ImageNetглубокое резидуальное обучениерезидуальные сети
Figures from the paper
Abstract (AI)
Более глубокие нейронные сети сложнее обучать. Мы предлагаем схему остаточного обучения, облегчающую обучение сетей, которые значительно глубже ранее используемых. Мы явно переформулируем слои как изучающие остаточные функции относительно входов слоя, вместо обучения нефункционально связанных функций. Мы приводим исчерпывающие эмпирические доказательства того, что эти остаточные сети легче оптимизировать и что они могут улучшать точность при существенном увеличении глубины. На наборе данных ImageNet мы оценивали остаточные сети глубиной до 152 слоев — в 8 раз глубже, чем сети VGG [40], но при этом обладающие меньшей сложностью. Ансамбль этих остаточных сетей достигает ошибки 3.57% на тестовом наборе ImageNet. Этот результат занял 1-е место в задаче классификации ILSVRC 2015. Мы также приводим анализ на CIFAR-10 с 100 и 1000 слоями. Глубина представлений имеет ключевое значение для многих задач визуального распознавания. Исключительно благодаря нашим чрезвычайно глубоким представлениям мы получили 28% относительное улучшение на датасете обнаружения объектов COCO. Глубокие остаточные сети легли в основу наших работ для соревнований ILSVRC и COCO 2015, где мы также заняли 1-е места в задачах детекции ImageNet, локализации ImageNet, детекции COCO и сегментации COCO.
Key Findings
1
Ансамбль этих residual-сетей достиг ошибки 3.57% на тестовом наборе ImageNet, заняв 1-е место на ILSVRC 2015 в классификации.
2
Deep residual-сети легли в основу решений, занявших 1-е места в ILSVRC и COCO 2015 по задачам детекции ImageNet, локализации ImageNet, детекции COCO и сегментации.
3
Оценены residual-сети глубиной до 152 слоев на ImageNet (в 8 раз глубже, чем VGG) при меньшей вычислительной сложности.
4
Предложена схема residual-обучения, которая перестраивает слои для обучения функций-остатков относительно входа слоя, упрощая обучение очень глубоких сетей.
5
Экспериментально показано, что residual-сети легче оптимизировать и они получают повышение точности при значительном увеличении глубины.
6
Использование крайне глубоких residual-представлений привело к относительному улучшению на 28% в задаче детекции объектов на COCO.
Research Object
Глубокие остаточные нейронные сети (residual nets) для задач распознавания изображений
Research Subject
Влияние формулировки остаточного обучения на оптимизацию обучения, прирост точности при значительном увеличении глубины сети и производительность на наборах ImageNet, CIFAR-10 и COCO для задач распознавания/детекции
Publication Details
Publication Date
2016-06-01
Journal
Publisher
ISSN
Cited by
235342
Access Type
Author Information
Download PDF
Subscribe to digest
Источники этой статьи в scid.ai7
Классификация ImageNet с использованием глубоких сверточных нейронных сетей2017
Очень глубокие сверточные сети для масштабного распознавания изображений2014
Обучение нескольких слоев признаков на маленьких изображениях2024
Нейронные сети для распознавания образов1994
Нейронные сети для распознавания образов1995
Улучшение нейронных сетей путем предотвращения соадаптации детекторов признаков2012
Распознавание образов и нейронные сети1996
Работы, цитирующие эту статью20
Классификация ImageNet с использованием глубоких сверточных нейронных сетей2017
Swin Transformer: Иерархический визуальный трансформер с использова́нием сдвинутых окон2021
Высокоточное предсказание структуры белков с помощью AlphaFold2021
Сети Squeeze-and-Excitation2018
Полуобучаемая классификация с использованием графовых сверточных сетей2016
Исследование пределов трансферного обучения с помощью унифицированного преобразователя текста в текст2019
Непарный перенос изображений с помощью циклически согласованных состязательных сетей2017
Изображение стоит 16×16 слов: трансформеры для распознавания изображений в масштабе2020
Обзор методов аугментации изображений для глубокого обучения2019
Агрегированные остаточные преобразования для глубоких нейронных сетей2017
Фотореалистичное повышение разрешения одиночного изображения с использованием генеративной состязательной сети2017
Всеобъемлющий обзор графовых нейронных сетей2020
Нелокальные нейронные сети2018
ECA-Net: Эффективное канальное внимание для глубоких сверточных нейронных сетей2020
ShuffleNet: чрезвычайно эффективная сверточная нейронная сеть для мобильных устройств2018
За пределами гауссовского шумоподавителя: республивая (Residual) обучаемая глубокая сверточная нейронная сеть для удаления шума с изображений2017
Обзор больших языковых моделей2026
Обзор глубокого обучения: концепции, архитектуры сверточных нейронных сетей, проблемы, применения и перспективные направления2021
Графовые нейронные сети: обзор методов и приложений2020
TransUNet: трансформеры как мощные энкодеры для сегментации медицинских изображений2021