Классификация ImageNet с использованием глубоких сверточных нейронных сетей
ImageNet classification with deep convolutional neural networks
2017-05-24
SCID: 54.1/xbbm6eum
Discuss with AI
свертка с ускорением на GPUклассификация ImageNetглубокие сверточные нейронные сетирегуляризация dropoutошибка top-5
Figures from the paper
Abstract (AI)
Мы обучили большую глубокую сверточную нейронную сеть для классификации 1,2 миллиона изображений высокого разрешения из конкурса ImageNet LSVRC-2010 по 1000 различным классам. На тестовых данных мы получили показатели ошибок top-1 и top-5, равные соответственно 37,5% и 17,0%, что значительно превосходит предыдущий лучший результат. Нейронная сеть, содержащая 60 миллионов параметров и 650 000 нейронов, состоит из пяти сверточных слоев, некоторые из которых сопровождаются слоями объединения по максимуму, и трех полносвязных слоев с финальной функцией softmax по 1000 классов. Для ускорения обучения мы использовали ненасыщающиеся нейроны и высокоэффективную реализацию операции свертки на графическом процессоре (GPU). Для уменьшения переобучения в полносвязных слоях мы применили недавно разработанный метод регуляризации, называемый «dropout», который оказался весьма эффективным. Кроме того, мы представили вариант этой модели на конкурсе ILSVRC-2012 и получили лучший показатель ошибки top-5 на тестовой выборке — 15,3%, по сравнению с 26,2% у участника, занявшего второе место.
Key Findings
1
Глубокая сверточная нейронная сеть классифицировала 1,2 миллиона изображений ImageNet по 1 000 классам, достигнув ошибок 37,5% top-1 и 17,0% top-5.
2
Вариант модели победил в ILSVRC-2012 с ошибкой top-5 15,3%, превзойдя результат второго участника в 26,2%.
3
Регуляризация dropout эффективно уменьшила переобучение в полносвязных слоях.
4
Ненасыщающиеся нейроны и эффективная GPU-реализация свертки существенно ускорили обучение сети.
5
Архитектура с 60 миллионами параметров включала пять сверточных слоев, max-pooling, три полносвязных слоя и финальный softmax на 1 000 классов.
Research Object
Большая глубокая сверточная нейронная сеть, обученная на наборе данных ImageNet (ILSVRC)
Research Subject
Эффективность классификации глубокой свёрточной нейронной сетью, включая показатели ошибок top-1 и top-5, а также влияние архитектуры сети и методов обучения
Publication Details
Publication Date
2017-05-24
Journal
Publisher
ISSN
Cited by
112937
Open access PDF
Access Type
Author Information
Download PDF
Subscribe to digest
Источники этой статьи в scid.ai5
Глубокое остаточное обучение для распознавания изображений2016
ImageNet: крупномасштабная иерархическая база изображений2009
Обучение нескольких слоев признаков на маленьких изображениях2024
Улучшение нейронных сетей путем предотвращения соадаптации детекторов признаков2012
Сверточные глубокие сети убеждений для масштабируемого обучения без учителя иерархических представлений2009
Работы, цитирующие эту статью20
Глубокое остаточное обучение для распознавания изображений2016
Swin Transformer: Иерархический визуальный трансформер с использова́нием сдвинутых окон2021
Сети Squeeze-and-Excitation2018
Переосмысление архитектуры Inception для компьютерного зрения2016
Обучение представлений фраз с использованием RNN энкодер–декодера для статистического машинного перевода2014
Дистилляция знаний в нейронной сети2015
Изображение стоит 16×16 слов: трансформеры для распознавания изображений в масштабе2020
Обучение «последовательность-в-последовательность» с помощью нейронных сетей2014
Обучение представлений: обзор и новые перспективы2013
Обзор методов аугментации изображений для глубокого обучения2019
Сверточные нейронные сети для классификации предложений2014
Обучение представлений с помощью контрастивного предиктивного кодирования2018
Агрегированные остаточные преобразования для глубоких нейронных сетей2017
Фотореалистичное повышение разрешения одиночного изображения с использованием генеративной состязательной сети2017
Обучение глубоких признаков для дискриминативной локализации2016
ECA-Net: Эффективное канальное внимание для глубоких сверточных нейронных сетей2020
Машинное обучение: тенденции, перспективы и прогнозы2015
ShuffleNet: чрезвычайно эффективная сверточная нейронная сеть для мобильных устройств2018
За пределами гауссовского шумоподавителя: республивая (Residual) обучаемая глубокая сверточная нейронная сеть для удаления шума с изображений2017
Обзор глубокого обучения: концепции, архитектуры сверточных нейронных сетей, проблемы, применения и перспективные направления2021