Сети Squeeze-and-Excitation
Squeeze-and-Excitation Networks
2018-06-01
SCID: 54.1/9mqrg78v
Discuss with AI
ILSVRC 2017 классификацияSENetSqueeze-and-Excitation блокперекалибровка каналов признаков
Figures from the paper
Abstract (AI)
Свёрточные нейронные сети основаны на операции свёртки, которая извлекает информативные признаки путём объединения пространственной и по-канальной информации внутри локальных рецептивных полей. С целью повышения представительной способности сети несколько недавних подходов продемонстрировали пользу от улучшения пространственного кодирования. В этой работе мы сосредотачиваемся на взаимоотношениях между каналами и предлагаем новый архитектурный модуль, который мы называем блоком «Squeeze-and-Excitation» (SE), адаптивно перекалибрующий по-канальные ответы признаков путём явного моделирования взаимозависимостей между каналами. Мы показываем, что, объединяя эти блоки в стек, можно строить архитектуры SENet, которые чрезвычайно хорошо обобщают на сложных наборах данных. Важным является то, что блоки SE обеспечивают существенное улучшение качества существующих передовых глубоких архитектур при минимальных дополнительных вычислительных затратах. На основе SENet была сформирована наша заявка на классификацию ILSVRC 2017, которая заняла первое место и существенно снизила top-5 ошибку до 2.251%, достигнув примерно 25% относительного улучшения по сравнению с победителем 2016 года. Код и модели доступны по адресу https://github.com/hujie-frank/SENet.
Key Findings
1
Предложен блок Squeeze-and-Excitation (SE), который адаптивно рекалибрует отклики по каналам, явно моделируя взаимозависимости между каналами.
2
SE-блоки дают существенное улучшение производительности существующих передовых глубоких архитектур при минимальных дополнительных вычислительных затратах.
3
SENet заняла первое место на ILSVRC 2017, снизив top-5 ошибку до 2.251%, что примерно на ~25% лучше победителя 2016 года.
4
Последовательное применение SE-блоков формирует архитектуры SENet, которые отлично обобщаются на сложных наборах данных.
Research Object
Блок Squeeze-and-Excitation (SE) как архитектурный компонент в сверточных нейронных сетях (SENet)
Research Subject
Адаптивная перенастройка каналов признаков через явное моделирование взаимозависимостей между каналами для повышения представительной способности и классификационной производительности при минимальных дополнительных вычислениях
Publication Details
Publication Date
2018-06-01
Journal
Publisher
ISSN
Cited by
36019
Access Type
Author Information
Download PDF
Subscribe to digest
Источники этой статьи в scid.ai8
Глубокое остаточное обучение для распознавания изображений2016
Классификация ImageNet с использованием глубоких сверточных нейронных сетей2017
Очень глубокие сверточные сети для масштабного распознавания изображений2014
Переосмысление архитектуры Inception для компьютерного зрения2016
Обучение нескольких слоев признаков на маленьких изображениях2024
Агрегированные остаточные преобразования для глубоких нейронных сетей2017
ShuffleNet: чрезвычайно эффективная сверточная нейронная сеть для мобильных устройств2018
Сверточные глубокие сети убеждений для масштабируемого обучения без учителя иерархических представлений2009
Работы, цитирующие эту статью20
ECA-Net: Эффективное канальное внимание для глубоких сверточных нейронных сетей2020
ShuffleNet: чрезвычайно эффективная сверточная нейронная сеть для мобильных устройств2018
Обзор глубокого обучения: концепции, архитектуры сверточных нейронных сетей, проблемы, применения и перспективные направления2021
Искусственный интеллект в образовании: обзор2020
Обзор сверточных нейронных сетей: анализ, применения и перспективы2021
Pyramid Vision Transformer: универсальный бэкоун для плотного предсказания без свёрток2021
Глубокое обучение для универсального обнаружения объектов: обзор2019
Uformer: Общая U-образная трансформерная архитектура для восстановления изображений2022
Tokens-to-Token ViT: обучение визуальных трансформеров с нуля на ImageNet2021
Обзор глубокого обучения в медицинской визуализации с акцентом на МРТ2018
CrossViT: мультишкальный визуальный трансформер с перекрёстным вниманием для классификации изображений2021
Соревнование Detection and Tracking Meet Drones2021
CSWin Transformer: универсальный визуальный трансформер с перекрёстными окнами2022
Классификация сцен на изображениях дистанционного зондирования с использованием глубокого обучения: проблемы, методы, эталонные наборы данных и перспективы2020
Развязанная передача знаний (Decoupled Knowledge Distillation)2022
CMT: сверточные нейронные сети встречаются с визуальными трансформерами2022
Эффективное ускорение вывода моделей глубокого обучения на периферийных устройствах с ограниченными ресурсами: обзор2022
Алгоритмы компьютерного зрения и их аппаратные реализации: обзор2019
Генеративный искусственный интеллект в открытии лекарств: базовая структура, последние достижения, проблемы и возможности2024
К обнаружению запрещённых предметов в реальных условиях: крупномасштабный рентгеновский бенчмарк2021