Сети Squeeze-and-Excitation

Свёрточные нейронные сети основаны на операции свёртки, которая извлекает информативные признаки путём объединения пространственной и по-канальной информации внутри локальных рецептивных полей. С целью повышения представительной способности сети несколько недавних подходов продемонстрировали пользу от улучшения пространственного кодирования. В этой работе мы сосредотачиваемся на взаимоотношениях между каналами и предлагаем новый архитектурный модуль, который мы называем блоком «Squeeze-and-Excitation» (SE), адаптивно перекалибрующий по-канальные ответы признаков путём явного моделирования взаимозависимостей между каналами. Мы показываем, что, объединяя эти блоки в стек, можно строить архитектуры SENet, которые чрезвычайно хорошо обобщают на сложных наборах данных. Важным является то, что блоки SE обеспечивают существенное улучшение качества существующих передовых глубоких архитектур при минимальных дополнительных вычислительных затратах. На основе SENet была сформирована наша заявка на классификацию ILSVRC 2017, которая заняла первое место и существенно снизила top-5 ошибку до 2.251%, достигнув примерно 25% относительного улучшения по сравнению с победителем 2016 года. Код и модели доступны по адресу https://github.com/hujie-frank/SENet.