ECA-Net: Эффективное канальное внимание для глубоких сверточных нейронных сетей

В последнее время механизмы канального внимания показали значительный потенциал для повышения производительности глубоких сверточных нейронных сетей (CNN). Однако большинство существующих методов ориентированы на разработку более сложных модулей внимания для достижения лучшей точности, что неизбежно увеличивает сложность модели. Чтобы преодолеть компромисс между производительностью и сложностью, в работе предлагается модуль Efficient Channel Attention (ECA), который содержит лишь небольшое число параметров и при этом обеспечивает явный прирост производительности. Путем анализа модуля канального внимания в SENet мы эмпирически показываем, что избегание понижения размерности важно для обучения канального внимания, а адекватное взаимодействие между каналами позволяет сохранить производительность при существенном снижении сложности модели. Поэтому предлагается стратегия локального взаимодействия между каналами без понижения размерности, которую можно эффективно реализовать с помощью 1D-свёртки. Кроме того, разработан метод адаптивного выбора размера ядра 1D-свёртки, определяющего охват локального взаимодействия между каналами. Предложенный модуль ECA одновременно эффективен и результативен: например, для ResNet50 параметры и вычисления нашего модуля составляют 80 против 24.37M и 4.7e-4 GFlops против 3.86 GFlops соответственно, а прирост в Top-1 точности превышает 2%. Мы всесторонне оцениваем модуль ECA на задачах классификации изображений, детекции объектов и сегментации экземпляров с бэкендами ResNet и MobileNetV2. Экспериментальные результаты показывают, что наш модуль более эффективен и сопоставим или превосходит аналоги.