REPrune: отбор представительных ядер для прунинга каналов

Прунинг каналов широко признан способом ускорения современных сверточных нейронных сетей (CNN). Полученная за счёт прунинга модель выгодно отличается возможностью немедленного развёртывания на универсальных программных и аппаратных ресурсах. Однако крупная гранулярность прунинга, а именно на уровне свёрточного фильтра, часто приводит к нежелательному падению точности из‑за негибкости в решении того, как и где вводить разреженность в CNN. В данной работе мы предлагаем REPrune — новую технику прунинга каналов, имитирующую прунинг ядер и полноценно использующую более мелкую, но структурированную гранулярность. REPrune выявляет похожие ядра внутри каждого канала с помощью агломеративной кластеризации, затем выбирает фильтры, максимально включающие представительные ядра, решая задачу оптимизации максимального покрытия кластеров. Интегрируясь с парадигмой одновременного обучения и прунинга, REPrune обеспечивает эффективный прогрессивный прунинг в ходе обучения CNN, избегая традиционной последовательности обучение–прунинг–дообучение. Экспериментальные результаты демонстрируют, что REPrune превосходит существующие методы в задачах компьютерного зрения, эффективно балансируя между коэффициентом ускорения и сохранением качества.