Обучение «мнемониками»: многоклассовое инкрементальное обучение без забывания

Многоклассовое инкрементальное обучение (Multi-Class Incremental Learning, MCIL) нацелено на изучение новых понятий путем пошагового обновления модели, обученной на предыдущих понятиях. Однако существует внутренний компромисс между эффективным усвоением новых понятий и предотвращением катастрофического забывания прежних. Для смягчения этой проблемы предлагалось сохранять небольшое количество примеров предыдущих понятий, но эффективность такого подхода в значительной мере зависит от репрезентативности этих примеров. В статье предлагается новая и автоматическая методика, называемая мнемониками, в которой экспемпляры параметризуются и делаются оптимизируемыми в режиме end-to-end. Метод обучается посредством билевел-оптимизации, т.е. на уровне модели и на уровне экспемпляров. Проведены обширные эксперименты на трех бенчмарках MCIL — CIFAR-100, ImageNet-Subset и ImageNet — которые демонстрируют, что использование мнемонических экспемпляров может существенно превосходить текущее состояние искусства. Интересно, что мнемонические экспемпляры, как правило, располагаются на границах между различными классами.