Развязанная передача знаний (Decoupled Knowledge Distillation)

Современные методы дистилляции в основном основаны на дистилляции глубоких признаков из промежуточных слоев, тогда как значение дистилляции логитов во многом упускается из виду. Чтобы предложить новый взгляд на изучение дистилляции логитов, мы переработали классическую функцию потерь knowledge distillation (KD) на две части: дистилляция знаний по целевому классу (TCKD) и дистилляция знаний по нецелевым классам (NCKD). Мы эмпирически исследуем и показываем эффекты этих двух частей: TCKD передаёт знания, касающиеся «сложности» обучающих примеров, тогда как NCKD является основной причиной эффективности дистилляции логитов. Более того, мы выявляем, что классическая KD-функция потерь является связанной (coupled) формулой, которая (1) подавляет эффективность NCKD и (2) ограничивает гибкость в балансировке этих двух частей. Для решения этих проблем мы предлагаем Развязанную передачу знаний (Decoupled Knowledge Distillation, DKD), позволяющую TCKD и NCKD эффективно и гибко выполнять свои функции. По сравнению со сложными методами на основе признаков, наш DKD даёт сопоставимые или лучшие результаты и обеспечивает лучшую эффективность обучения на наборах данных CIFAR-100, ImageNet и MS-COCO для задач классификации изображений и детекции объектов. В работе демонстрируется большой потенциал дистилляции логитов, и мы надеемся, что это будет полезно для дальнейших исследований. Код доступен по адресу https://github.com/megviiresearch/mdistiller.