Реляционное сгущение знаний

Сгущение знаний (knowledge distillation) направлено на передачу знаний, полученных в одной модели (учителе), другой модели (ученику), которая, как правило, меньше. Предыдущие подходы можно представить как обучение ученика имитировать выходные активации отдельных примеров данных, представленных учителем. Мы представляем новый подход, названный реляционным сгущением знаний (relational knowledge distillation, RKD), который вместо этого передаёт взаимные отношения между примерами данных. Для конкретной реализации RKD мы предлагаем функции потерь сгущения по расстоянию и по углу, которые штрафуют структурные различия в отношениях. Эксперименты, проведённые на различных задачах, показывают, что предложенный метод существенно улучшает качество обученных моделей-учеников. В частности, для метрического обучения он позволяет ученикам превосходить по качеству своих учителей, достигая передовых результатов на стандартных эталонных наборах данных.