Дистилляция знаний в нейронной сети

Очень простой способ улучшить работу практически любого алгоритма машинного обучения — обучить множество различных моделей на одних и тех же данных, а затем усреднить их предсказания. К сожалению, получение предсказаний с помощью целого ансамбля моделей громоздко и может быть слишком вычислительно дорогим для развертывания у большого числа пользователей, особенно если отдельные модели — крупные нейронные сети. Caruana и соавторы показали, что знания ансамбля можно сжать в одну модель, которую гораздо легче развернуть; мы развиваем этот подход далее, используя другую технику сжатия. Мы добиваемся некоторых неожиданных результатов на MNIST и демонстрируем, что можем существенно улучшить акустическую модель широко используемой коммерческой системы, дистиллируя знания ансамбля моделей в одну модель. Мы также вводим новый тип ансамбля, состоящий из одной или нескольких полноценных моделей и множества специализированных моделей, которые обучаются различать тонкочастные классы, в которых полноразмерные модели путаются. В отличие от смеси экспертов, эти специализированные модели можно быстро обучать параллельно.