Обучение нескольких слоев признаков на маленьких изображениях

Группы из MIT и NYU собрали датасет, содержащий миллионы маленьких цветных изображений из интернета. В принципе это отличный набор данных для неконтролируемого обучения глубоких генеративных моделей, однако предыдущим исследователям было трудно извлечь хороший набор фильтров из этих изображений. Мы показываем, как обучить многослойную генеративную модель, которая учится выделять значимые признаки, напоминающие те, что обнаруживаются в зрительной коре человека. С помощью нового алгоритма параллелизации для распределения работы между несколькими машинами в сети мы демонстрируем, что обучение такой модели можно выполнить за разумное время. Второй проблемный аспект датасета tiny images заключается в отсутствии надежных меток классов, что затрудняет его использование в экспериментах по распознаванию объектов. Мы создали два набора надежных меток. Набор CIFAR-10 содержит 6000 примеров для каждого из 10 классов, а CIFAR-100 — 600 примеров для каждого из 100 непересекающихся классов. С использованием этих меток мы показываем, что распознавание объектов существенно