Поиск универсальных нейронных архитектур с помощью регрессии

Большинство существующих алгоритмов поиска нейронных архитектур (NAS) разрабатываются для конкретных последующих задач и оцениваются по их результатам, например по классификации изображений в компьютерном зрении. Однако многочисленные эксперименты показали, что известные нейронные архитектуры, такие как ResNet в компьютерном зрении и LSTM в обработке естественного языка, в целом хорошо извлекают закономерности из входных данных и демонстрируют высокую эффективность в различных последующих задачах. В данной работе мы рассматриваем два фундаментальных вопроса, связанных с NAS: (1) необходимо ли использовать результаты конкретных последующих задач для оценки и поиска эффективных нейронных архитектур; (2) можно ли выполнять NAS эффективно и быстро, не привязываясь к последующим задачам? Для ответа на эти вопросы мы предлагаем новую универсальную структуру NAS, названную Generic NAS (GenNAS). GenNAS не использует метки, специфичные для конкретной задачи, а применяет регрессию на наборе вручную разработанных синтетических базисных сигналов для оценки архитектур. Такая самосупервизируемая задача регрессии позволяет эффективно оценивать внутреннюю способность архитектуры выделять и преобразовывать закономерности входного сигнала, а также более полно использовать обучающие выборки. Масштабные эксперименты в 13 пространствах поиска сверточных нейронных сетей (CNN) и одном пространстве поиска для обработки естественного языка (NLP) демонстрируют высокую эффективность GenNAS с использованием регрессии как при оценке нейронных архитектур — количественно выраженной коэффициентом ранговой корреляции Спирмена (ρ Спирмена) между приближенными показателями эффективности и показателями эффективности в последующих задачах, — так и по скорости сходимости обучения, достигаемой за несколько секунд.