Улучшение нейронных сетей путем предотвращения соадаптации детекторов признаков

Когда большая прямолинейная (feedforward) нейронная сеть обучается на небольшом наборе данных, она, как правило, плохо работает на отложенных тестовых данных. Эта «переобученность» существенно уменьшается при случайном исключении половины детекторов признаков для каждого учебного примера. Это предотвращает сложные соадаптации, при которых детектор признака полезен лишь в контексте нескольких других специфических детекторов признаков. Вместо этого каждый нейрон учится обнаруживать признак, который в целом полезен для получения корректного ответа с учётом комбинаторно большого разнообразия внутренних контекстов, в которых он должен работать. Случайный «dropout» даёт существенные улучшения на многих эталонных задачах и устанавливает новые рекорды в распознавании речи и объектов.