Практические рекомендации по обучению глубоких архитектур на основе градиентных методов

Алгоритмы обучения, связанные с искусственными нейронными сетями, особенно глубоким обучением, могут включать множество дополнительных механизмов и настроек, называемых гиперпараметрами. Эта глава представляет собой практическое руководство с рекомендациями по некоторым наиболее часто используемым гиперпараметрам, в частности в контексте алгоритмов обучения, основанных на обратном распространении градиента и градиентной оптимизации. В ней также рассматривается, как учитывать тот факт, что более интересные результаты могут быть получены при возможности настраивать множество гиперпараметров. В целом в главе описываются элементы практики, применяемые для успешного и эффективного обучения и отладки крупномасштабных, часто глубоких многослойных нейронных сетей. В заключение сформулированы открытые вопросы, связанные с трудностями обучения, наблюдаемыми в более глубоких архитектурах.