Эффективное глубокое обучение: обзор методов уменьшения размера, ускорения и повышения качества моделей глубокого обучения

Глубокое обучение произвело революцию в таких областях, как компьютерное зрение, понимание естественного языка, распознавание речи, информационный поиск и многих других. Однако по мере совершенствования моделей глубокого обучения существенно увеличивались, в частности, количество их параметров, задержка и ресурсы, необходимые для обучения. Поэтому важно учитывать не только качество модели, но и такие показатели занимаемого ею ресурсного «следа». Мы формулируем и обосновываем проблему эффективности глубокого обучения, а затем представляем подробный обзор пяти основных направлений повышения эффективности моделей, охватывающих методы моделирования, инфраструктуру и аппаратное обеспечение, а также основополагающие работы в этих областях. Кроме того, мы предлагаем основанное на экспериментах руководство и программный код, предназначенные для оптимизации обучения и развертывания моделей. Насколько нам известно, это первый всеобъемлющий обзор эффективного глубокого обучения, охватывающий весь спектр вопросов эффективности моделей — от методов моделирования до аппаратной поддержки. Мы надеемся, что этот обзор предоставит читателям концептуальную основу и необходимые знания о данной области, которые позволят применять общие методы повышения эффективности и сразу получать существенные улучшения, а также снабдит их идеями для дальнейших исследований и экспериментов, направленных на достижение дополнительных результатов.