Обзор алгоритмов и архитектур глубинного обучения

Глубинное обучение (DL) играет всё более важную роль в нашей жизни. Оно уже оказало существенное влияние в таких областях, как диагностика рака, персонализированная медицина, беспилотные автомобили, предиктивный прогноз и распознавание речи. Тщательно ручной разработки извлечители признаков, используемые в традиционных системах обучения, классификации и распознавания образов, не масштабируются для больших наборов данных. Во многих случаях, в зависимости от сложности задачи, DL также может преодолеть ограничения ранних мелких (shallow) сетей, которые препятствовали эффективному обучению и построению иерархических представлений многомерных обучающих данных. Глубокие нейронные сети (DNN) используют несколько (глубоких) слоёв элементов с высоко оптимизированными алгоритмами и архитектурами. В статье рассматриваются различные методы оптимизации для повышения точности обучения и сокращения времени обучения. Мы подробно разбираем математические основы алгоритмов обучения, применяемых в современных глубоких сетях. Описываются текущие недостатки, улучшения и реализации. Обзор также охватывает разные типы глубоких архитектур, такие как глубокие сверточные сети, глубокие остаточные (residual) сети, рекуррентные нейронные сети, обучение с подкреплением, вариационные автокодировщики и другие.