Adam: метод стохастической оптимизации

Мы представляем Adam — алгоритм оптимизации стохастических целевых функций на основе градиента первого порядка, использующий адаптивные оценки моментов низших порядков. Метод прост в реализации, вычислительно эффективен, требует небольшого объёма памяти, инвариантен относительно диагонального масштабирования градиентов и хорошо подходит для задач с большим объёмом данных и/или большим числом параметров. Метод также применим к нестационарным целевым функциям и задачам с очень зашумлёнными и/или разреженными градиентами. Гиперпараметры имеют интуитивно понятную интерпретацию и обычно требуют минимальной настройки. Мы обсуждаем связи с родственными алгоритмами, послужившими источником вдохновения для Adam. Кроме того, мы анализируем теоретические свойства сходимости алгоритма и приводим оценку величины сожаления для скорости сходимости, сопоставимую с наилучшими известными результатами в рамках онлайн-оптимизации выпуклых функций. Экспериментальные результаты показывают, что Adam хорошо работает на практике и превосходит или как минимум не уступает другим методам стохастической оптимизации. Наконец, мы обсуждаем AdaMax — вариант Adam, основанный на норме бесконечности.