Adam: метод стохастической оптимизации
Adam: A Method for Stochastic Optimization
2014-12-22
SCID: 54.1/x68mz84h
Discuss with AI
AdaMaxалгоритм оптимизации Adamадаптивная оценка моментовонлайн-выпуклая оптимизациястохастическая оптимизация
Figures from the paper
Abstract (AI)
Мы представляем Adam — алгоритм оптимизации стохастических целевых функций на основе градиента первого порядка, использующий адаптивные оценки моментов низших порядков. Метод прост в реализации, вычислительно эффективен, требует небольшого объёма памяти, инвариантен относительно диагонального масштабирования градиентов и хорошо подходит для задач с большим объёмом данных и/или большим числом параметров. Метод также применим к нестационарным целевым функциям и задачам с очень зашумлёнными и/или разреженными градиентами. Гиперпараметры имеют интуитивно понятную интерпретацию и обычно требуют минимальной настройки. Мы обсуждаем связи с родственными алгоритмами, послужившими источником вдохновения для Adam. Кроме того, мы анализируем теоретические свойства сходимости алгоритма и приводим оценку величины сожаления для скорости сходимости, сопоставимую с наилучшими известными результатами в рамках онлайн-оптимизации выпуклых функций. Экспериментальные результаты показывают, что Adam хорошо работает на практике и превосходит или как минимум не уступает другим методам стохастической оптимизации. Наконец, мы обсуждаем AdaMax — вариант Adam, основанный на норме бесконечности.
Key Findings
1
Adam предназначен для нестационарных целевых функций, зашумлённых и разреженных градиентов и обычно требует минимальной настройки гиперпараметров.
2
Представлен Adam — алгоритм стохастической оптимизации первого порядка, использующий адаптивные оценки моментов градиента низких порядков.
3
Эксперименты показывают, что Adam хорошо работает на практике и превосходит или сопоставим с другими методами стохастической оптимизации; также предложен вариант AdaMax на основе нормы бесконечности.
4
Метод вычислительно эффективен, требует мало памяти, инвариантен к диагональному масштабированию градиентов и подходит для крупномасштабных задач.
5
Теоретический анализ даёт границу сожаления для скорости сходимости, сопоставимую с лучшими известными результатами в онлайн-выпуклой оптимизации.
Research Object
алгоритм стохастической оптимизации Adam
Research Subject
адаптивная оценка моментов, свойства сходимости, вычислительная эффективность и практическая результативность алгоритма для стохастических целевых функций
Publication Details
Publication Date
2014-12-22
Journal
Publisher
ISSN
Cited by
101801
Open access PDF
Access Type
Author Information
Download PDF
Subscribe to digest
Источники этой статьи в scid.ai4
Снижение размерности данных с помощью нейронных сетей2006
Глубокие нейронные сети для акустического моделирования в распознавании речи: общее мнение четырёх исследовательских групп2012
Распознавание речи с помощью глубоких рекуррентных нейронных сетей2013
Улучшение нейронных сетей путем предотвращения соадаптации детекторов признаков2012
Работы, цитирующие эту статью20
Swin Transformer: Иерархический визуальный трансформер с использова́нием сдвинутых окон2021
Преобразование изображений в изображения с помощью условных состязательных сетей2017
Обучение представлений с помощью контрастивного предиктивного кодирования2018
Фотореалистичное повышение разрешения одиночного изображения с использованием генеративной состязательной сети2017
Обучение представлений без учителя с помощью глубоких сверточных генеративных состязательных сетей2015
За пределами гауссовского шумоподавителя: республивая (Residual) обучаемая глубокая сверточная нейронная сеть для удаления шума с изображений2017
Генеративные состязательные сети с методом наименьших квадратов2017
Обзор сверточных нейронных сетей: анализ, применения и перспективы2021
Пространственно-временные графовые сверточные сети: платформа глубокого обучения для прогнозирования трафика2018
Нейронные архитектуры для распознавания именованных сущностей2016
Глубокое обучение с использованием сверточных нейронных сетей для декодирования и визуализации ЭЭГ2017
Масштабируемые диффузионные модели на базе трансформеров2023
Понимание и устранение патологий потока градиентов в физически информированных нейронных сетях2021
HuBERT: самообучение представлений речи посредством маскированного предсказания скрытых единиц2021
Механизм самовнимания с представлениями относительных позиций2018
Сверточные двумерные встраивания для графов знаний2018
Video Swin Transformer2022
Обзор алгоритмов и архитектур глубинного обучения2019
GQA: новый набор данных для визуального рассуждения в реальных условиях и композиционного ответа на вопросы2019
Законы масштабирования нейронных языковых моделей2020