Методы оптимизации для крупномасштабного машинного обучения

Optimization Methods for Large-Scale Machine Learning
Léon Bottou, Jorge M. Nocedal, Frank E. Curtis
2018-01-01

обучение глубоких нейронных сетейкрупномасштабное машинное обучениеоптимизация второго порядкаметоды стохастического градиентаклассификация текстов
В статье представлен обзор и анализ прошлого, настоящего и будущего численных алгоритмов оптимизации в контексте приложений машинного обучения. На примере задач классификации текстов и обучения глубоких нейронных сетей рассматривается, как возникают задачи оптимизации в машинном обучении и что обусловливает их сложность. Основная тема исследования заключается в том, что крупномасштабное машинное обучение представляет собой особую область, в которой метод стохастического градиента (SG) традиционно играет центральную роль, тогда как стандартные градиентные методы нелинейной оптимизации, как правило, оказываются неэффективными. С этой точки зрения представлена всесторонняя теория простого, но универсального алгоритма стохастического градиента, обсуждается его практическое поведение и обозначаются возможности разработки алгоритмов с улучшенными характеристиками. Это приводит к обсуждению следующего поколения методов оптимизации для крупномасштабного машинного обучения, включая рассмотрение двух основных направлений исследований: методов снижения шума в стохастических направлениях и методов, использующих приближения производных второго порядка.
1
Перспективные методы оптимизации рассматриваются по двум основным направлениям: снижение шума в стохастических направлениях и использование приближений производных второго порядка.
2
Крупномасштабное машинное обучение создает специфические трудности оптимизации, проиллюстрированные примерами классификации текстов и обучения глубоких нейронных сетей.
3
Стохастические градиентные методы традиционно играют центральную роль в крупномасштабном машинном обучении, тогда как стандартные градиентные методы нелинейной оптимизации часто работают в этой области плохо.
4
В статье развиваются общая теория и практический анализ простого и универсального алгоритма стохастического градиента.
5
Теоретическое понимание, уменьшение шума и методы второго порядка открывают возможности для повышения эффективности оптимизации в крупномасштабном машинном обучении.

приложения машинного обучения в больших масштабах, включая классификацию текстов и обучение глубоких нейронных сетей

поведение, проблемы, теория и повышение эффективности численных алгоритмов оптимизации, особенно методов стохастического градиента и методов второго порядка или снижения дисперсии

Publication Details
Publication Date
2018-01-01
Journal
Publisher
ISSN
Cited by
3224
Access Type
Author Information
Authors
Léon Bottou
Jorge M. Nocedal
Frank E. Curtis
Explore further
Open the scid.ai AI chat with a ready-made request: it will find papers on a similar topic and help build a literature review.
Find similar papers in the chat →
Make a presentation
100%