Методы оптимизации для крупномасштабного машинного обучения
Optimization Methods for Large-Scale Machine Learning
2018-01-01
SCID: 54.1/cf8cjwjs
Discuss with AI
обучение глубоких нейронных сетейкрупномасштабное машинное обучениеоптимизация второго порядкаметоды стохастического градиентаклассификация текстов
Figures from the paper
Abstract (AI)
В статье представлен обзор и анализ прошлого, настоящего и будущего численных алгоритмов оптимизации в контексте приложений машинного обучения. На примере задач классификации текстов и обучения глубоких нейронных сетей рассматривается, как возникают задачи оптимизации в машинном обучении и что обусловливает их сложность. Основная тема исследования заключается в том, что крупномасштабное машинное обучение представляет собой особую область, в которой метод стохастического градиента (SG) традиционно играет центральную роль, тогда как стандартные градиентные методы нелинейной оптимизации, как правило, оказываются неэффективными. С этой точки зрения представлена всесторонняя теория простого, но универсального алгоритма стохастического градиента, обсуждается его практическое поведение и обозначаются возможности разработки алгоритмов с улучшенными характеристиками. Это приводит к обсуждению следующего поколения методов оптимизации для крупномасштабного машинного обучения, включая рассмотрение двух основных направлений исследований: методов снижения шума в стохастических направлениях и методов, использующих приближения производных второго порядка.
Key Findings
1
Перспективные методы оптимизации рассматриваются по двум основным направлениям: снижение шума в стохастических направлениях и использование приближений производных второго порядка.
2
Крупномасштабное машинное обучение создает специфические трудности оптимизации, проиллюстрированные примерами классификации текстов и обучения глубоких нейронных сетей.
3
Стохастические градиентные методы традиционно играют центральную роль в крупномасштабном машинном обучении, тогда как стандартные градиентные методы нелинейной оптимизации часто работают в этой области плохо.
4
В статье развиваются общая теория и практический анализ простого и универсального алгоритма стохастического градиента.
5
Теоретическое понимание, уменьшение шума и методы второго порядка открывают возможности для повышения эффективности оптимизации в крупномасштабном машинном обучении.
Research Object
приложения машинного обучения в больших масштабах, включая классификацию текстов и обучение глубоких нейронных сетей
Research Subject
поведение, проблемы, теория и повышение эффективности численных алгоритмов оптимизации, особенно методов стохастического градиента и методов второго порядка или снижения дисперсии
Publication Details
Publication Date
2018-01-01
Journal
Publisher
ISSN
Cited by
3224
Open access PDF
Access Type
Author Information
Download PDF
Subscribe to digest