Обучение прямых (feedforward) нейронных сетей с использованием алгоритма Марквардта
Training feedforward networks with the Marquardt algorithm
1994-01-01
SCID: 54.1/3exrf8w9
Discuss with AI
алгоритм Марквардтаобратное распространение (backpropagation)сопряжённый градиентпрямые нейронные сети (feedforward)аппроксимация функцийнелинейные наименьшие квадратыэффективность обученияпеременная скорость обучения
Figures from the paper
Abstract (AI)
Представлен алгоритм Марквардта для нелинейных наименьших квадратов и интегрирован в алгоритм обратного распространения ошибки для обучения прямых (feedforward) нейронных сетей. Алгоритм протестирован на нескольких задачах аппроксимации функций и сравнен с алгоритмом сопряжённых градиентов и алгоритмом с переменной скоростью обучения. Установлено, что алгоритм Марквардта значительно эффективнее обеих других методик, когда сеть содержит не более нескольких сотен весов.
Key Findings
1
Алгоритм Марквардта (для нелинейных метод наименьших квадратов) может быть внедрён в обратное распространение ошибки для обучения прямых нейронных сетей.
2
Алгоритм Марквардта оказался значительно более эффективным, чем методы сопряжённых градиентов и переменного шага обучения, для сетей с числом весов до нескольких сотен.
3
Преимущество по эффективности отмечено конкретно для сетей, содержащих не более нескольких сотен весов.
4
При тестировании на нескольких задачах аппроксимации функций сети, обученные методом Марквардта, были сравнены с алгоритмами сопряжённых градиентов и переменным шагом обучения.
Research Object
Прямые (feedforward) нейронные сети, обучаемые методом обратного распространения ошибки
Research Subject
Эффективность и производительность алгоритма Марквардта (метод нелинейных наименьших квадратов) при обучении прямых нейронных сетей в сравнении с методом сопряжённых градиентов и алгоритмом с переменной скоростью обучения, особенно для сетей с не более чем несколькими сотнями весов
Publication Details
Publication Date
1994-01-01
Journal
Publisher
ISSN
Access Type
Author Information
Download PDF
Subscribe to digest