Динамический масштабируемый градиентный спуск для стабильного дообучения в задачах классификации

Дообучение предобученных моделей стало стандартным подходом для адаптации предобученных знаний и повышения точности на новых разреженных и несбалансированных наборах данных. Однако возникают проблемы, когда оптимизация переходит в коллапсное состояние, при котором модель «застревает», что приводит к ухудшению качества и нестабильному обучению. Одной из возможных причин является взаимная нейтрализация градиентов между обучающими примерами. Для решения этой проблемы мы предлагаем новый алгоритм — динамический масштабируемый градиентный спуск (DSGD), который напрямую модифицирует градиенты, возвращаемые обучающими примерами, масштабируя в меньшую сторону градиенты правильно классифицированных примеров с помощью динамического множителя. Эта стратегия обладает как теоретическими, так и эмпирическими преимуществами для повышения стабильности обучения. Эксперименты на различных эталонных наборах данных, охватывающих множественные задачи и крупные предобученные модели, показывают, что наш метод последовательно снижает дисперсию показателей и превосходит по точности существующие подходы.