Понимание и устранение патологий потока градиентов в физически информированных нейронных сетях
Understanding and Mitigating Gradient Flow Pathologies in Physics-Informed Neural Networks
2021-01-01
SCID: 54.1/xvs5vh38
Discuss with AI
патологии потока градиентованнилинг скорости обучениячисленная жёсткостьдифференциальные уравнения в частных производныхфизически информированные нейронные сети
Figures from the paper
Abstract (AI)
Широкое применение нейронных сетей в различных научных областях часто предполагает наложение на них ограничений, обеспечивающих выполнение определённых симметрий, законов сохранения или других положений предметной области. Такие ограничения нередко вводятся в процессе обучения модели в виде мягких штрафов и фактически выступают специфичными для предметной области регуляризаторами функции эмпирического риска. Физически информированные нейронные сети являются примером такого подхода: выходы глубоких нейронных сетей ограничиваются условием приближённого выполнения заданной системы дифференциальных уравнений в частных производных. В настоящей работе рассматриваются последние достижения в области научного машинного обучения с особым вниманием к эффективности физически информированных нейронных сетей при прогнозировании поведения физических систем и выявлении скрытой физики по зашумлённым данным. Мы также выявляем и анализируем фундаментальный режим отказа таких подходов, связанный с численной жёсткостью, которая приводит к несбалансированным градиентам, распространяемым обратным распространением ошибки в процессе обучения модели. Для устранения этого ограничения мы представляем алгоритм отжига скорости обучения, использующий статистики градиентов в процессе обучения модели для балансировки взаимодействия между различными слагаемыми составных функций потерь. Кроме того, мы предлагаем новую архитектуру нейронной сети, более устойчивую к таким патологиям градиентного потока. В совокупности наши разработки дают новые представления об обучении нейронных сетей с ограничениями и стабильно повышают точность прогнозирования физически информированных нейронных сетей в 50–100 раз в широком диапазоне задач вычислительной физики. Все программные коды и данные, сопровождающие эту рукопись, находятся в открытом доступе по адресу https://github.com/PredictiveIntelligenceLab/GradientPathologiesPINNs.
Key Findings
1
Предложен алгоритм адаптивного изменения скорости обучения на основе статистик градиентов для балансировки конкурирующих слагаемых составной функции потерь PINN.
2
Предложена новая архитектура нейронной сети, более устойчивая к патологиям потока градиентов.
3
Физически информированные нейронные сети могут испытывать фундаментальный сбой из-за численной жёсткости и несбалансированных градиентов обратного распространения при обучении.
4
Совместное применение разработанных методов обеспечивает стабильное повышение точности прогнозирования PINN в 50–100 раз на широком наборе задач вычислительной физики.
5
Работа рассматривает эффективность PINN для прогнозирования физических систем и выявления скрытой физики по зашумлённым данным; сопутствующие код и данные опубликованы открыто.
Research Object
физически информированные нейронные сети для прогнозирования физических систем и выявления скрытой физики по зашумлённым данным
Research Subject
проблемы градиентного потока, вызванные численной жёсткостью, включая несбалансированные распространяемые назад градиенты при обучении, и их устранение для повышения точности прогнозирования
Publication Details
Publication Date
2021-01-01
Journal
Publisher
ISSN
Cited by
3421
Open access PDF
Access Type
Author Information
Download PDF
Subscribe to digest
Источники этой статьи в scid.ai3
Работы, цитирующие эту статью8
Научное машинное обучение с использованием физически информированных нейронных сетей: современное состояние и дальнейшие перспективы2022
Физически информированные нейронные сети для задач теплопереноса2021
Интерпретируемое машинное обучение: основные принципы и 10 крупных задач2022
A-PINN: Вспомогательные физически информированные нейронные сети для прямых и обратных задач нелинейных интегро-дифференциальных уравнений2022
Физически информированные нейронные сети для уравнений Сен-Венана при понижении масштаба крупномасштабной речной модели2023
Физически информированное машинное обучение в геотехнической инженерии: обзор перспективных направлений2025
Физически информированная нейронная сеть для реконструкции нестационарных полей течения со свободной поверхностью в протяжённых водопроводящих тоннелях по разреженным наблюдениям2026
Применение физически информированных нейронных сетей (PINN) в сочетании с одномерным моделированием неустановившегося течения к течению в открытом русле2025