Понимание и устранение патологий потока градиентов в физически информированных нейронных сетях

Understanding and Mitigating Gradient Flow Pathologies in Physics-Informed Neural Networks
Paris G. Perdikaris, Sifan Wang, Yujun Teng
2021-01-01

патологии потока градиентованнилинг скорости обучениячисленная жёсткостьдифференциальные уравнения в частных производныхфизически информированные нейронные сети
Широкое применение нейронных сетей в различных научных областях часто предполагает наложение на них ограничений, обеспечивающих выполнение определённых симметрий, законов сохранения или других положений предметной области. Такие ограничения нередко вводятся в процессе обучения модели в виде мягких штрафов и фактически выступают специфичными для предметной области регуляризаторами функции эмпирического риска. Физически информированные нейронные сети являются примером такого подхода: выходы глубоких нейронных сетей ограничиваются условием приближённого выполнения заданной системы дифференциальных уравнений в частных производных. В настоящей работе рассматриваются последние достижения в области научного машинного обучения с особым вниманием к эффективности физически информированных нейронных сетей при прогнозировании поведения физических систем и выявлении скрытой физики по зашумлённым данным. Мы также выявляем и анализируем фундаментальный режим отказа таких подходов, связанный с численной жёсткостью, которая приводит к несбалансированным градиентам, распространяемым обратным распространением ошибки в процессе обучения модели. Для устранения этого ограничения мы представляем алгоритм отжига скорости обучения, использующий статистики градиентов в процессе обучения модели для балансировки взаимодействия между различными слагаемыми составных функций потерь. Кроме того, мы предлагаем новую архитектуру нейронной сети, более устойчивую к таким патологиям градиентного потока. В совокупности наши разработки дают новые представления об обучении нейронных сетей с ограничениями и стабильно повышают точность прогнозирования физически информированных нейронных сетей в 50–100 раз в широком диапазоне задач вычислительной физики. Все программные коды и данные, сопровождающие эту рукопись, находятся в открытом доступе по адресу https://github.com/PredictiveIntelligenceLab/GradientPathologiesPINNs.
1
Предложен алгоритм адаптивного изменения скорости обучения на основе статистик градиентов для балансировки конкурирующих слагаемых составной функции потерь PINN.
2
Предложена новая архитектура нейронной сети, более устойчивая к патологиям потока градиентов.
3
Физически информированные нейронные сети могут испытывать фундаментальный сбой из-за численной жёсткости и несбалансированных градиентов обратного распространения при обучении.
4
Совместное применение разработанных методов обеспечивает стабильное повышение точности прогнозирования PINN в 50–100 раз на широком наборе задач вычислительной физики.
5
Работа рассматривает эффективность PINN для прогнозирования физических систем и выявления скрытой физики по зашумлённым данным; сопутствующие код и данные опубликованы открыто.

физически информированные нейронные сети для прогнозирования физических систем и выявления скрытой физики по зашумлённым данным

проблемы градиентного потока, вызванные численной жёсткостью, включая несбалансированные распространяемые назад градиенты при обучении, и их устранение для повышения точности прогнозирования

Publication Details
Publication Date
2021-01-01
Journal
Publisher
ISSN
Cited by
3421
Access Type
Author Information
Authors
Paris G. Perdikaris
Sifan Wang
Yujun Teng
Explore further
Open the scid.ai AI chat with a ready-made request: it will find papers on a similar topic and help build a literature review.
Find similar papers in the chat →
Make a presentation
100%