Обзор неопределённости в глубоких нейронных сетях

За последнее десятилетие нейронные сети проникли практически во все области науки и стали ключевой частью различных реальных приложений. В связи с этим возрастает важность уверенности в предсказаниях нейронных сетей. Однако базовые нейронные сети не дают оценок достоверности и часто демонстрируют избыточную или недостаточную уверенность, то есть плохо калибруются. Для преодоления этого многие исследователи изучают и количественно описывают неопределённость в предсказаниях нейронных сетей. В результате были идентифицированы различные типы и источники неопределённости, а также предложены различные подходы к измерению и количественной оценке неопределённости в нейронных сетях. В этой работе даётся всесторонний обзор оценки неопределённости в нейронных сетях, рассматриваются недавние достижения в области, выделяются текущие проблемы и определяются потенциальные направления исследований. Работа предназначена для всех, кто интересуется оценкой неопределённости в нейронных сетях, и обеспечивает широкий обзор и введение без предпосылок наличия предварительных знаний в этой области. Для этого приводится всестороннее введение в наиболее существенные источники неопределённости и представлено их разделение на сокращаемую неопределённость модели и несокращаемую неопределённость данных. Описано моделирование этих типов неопределённости на основе детерминированных нейронных сетей, байесовских нейронных сетей (BNNs), ансамблей нейронных сетей и подходов с аугментацией данных во время тестирования; обсуждаются разные направления в этих областях, а также последние достижения. Для практического применения обсуждаются различные метрики неопределённости, подходы к калибровке нейронных сетей и приведён обзор существующих эталонов и доступных реализаций. Примеры из широкого спектра задач в областях анализа медицинских изображений, робототехники и дистанционного зондирования земли иллюстрируют потребности и трудности, связанные с неопределённостью в практических приложениях нейронных сетей. Дополнительно обсуждаются практические ограничения методов количественной оценки неопределённости для применений, критичных с точки зрения миссии и безопасности, и даётся перспективный взгляд на дальнейшие шаги к более широкому использованию таких методов.