Интригующие свойства нейронных сетей

Глубокие нейронные сети представляют собой модели с высокой выразительной способностью, которые в последнее время достигли наилучших результатов в задачах распознавания речи и изображений. Хотя именно выразительность обеспечивает их успех, она также приводит к тому, что сети обучаются неинтерпретируемым решениям, которые могут обладать контринтуитивными свойствами. В данной работе мы сообщаем о двух таких свойствах. Во-первых, согласно различным методам анализа нейронов, между отдельными высокоуровневыми нейронами и случайными линейными комбинациями высокоуровневых нейронов отсутствует различие. Это позволяет предположить, что семантическая информация на высоких уровнях нейронных сетей содержится скорее в пространстве, чем в отдельных нейронах. Во-вторых, мы обнаруживаем, что глубокие нейронные сети обучаются отображениям «вход–выход», которые в значительной степени разрывны. Можно добиться того, чтобы сеть неправильно классифицировала изображение, применив определённое незаметное возмущение, найденное посредством максимизации ошибки предсказания сети. Кроме того, специфический характер этих возмущений не является случайным артефактом обучения: одно и то же возмущение может заставить другую сеть, обученную на другой подвыборке набора данных, неправильно классифицировать тот же входной пример.