Интригующие свойства нейронных сетей
Intriguing properties of neural networks
2013-12-21
SCID: 54.1/uu3639ub
Discuss with AI
атакующие возмущенияглубокие нейронные сетисемантическая информацияпереносимостьанализ нейронов
Figures from the paper
Abstract (AI)
Глубокие нейронные сети представляют собой модели с высокой выразительной способностью, которые в последнее время достигли наилучших результатов в задачах распознавания речи и изображений. Хотя именно выразительность обеспечивает их успех, она также приводит к тому, что сети обучаются неинтерпретируемым решениям, которые могут обладать контринтуитивными свойствами. В данной работе мы сообщаем о двух таких свойствах. Во-первых, согласно различным методам анализа нейронов, между отдельными высокоуровневыми нейронами и случайными линейными комбинациями высокоуровневых нейронов отсутствует различие. Это позволяет предположить, что семантическая информация на высоких уровнях нейронных сетей содержится скорее в пространстве, чем в отдельных нейронах. Во-вторых, мы обнаруживаем, что глубокие нейронные сети обучаются отображениям «вход–выход», которые в значительной степени разрывны. Можно добиться того, чтобы сеть неправильно классифицировала изображение, применив определённое незаметное возмущение, найденное посредством максимизации ошибки предсказания сети. Кроме того, специфический характер этих возмущений не является случайным артефактом обучения: одно и то же возмущение может заставить другую сеть, обученную на другой подвыборке набора данных, неправильно классифицировать тот же входной пример.
Key Findings
1
Возмущения, максимизирующие ошибку предсказания, переносятся между сетями, обученными на разных подмножествах данных, что указывает на их общие свойства моделей, а не на случайный артефакт обучения.
2
Глубокие нейронные сети обучаются существенно разрывным отображениям «вход–выход», поэтому незаметные возмущения могут вызывать ошибочную классификацию.
3
Семантическая информация на высоких уровнях распределена в пространствах активаций, а не локализована в отдельных нейронах.
4
Согласно нескольким методам анализа нейронов, случайные линейные комбинации высокоуровневых нейронов неотличимы от отдельных нейронов.
Research Object
Глубокие нейронные сети
Research Subject
семантическая организация высокоуровневых представлений, а также разрывность и переносимость их отображений «вход–выход»
Publication Details
Publication Date
2013-12-21
Journal
Publisher
ISSN
Cited by
14020
Open access PDF
Access Type
Author Information
Download PDF
Subscribe to digest
Источники этой статьи в scid.ai2
Работы, цитирующие эту статью20
Достижения и открытые проблемы федеративного обучения2020
DeepFool: простой и точный метод обмана глубоких нейронных сетей2016
RandAugment: практическое автоматизированное расширение данных с сокращённым пространством поиска2020
Сверточные нейронные сети: обзор и применение в радиологии2018
Глубокое обучение с использованием сверточных нейронных сетей для декодирования и визуализации ЭЭГ2017
Интерпретация моделей «чёрного ящика»: обзор объяснимого искусственного интеллекта2023
Обзор количественной оценки неопределенности в глубоком обучении: методы, приложения и проблемы2021
Обзор обучения с полуучителем2019
Утечка данных и кризис воспроизводимости в науке, основанной на машинном обучении2023
Аугментация текстовых данных для глубокого обучения2021
Искусственный интеллект: мощная парадигма для научных исследований2021
Глубокое обучение в биоинформатике2016
Оптимизированное сквозное сжатие изображений2016
К стремлению к обучению причинных представлений2021
Унифицирующий обзор глубоких и поверхностных методов обнаружения аномалий2021
Глубокое обучение для искусственного интеллекта2021
О неустойчивости глубокого обучения при реконструкции изображений и потенциальных издержках искусственного интеллекта2020
Куда идёт искусственный интеллект?2022
Обзор методов объяснения решений моделей типа «чёрный ящик»2018
Объяснимое, надежное и этичное машинное обучение в здравоохранении: обзор2022