mixup: За пределами эмпирической минимизации риска
mixup: Beyond Empirical Risk Minimization
2017-10-25
SCID: 54.1/atxd5sm9
Discuss with AI
выпуклые комбинации примеров и метокmixupснижение запоминания повреждённых метокрегуляризация через линейное поведение между примерамиустойчивость к атакующим примерам (adversarial examples)
Figures from the paper
Abstract (AI)
Большие глубокие нейронные сети мощны, но демонстрируют нежелательное поведение, такое как запоминание и чувствительность к adversarial-примерам. В данной работе мы предлагаем mixup — простой принцип обучения для смягчения этих проблем. По сути, mixup обучает нейронную сеть на выпуклых комбинациях пар примеров и их меток. Таким образом mixup регуляризует нейронную сеть, заставляя её предпочитать простое линейное поведение между обучающими примерами. Наши эксперименты на наборах данных ImageNet-2012, CIFAR-10, CIFAR-100, Google Commands и UCI показывают, что mixup улучшает обобщающую способность современных архитектур нейронных сетей. Мы также обнаруживаем, что mixup снижает запоминание искажённых меток, повышает устойчивость к adversarial-примерам и стабилизирует обучение генеративно-состязательных сетей.
Key Findings
1
mixup улучшает обобщающую способность современных архитектур на ImageNet-2012, CIFAR-10, CIFAR-100, Google commands и наборах данных UCI.
2
mixup увеличивает устойчивость к адвераптивным примерам, делая модели менее чувствительными к адвераптивным искажениям.
3
mixup уменьшает запоминание повреждённых меток, снижая переобучение на шумных аннотациях.
4
mixup стабилизирует обучение генеративных состязательных сетей, улучшая динамику обучения.
5
mixup обучает нейронные сети на выпуклых комбинациях пар примеров и их меток, принуждая к простому линейному поведению между тренировочными точками.
Research Object
Глубокие нейронные сети, обучаемые с использованием принципа аугментации данных mixup
Research Subject
Воздействие обучения на выпуклые комбинации пар примеров (mixup) на обобщающую способность, запоминание искажённых меток, устойчивость к adversarial-атакам и стабильность обучения нейронных сетей
Publication Details
Publication Date
2017-10-25
Journal
Publisher
ISSN
Cited by
5659
Open access PDF
Access Type
Author Information
Download PDF
Subscribe to digest
Источники этой статьи в scid.ai6
Очень глубокие сверточные сети для масштабного распознавания изображений2014
Переосмысление архитектуры Inception для компьютерного зрения2016
Статистическая теория обучения1999
Агрегированные остаточные преобразования для глубоких нейронных сетей2017
Глубокие нейронные сети для акустического моделирования в распознавании речи: общее мнение четырёх исследовательских групп2012
Adam: метод стохастической оптимизации2021
Работы, цитирующие эту статью16
Swin Transformer: Иерархический визуальный трансформер с использова́нием сдвинутых окон2021
Pyramid Vision Transformer: универсальный бэкоун для плотного предсказания без свёрток2021
RandAugment: практическое автоматизированное расширение данных с сокращённым пространством поиска2020
Обзор обучения с полуучителем2019
Беги, не иди: в поисках более высокой FLOPS для более быстрых нейронных сетей2023
PVT v2: Улучшённые базовые модели с Pyramid Vision Transformer2022
TPH-YOLOv5: Улучшенный YOLOv5 с трансформерной головой предсказания для обнаружения объектов на снимках с дронов2021
Tokens-to-Token ViT: обучение визуальных трансформеров с нуля на ImageNet2021
CrossViT: мультишкальный визуальный трансформер с перекрёстным вниманием для классификации изображений2021
Автоматизированное машинное обучение2019
Vision Transformer с деформируемым вниманием2022
Transformer in Transformer2021
Эффективное глубокое обучение: обзор методов уменьшения размера, ускорения и повышения качества моделей глубокого обучения2023
Потенциал, проблемы и перспективные направления применения глубокого обучения в задачах прогнозирования и управления техническим состоянием2020
Метод многомасштабного слияния признаков, ориентированный на обнаружение объектов малого размера, с применением для обнаружения дефектов2022
Автоматическая обработка данных и конструирование признаков для приложений глубокого обучения и больших данных: обзор2024