RandAugment: практическое автоматизированное расширение данных с сокращённым пространством поиска
Randaugment: Practical automated data augmentation with a reduced search space
2020-06-01
SCID: 54.1/tadm24dd
Discuss with AI
RandAugmentавтоматическое расширение данныхклассификация изображенийобнаружение объектовсокращённое пространство поиска
Figures from the paper
Abstract (AI)
Недавние исследования стратегий автоматизированного расширения данных позволили достичь передовых результатов в классификации изображений и обнаружении объектов. Препятствием для широкомасштабного применения этих методов является необходимость отдельного и ресурсоёмкого этапа поиска. Распространённым способом снизить затраты на этот этап было использование меньшей прокси-задачи. Однако оставалось неясным, являются ли оптимизированные гиперпараметры, найденные для прокси-задачи, оптимальными также и для фактической задачи. В этой работе мы переосмысливаем процесс разработки стратегий автоматизированного расширения данных. Мы обнаружили, что, в то время как предыдущие исследования требовали независимого поиска величины и вероятности применения каждой операции, достаточно искать только одну величину искажения, которая совместно управляет всеми операциями. Поэтому мы предлагаем упрощённое пространство поиска, значительно снижающее вычислительные затраты на автоматизированное расширение данных и позволяющее отказаться от отдельной прокси-задачи. Несмотря на эти упрощения, наш метод демонстрирует результаты, не уступающие или превосходящие результаты предыдущих стратегий автоматизированного расширения данных на наборах данных CIFAR-10/100, SVHN, ImageNet и COCO. С EfficientNet-B7 мы достигаем точности 85,0% на ImageNet, что на 1,0% выше базового расширения данных и на 0,6% выше результата AutoAugment. С EfficientNet-B8 мы достигаем точности 85,4% на ImageNet, сопоставимой с ранее опубликованным результатом, полученным с использованием 3,5 млрд дополнительных изображений. В задаче обнаружения объектов применение того же метода, что и для классификации, обеспечивает улучшение на 1,0–1,3% по сравнению с базовым расширением данных. Код будет доступен онлайн.
Key Findings
1
RandAugment достигает не худших или лучших результатов по сравнению с предыдущими стратегиями автоматического усиления на CIFAR-10/100, SVHN, ImageNet и COCO.
2
RandAugment сокращает поиск параметров автоматического усиления данных до одной величины искажения, совместно управляющей всеми операциями, устраняя независимый поиск величин и вероятностей.
3
Упрощённое пространство поиска значительно снижает вычислительные затраты и устраняет необходимость в отдельной прокси-задаче.
4
С EfficientNet-B7 RandAugment достигает точности 85,0% на ImageNet, превосходя базовое усиление на 1,0 процентного пункта и AutoAugment на 0,6 пункта.
5
С EfficientNet-B8 RandAugment достигает 85,4% на ImageNet, соответствуя результату с использованием 3,5 млрд дополнительных изображений; в обнаружении объектов улучшение над базовым усилением составляет 1,0–1,3 процентного пункта.
Research Object
автоматизированные стратегии аугментации изображений для классификации изображений и обнаружения объектов
Research Subject
эффективность и вычислительная эффективность сокращённого пространства поиска, использующего единую совместную величину искажения вместо независимого поиска величин и вероятностей операций
Publication Details
Publication Date
2020-06-01
Journal
Publisher
ISSN
Cited by
5030
Open access PDF
Access Type
Author Information
Download PDF
Subscribe to digest
Источники этой статьи в scid.ai8
Глубокое остаточное обучение для распознавания изображений2016
Классификация ImageNet с использованием глубоких сверточных нейронных сетей2017
ImageNet: крупномасштабная иерархическая база изображений2009
Переосмысление архитектуры Inception для компьютерного зрения2016
Обучение нескольких слоев признаков на маленьких изображениях2024
Интригующие свойства нейронных сетей2013
Глубокие нейронные сети для акустического моделирования в распознавании речи: общее мнение четырёх исследовательских групп2012
mixup: За пределами эмпирической минимизации риска2017
Работы, цитирующие эту статью13
Swin Transformer: Иерархический визуальный трансформер с использова́нием сдвинутых окон2021
Swin Transformer V2: увеличение ёмкости и разрешения2022
Беги, не иди: в поисках более высокой FLOPS для более быстрых нейронных сетей2023
Video Swin Transformer2022
CrossViT: мультишкальный визуальный трансформер с перекрёстным вниманием для классификации изображений2021
Аугментация текстовых данных для глубокого обучения2021
CSWin Transformer: универсальный визуальный трансформер с перекрёстными окнами2022
Vision Transformer с деформируемым вниманием2022
Эффективное глубокое обучение: обзор методов уменьшения размера, ускорения и повышения качества моделей глубокого обучения2023
Обзор алгоритмов с экономным использованием данных в эпоху больших данных2021
Трансформерная нейронная сеть для классификации сорных и сельскохозяйственных растений на изображениях высокого разрешения, полученных с БПЛА2022
Автоматическая обработка данных и конструирование признаков для приложений глубокого обучения и больших данных: обзор2024
Графовые нейронные сети для оценки давления в системах водоснабжения2024