Обучение нескольких слоев признаков на маленьких изображениях
Learning Multiple Layers of Features from Tiny Images
2024-01-01
SCID: 54.1/sp8qt6nw
Discuss with AI
метки CIFAR-10 и CIFAR-100многоуровневое обучение признаковалгоритм параллелизации для распределённого обучениянабор мелких цветных изображенийобучение без учителя глубоких генеративных моделей
Figures from the paper
Abstract (AI)
Группы из MIT и NYU собрали датасет, содержащий миллионы маленьких цветных изображений из интернета. В принципе это отличный набор данных для неконтролируемого обучения глубоких генеративных моделей, однако предыдущим исследователям было трудно извлечь хороший набор фильтров из этих изображений. Мы показываем, как обучить многослойную генеративную модель, которая учится выделять значимые признаки, напоминающие те, что обнаруживаются в зрительной коре человека. С помощью нового алгоритма параллелизации для распределения работы между несколькими машинами в сети мы демонстрируем, что обучение такой модели можно выполнить за разумное время. Второй проблемный аспект датасета tiny images заключается в отсутствии надежных меток классов, что затрудняет его использование в экспериментах по распознаванию объектов. Мы создали два набора надежных меток. Набор CIFAR-10 содержит 6000 примеров для каждого из 10 классов, а CIFAR-100 — 600 примеров для каждого из 100 непересекающихся классов. С использованием этих меток мы показываем, что распознавание объектов существенно
Key Findings
1
Многослойная генеративная модель может быть обучена на миллионах цветных маленьких изображений и изучить значимые признаки, напоминающие признаки в зрительной коре человека.
2
Новый алгоритм параллелизации позволяет распределять обучение по нескольким сетевым машинам, делая время обучения приемлемым.
3
Предыдущие трудности с обучением хороших фильтров на маленьких изображениях могут быть преодолены с помощью предложенного подхода к обучению и конструкции модели.
4
Авторы создали два надежных размеченных набора из tiny images: CIFAR-10 (6000 примеров на каждый из 10 классов) и CIFAR-100 (600 примеров на каждый из 100 классов).
5
Созданные метки позволили провести значимые эксперименты по распознаванию объектов (обеспечивая улучшенные возможности оценки для задач распознавания).
Research Object
Миллионы маленьких цветных изображений из интернета (набор данных Tiny Images, включая размеченные наборы CIFAR-10 и CIFAR-100)
Research Subject
Обучение многослойной (глубокой) генеративной модели для извлечения значимых визуальных признаков из этих маленьких изображений и создание надежных наборов меток для оценки задачи распознавания объектов
Publication Details
Publication Date
2024-01-01
Journal
Publisher
ISSN
Cited by
23889
Open access PDF
Access Type
Author Information
Download PDF
Subscribe to digest
Источники этой статьи в scid.ai1
Работы, цитирующие эту статью20
Глубокое остаточное обучение для распознавания изображений2016
Классификация ImageNet с использованием глубоких сверточных нейронных сетей2017
Сети Squeeze-and-Excitation2018
Изображение стоит 16×16 слов: трансформеры для распознавания изображений в масштабе2020
Обучение представлений: обзор и новые перспективы2013
Агрегированные остаточные преобразования для глубоких нейронных сетей2017
Улучшение нейронных сетей путем предотвращения соадаптации детекторов признаков2012
Глубокое обучение с дифференциальной приватностью2016
Глубокие сверточные нейронные сети для автоматизированного обнаружения: архитектуры CNN, характеристики наборов данных и перенос обучения2016
Генеративные состязательные сети с методом наименьших квадратов2017
Глубокое обучение в анализе медицинских изображений2017
Обзор сверточных нейронных сетей: анализ, применения и перспективы2021
RandAugment: практическое автоматизированное расширение данных с сокращённым пространством поиска2020
Непрерывное обучение на протяжении всей жизни с использованием нейронных сетей: обзор2019
Федеративное обучение в мобильных сетях периферийных вычислений: всесторонний обзор2020
Глубокое обучение для универсального обнаружения объектов: обзор2019
О возможностях и рисках фундаментальных моделей2021
Обзор обучения с полуучителем2019
Ускорение t-SNE с использованием алгоритмов на основе деревьев2014
CrossViT: мультишкальный визуальный трансформер с перекрёстным вниманием для классификации изображений2021