Практическая генерация архитектур нейронных сетей по блокам
Practical Block-Wise Neural Network Architecture Generation
2018-06-01
SCID: 54.1/w4xf7qz7
Discuss with AI
BlockQNNCIFAR-10обучение с подкреплением Q-learningпоблочная генерация сетейпоиск архитектуры нейронных сетей
Figures from the paper
Abstract (AI)
Сверточные нейронные сети достигли выдающихся успехов в области компьютерного зрения. Однако большинство пригодных для использования архитектур сетей создаются вручную и обычно требуют специальных знаний и тщательного проектирования. В этой статье представлен конвейер генерации сетей по блокам BlockQNN, который автоматически строит высокопроизводительные сети с использованием парадигмы обучения с подкреплением Q-learning и стратегии исследования ε-жадного типа. Оптимальный блок сети формируется обучаемым агентом, последовательно выбирающим составляющие слои. Затем этот блок многократно объединяется для построения всей автоматически сгенерированной сети. Для ускорения процесса генерации также предлагаются распределенная асинхронная платформа и стратегия ранней остановки. Генерация по блокам имеет следующие преимущества: (1) она обеспечивает результаты, сопоставимые с результатами современных архитектур сетей, разработанных вручную, при классификации изображений; кроме того, лучшая сеть, сгенерированная BlockQNN, достигает уровня ошибки top-1 3,54% на CIFAR-10, превосходя все существующие автоматически генерируемые сети; (2) одновременно она существенно сокращает пространство поиска при проектировании сетей — для этого требуется всего 3 дня работы на 32 графических процессорах (GPU); (3) кроме того, она обладает высокой обобщающей способностью: сеть, построенная на CIFAR, также хорошо работает на более крупномасштабном наборе данных ImageNet.
Key Findings
1
Распределённая асинхронная framework-система и стратегия ранней остановки ускоряют процесс генерации нейронных архитектур.
2
BlockQNN достигает сопоставимой производительности с разработанными вручную современными сетями в задачах классификации изображений.
3
BlockQNN автоматически генерирует блоки свёрточных сетей с использованием обучения с подкреплением Q-learning и исследования epsilon-greedy, а затем объединяет найденный блок в полную архитектуру.
4
Лучшая сеть, сгенерированная BlockQNN, достигает ошибки top-1 3,54% на CIFAR-10 и превосходит существующие автоматически сгенерированные сети.
5
Блочный подход значительно сокращает пространство поиска: генерация занимает всего 3 дня на 32 GPU, а сети, обученные на CIFAR, хорошо обобщаются на ImageNet.
Research Object
автоматически генерируемые архитектуры сверточных нейронных сетей для классификации изображений
Research Subject
эффективность, сокращение пространства поиска, скорость генерации и обобщаемость поблочной генерации архитектур нейронных сетей
Publication Details
Publication Date
2018-06-01
Journal
Publisher
ISSN
Open access PDF
Access Type
Author Information
Download PDF
Subscribe to digest