Практическая генерация архитектур нейронных сетей по блокам

Practical Block-Wise Neural Network Architecture Generation
Zhao Zhong, Junjie Yan, Wei Wu, Jing Shao, Cheng‐Lin Liu
2018-06-01

BlockQNNCIFAR-10обучение с подкреплением Q-learningпоблочная генерация сетейпоиск архитектуры нейронных сетей
Сверточные нейронные сети достигли выдающихся успехов в области компьютерного зрения. Однако большинство пригодных для использования архитектур сетей создаются вручную и обычно требуют специальных знаний и тщательного проектирования. В этой статье представлен конвейер генерации сетей по блокам BlockQNN, который автоматически строит высокопроизводительные сети с использованием парадигмы обучения с подкреплением Q-learning и стратегии исследования ε-жадного типа. Оптимальный блок сети формируется обучаемым агентом, последовательно выбирающим составляющие слои. Затем этот блок многократно объединяется для построения всей автоматически сгенерированной сети. Для ускорения процесса генерации также предлагаются распределенная асинхронная платформа и стратегия ранней остановки. Генерация по блокам имеет следующие преимущества: (1) она обеспечивает результаты, сопоставимые с результатами современных архитектур сетей, разработанных вручную, при классификации изображений; кроме того, лучшая сеть, сгенерированная BlockQNN, достигает уровня ошибки top-1 3,54% на CIFAR-10, превосходя все существующие автоматически генерируемые сети; (2) одновременно она существенно сокращает пространство поиска при проектировании сетей — для этого требуется всего 3 дня работы на 32 графических процессорах (GPU); (3) кроме того, она обладает высокой обобщающей способностью: сеть, построенная на CIFAR, также хорошо работает на более крупномасштабном наборе данных ImageNet.
1
Распределённая асинхронная framework-система и стратегия ранней остановки ускоряют процесс генерации нейронных архитектур.
2
BlockQNN достигает сопоставимой производительности с разработанными вручную современными сетями в задачах классификации изображений.
3
BlockQNN автоматически генерирует блоки свёрточных сетей с использованием обучения с подкреплением Q-learning и исследования epsilon-greedy, а затем объединяет найденный блок в полную архитектуру.
4
Лучшая сеть, сгенерированная BlockQNN, достигает ошибки top-1 3,54% на CIFAR-10 и превосходит существующие автоматически сгенерированные сети.
5
Блочный подход значительно сокращает пространство поиска: генерация занимает всего 3 дня на 32 GPU, а сети, обученные на CIFAR, хорошо обобщаются на ImageNet.

автоматически генерируемые архитектуры сверточных нейронных сетей для классификации изображений

эффективность, сокращение пространства поиска, скорость генерации и обобщаемость поблочной генерации архитектур нейронных сетей

Publication Details
Publication Date
2018-06-01
Journal
Publisher
ISSN
Access Type
Author Information
Authors
Zhao Zhong
Junjie Yan
Wei Wu
Jing Shao
Cheng‐Lin Liu
Explore further
Open the scid.ai AI chat with a ready-made request: it will find papers on a similar topic and help build a literature review.
Find similar papers in the chat →
Make a presentation
100%