Hyperband: новый подход к оптимизации гиперпараметров на основе многоруких бандитов

Производительность алгоритмов машинного обучения в значительной степени зависит от выбора удачного набора гиперпараметров. Хотя в современных подходах для адаптивного выбора конфигураций используется байесовская оптимизация, мы сосредоточиваемся на ускорении случайного поиска за счет адаптивного распределения ресурсов и досрочной остановки. Мы формулируем задачу оптимизации гиперпараметров как задачу нестохастического бандита с бесконечным числом рук и чистой разведкой, в которой заранее определенный ресурс, такой как число итераций, выборки данных или признаки, распределяется между случайно выбранными конфигурациями. Для этой постановки мы предлагаем новый алгоритм Hyperband и анализируем его теоретические свойства, устанавливая ряд желательных гарантий. Кроме того, мы сравниваем Hyperband с популярными методами байесовской оптимизации на наборе задач оптимизации гиперпараметров. Мы показываем, что Hyperband может обеспечивать ускорение более чем на порядок по сравнению с рассматриваемым набором конкурирующих методов в различных задачах глубокого обучения и обучения на основе ядер.