Обучение с подкреплением в робототехнике: обзор

Обучение с подкреплением предоставляет робототехнике методологию и набор инструментов для разработки сложных и трудно проектируемых поведений. В то же время задачи робототехники служат источником вдохновения, имеют практическое значение и обеспечивают валидацию для развития методов обучения с подкреплением. Отношения между этими дисциплинами по своим перспективам можно сопоставить с отношением физики и математики. В этой статье мы стремимся укрепить связи между двумя исследовательскими сообществами, представив обзор работ по применению обучения с подкреплением для генерации поведения у роботов. Мы выделяем как ключевые проблемы обучения с подкреплением в робототехнике, так и заметные успехи. Обсуждается, как различные вклады помогли укротить сложность предметной области, и анализируется роль алгоритмов, представлений и априорных знаний в достижении этих успехов. В результате особое внимание в работе уделено выбору между модельными (model-based) и немодельными (model-free) подходами, а также между методами на основе функции ценности и методами поиска политики. На примере подробного анализа простой задачи мы демонстрируем, как подходы обучения с подкреплением могут быть применены с пользой, и в тексте постоянно отмечаем открытые вопросы и огромный потенциал для будущих исследований.