Обучение с подкреплением: обзор

В статье представлен обзор области обучения с подкреплением с точки зрения компьютерных наук. Текст рассчитан на исследователей, знакомых с машинным обучением. Обобщены как исторические основы этой области, так и широкий спектр современных исследований. Обучение с подкреплением — это задача, с которой сталкивается агент, обучающийся поведению посредством взаимодействия методом проб и ошибок с динамической средой. Описанная здесь работа имеет сходство с исследованиями в психологии, однако существенно отличается от них деталями и использованием слова «подкрепление». В статье рассматриваются ключевые вопросы обучения с подкреплением, включая компромисс между исследованием и использованием, построение основ области с помощью теории марковских решений, обучение на основе отложенного подкрепления, создание эмпирических моделей для ускорения обучения, применение обобщения и иерархии, а также работу со скрытым состоянием. В заключение представлен обзор некоторых реализованных систем и оценка практической полезности современных методов обучения с подкреплением.