Глубокое обучение с подкреплением: краткий обзор

Глубокое обучение с подкреплением (DRL) готово произвести революцию в области искусственного интеллекта (AI) и представляет собой шаг к созданию автономных систем с более глубоким пониманием визуального мира. В настоящее время глубокое обучение позволяет обучению с подкреплением (RL) масштабироваться до задач, которые ранее были неразрешимы, например до обучения игре в видеоигры напрямую по пикселям. Алгоритмы DRL также применяются в робототехнике, позволяя получать управляющие политики для роботов напрямую из данных с камер в реальном мире. В этом обзоре мы начинаем с введения в общую область RL, затем переходим к основным направлениям методов на основе оценки значения (value-based) и методов на основе политики (policy-based). Наш обзор охватывает ключевые алгоритмы глубокого RL, включая глубокую Q-сеть (DQN), оптимизацию в доверительной области политики (TRPO) и асинхронный метод актёр-критик с преимуществом (A3C). Параллельно мы выделяем уникальные преимущества глубоких нейронных сетей, уделяя внимание визуальному пониманию через RL. В заключение описываются несколько актуальных направлений исследований в этой области.