Глубокое обучение с подкреплением: краткий обзор
Deep Reinforcement Learning: A Brief Survey
2017-11-01
SCID: 54.1/x57yw7uu
Discuss with AI
асинхронный advantage actor-criticdeep Q-network (DQN)глубокое подкрепляющее обучениеtrust region policy optimization (TRPO)визуальное подкрепляющее обучение
Figures from the paper
Abstract (AI)
Глубокое обучение с подкреплением (DRL) готово произвести революцию в области искусственного интеллекта (AI) и представляет собой шаг к созданию автономных систем с более глубоким пониманием визуального мира. В настоящее время глубокое обучение позволяет обучению с подкреплением (RL) масштабироваться до задач, которые ранее были неразрешимы, например до обучения игре в видеоигры напрямую по пикселям. Алгоритмы DRL также применяются в робототехнике, позволяя получать управляющие политики для роботов напрямую из данных с камер в реальном мире. В этом обзоре мы начинаем с введения в общую область RL, затем переходим к основным направлениям методов на основе оценки значения (value-based) и методов на основе политики (policy-based). Наш обзор охватывает ключевые алгоритмы глубокого RL, включая глубокую Q-сеть (DQN), оптимизацию в доверительной области политики (TRPO) и асинхронный метод актёр-критик с преимуществом (A3C). Параллельно мы выделяем уникальные преимущества глубоких нейронных сетей, уделяя внимание визуальному пониманию через RL. В заключение описываются несколько актуальных направлений исследований в этой области.
Key Findings
1
Алгоритмы DRL применяются в робототехнике, что позволяет обучать управляющие политики непосредственно по камерам в реальном мире.
2
Глубокие нейронные сети дают уникальные преимущества в визуальном понимании в сочетании с RL, поддерживая более высокий уровень восприятия для автономных систем.
3
Глубокое подкрепляющее обучение (DRL) позволяет масштабировать RL на ранее неразрешимые задачи, например обучение игре по пикселям.
4
Статья описывает несколько текущих областей исследований в глубоком подкрепляющем обучении как направления для будущей работы.
5
Обзор структурирован по основным направлениям DRL: методы на основе ценности и политики, рассматриваются ключевые алгоритмы DQN, TRPO и A3C.
Research Object
Глубокое обучение с подкреплением (Deep Reinforcement Learning, DRL) как область исследования и набор алгоритмов
Research Subject
Ключевые алгоритмы, методы и возможности DRL — включая методы на основе ценности и политики (например, DQN, TRPO, A3C), использование глубоких нейронных сетей для визуального понимания, масштабирование RL на входы высокой размерности и применения (например, игры и управление роботами)
Publication Details
Publication Date
2017-11-01
Journal
Publisher
ISSN
Cited by
4813
Open access PDF
Access Type
Author Information
Download PDF
Subscribe to digest
Источники этой статьи в scid.ai4
Работы, цитирующие эту статью20
Обзор глубокого обучения: концепции, архитектуры сверточных нейронных сетей, проблемы, применения и перспективные направления2021
Федеративное обучение в мобильных сетях периферийных вычислений: всесторонний обзор2020
Научное машинное обучение с использованием физически информированных нейронных сетей: современное состояние и дальнейшие перспективы2022
Обзор алгоритмов и архитектур глубинного обучения2019
Интеллектуальные периферийные вычисления: объединение периферийных вычислений и искусственного интеллекта2020
Методы моделирования глубокого обучения: современный прогресс, применения, преимущества и проблемы2023
Машинное обучение и искусственный интеллект в квантовой области: обзор последних достижений2018
Обзор многодоступных периферийных вычислений в сетях 5G и последующих поколениях: основы, интеграция технологий и современное состояние2020
Граничный искусственный интеллект для сетей 6G: концепция, ключевые технологии и приложения2021
Обзор алгоритмов с экономным использованием данных в эпоху больших данных2021
Обзор энергоэффективности сети радиодоступа 5G: массивные MIMO-системы, облегчённая конструкция несущей, режимы сна и машинное обучение2022
Всесторонний обзор глубокого обучения: архитектуры, последние достижения и применения2024
Обзор применения блокчейна и искусственного интеллекта в беспроводных сетях 6G2023
Большие языковые модели: всесторонний обзор их приложений, проблем, ограничений и перспектив развития2023
Обзор практического применения искусственного интеллекта для дистанционного зондирования в науках о Земле2023
RLHF расшифровано: критический анализ обучения с подкреплением на основе человеческой обратной связи для крупных языковых моделей2025
Планирование траектории и управление беспилотным летательным аппаратом (БПЛА) с использованием дополненной реальности (ДР): пример беспилотников для эксплуатации внутри помещений2023
Обучение с подкреплением в игровой индустрии: обзор, перспективы и проблемы2023
Искусственный интеллект и машинное обучение для плазмонного и поверхностно-усиленного сенсинга2026
Новое поколение искусственного интеллекта: обзор и перспективы технологий машинного обучения, применяемых в интеллектуальных энергетических и электроэнергетических системах2019