Обучение с подкреплением: обзор
Reinforcement Learning: A Survey
1996-05-01
SCID: 54.1/gffwh7nk
Discuss with AI
марковская теория принятия решенийотложенное подкреплениекомпромисс между исследованием и использованиемскрытое состояниеобучение с подкреплением
Figures from the paper
Abstract (AI)
В статье представлен обзор области обучения с подкреплением с точки зрения компьютерных наук. Текст рассчитан на исследователей, знакомых с машинным обучением. Обобщены как исторические основы этой области, так и широкий спектр современных исследований. Обучение с подкреплением — это задача, с которой сталкивается агент, обучающийся поведению посредством взаимодействия методом проб и ошибок с динамической средой. Описанная здесь работа имеет сходство с исследованиями в психологии, однако существенно отличается от них деталями и использованием слова «подкрепление». В статье рассматриваются ключевые вопросы обучения с подкреплением, включая компромисс между исследованием и использованием, построение основ области с помощью теории марковских решений, обучение на основе отложенного подкрепления, создание эмпирических моделей для ускорения обучения, применение обобщения и иерархии, а также работу со скрытым состоянием. В заключение представлен обзор некоторых реализованных систем и оценка практической полезности современных методов обучения с подкреплением.
Key Findings
1
Анализ реализованных систем оценивает практическую полезность современных методов обучения с подкреплением.
2
Ключевые исследовательские проблемы включают построение эмпирических моделей для ускорения обучения, использование обобщения и иерархии, а также работу со скрытым состоянием.
3
Обучение с подкреплением рассматривается как обучение агента поведению посредством проб и ошибок во взаимодействии с динамической средой.
4
Основы области формализуются с помощью теории марковских решений при одновременном рассмотрении компромисса между исследованием и использованием, а также отложенного подкрепления.
5
Обучение с подкреплением исторически связано с психологией, однако существенно отличается от неё техническими деталями и употреблением термина «подкрепление».
Research Object
Обучение с подкреплением (агент, изучающий поведение методом проб и ошибок во взаимодействии с динамической средой)
Research Subject
обучение поведению методом проб и ошибок, включая компромисс между исследованием и использованием, отложенное подкрепление, обобщение, иерархию и обработку скрытых состояний
Publication Details
Publication Date
1996-05-01
Journal
Publisher
ISSN
Cited by
8968
Open access PDF
Access Type
Author Information
Download PDF
Subscribe to digest
Источники этой статьи в scid.ai2
Работы, цитирующие эту статью14
Обучение с подкреплением в робототехнике: обзор2013
Моделирование на основе искусственного интеллекта: методы, приложения и научно-исследовательские проблемы на пути к автоматизированным, интеллектуальным и умным системам2022
Власть народу: роль человека в интерактивном машинном обучении2014
К стремлению к обучению причинных представлений2021
Активное обучение в материаловедении с акцентом на адаптивную выборку с использованием неопределённостей для целенаправленного проектирования2019
Интерактивное машинное обучение для медицинской информатики: когда необходим человек в контуре обучения?2016
Наука о данных в области кибербезопасности: обзор с точки зрения машинного обучения2020
Носимый ультразвуковой визуализатор сердца2023
Машинное обучение для мобильных и беспроводных сетей 5G/B5G: потенциал, ограничения и перспективные направления2019
Эффективное ускорение вывода моделей глубокого обучения на периферийных устройствах с ограниченными ресурсами: обзор2022
Использование искусственного интеллекта и передовых технологий переработки пищевых продуктов для повышения безопасности, качества и продовольственной обеспеченности: всесторонний обзор2025
Исследование интеллектуальных агентов на основе больших языковых моделей: определения, методы и перспективы2026
RLHF расшифровано: критический анализ обучения с подкреплением на основе человеческой обратной связи для крупных языковых моделей2025
Агентный искусственный интеллект для интеллектуальных электрических сетей: всесторонний обзор автономных, безопасных и объяснимых систем управления2026