Среда обучения Arcade: платформа для оценки обобщённых агентов

В этой статье мы представляем среду обучения Arcade (Arcade Learning Environment, ALE) — одновременно проблемную задачу, платформу и методологию для оценки развития универсальных технологий искусственного интеллекта, независимых от предметной области. ALE предоставляет интерфейс к сотням игровых сред Atari 2600, каждая из которых отличается от других, интересна и разработана как испытание для игроков-людей. ALE ставит значимые исследовательские задачи в области обучения с подкреплением, обучения моделей, планирования на основе моделей, обучения по подражанию, трансферного обучения и внутренней мотивации. Наиболее важно, что она предоставляет строгую испытательную среду для оценки и сравнения подходов к этим задачам. Мы демонстрируем потенциал ALE, разрабатывая и тестируя сравнительные показатели независимых от предметной области агентов, созданных с использованием хорошо зарекомендовавших себя методов искусственного интеллекта для обучения с подкреплением и планирования. В рамках этой работы мы также предлагаем методологию оценки, ставшую возможной благодаря ALE, и приводим эмпирические результаты более чем для 55 различных игр. Всё программное обеспечение, включая эталонных агентов, находится в открытом доступе.