Gibson Env: Восприятие реального мира для воплощённых агентов

Разработка моделей визуального восприятия для активных агентов и сенсомоторного управления в физическом мире затруднена, поскольку существующие алгоритмы работают слишком медленно для эффективного обучения в реальном времени, а роботы хрупки и дороги. Это привело к возникновению обучения в симуляции и, как следствие, поставило вопрос о переносе полученных результатов в реальный мир. В этой статье мы исследуем разработку восприятия реального мира для активных агентов, предлагаем для этой цели среду Gibson и демонстрируем набор перцептивных задач, которым агенты обучаются в этой среде. Gibson основана на виртуализации реальных пространств, а не искусственно спроектированных, и в настоящее время включает более 1400 этажных пространств из 572 полностью представленных зданий. Основные характеристики Gibson: (I) соответствие реальному миру и отражение его семантической сложности; (II) наличие внутреннего механизма синтеза «Goggles», позволяющего применять обученные модели в реальном мире без необходимости адаптации домена; (III) воплощённость агентов и подчинение их ограничениям физики и пространства.