NaVILA: Модель Зрение–Язык–Действие для навигации ногоподобного робота

В статье предлагается решение задачи Vision-and-Language Navigation для ногоподобных роботов, что не только обеспечивает гибкий способ управления человеком, но и позволяет роботу перемещаться по более сложным и загроможденным сценам. Перевод человеческих языковых инструкций в низкоуровневые действия суставов ног является нетривиальной задачей. Мы предлагаем NaVILA — двухуровневую архитектуру, объединяющую модель «Зрение–Язык–Действие» (VLA) с навыками локомоции. Вместо прямого предсказания низкоуровневых действий из VLA, NaVILA сначала генерирует среднеуровневые действия со пространственной информацией в виде языка (например, «движение вперед на 75 см»), которые служат входом для визуальной политики локомоции, обученной с помощью методов усиленного обучения, для выполнения. NaVILA существенно превосходит предыдущие подходы на существующих бенчмарках. Те же преимущества продемонстрированы в наших новых бенчмарках в IsaacLab, которые характеризуются более реалистичными сценами, низкоуровневым управлением и реальными роботехническими экспериментами. Дополнительные результаты доступны на https://navila-bot.github.io/