Управление автомобилем с помощью больших языковых моделей: объединение векторной модальности на уровне объектов для объяснимого автономного вождения

Большие языковые модели (LLM) продемонстрировали перспективность в сфере автономного вождения, особенно с точки зрения обобщения и интерпретируемости. Мы представляем уникальную мультимодальную архитектуру LLM на уровне объектов, объединяющую векторизованные числовые модальности с предварительно обученной LLM для улучшения понимания контекста в дорожных ситуациях. Мы также представляем новый набор данных, содержащий 160 тыс. пар «вопрос–ответ» (QA), полученных из 10 тыс. сценариев вождения и дополненных высококачественными командами управления, собранными с помощью агента обучения с подкреплением, а также парами «вопрос–ответ», сгенерированными учительской LLM (GPT-3.5). Разработана специальная стратегия предварительного обучения для согласования числовых векторных модальностей со статическими представлениями LLM с использованием языковых данных для описания векторов. Кроме того, мы вводим метрику оценки для Driving QA и демонстрируем способность нашего LLM-водителя интерпретировать дорожные ситуации, отвечать на вопросы и принимать решения. Полученные результаты подчеркивают потенциал генерации действий вождения на основе LLM по сравнению с традиционным поведенческим клонированием. Мы предоставляем наш бенчмарк, наборы данных и модель для дальнейшего изучения.