Большие языковые модели и ИИ-агенты для автономных систем: обзор приложений, наборов данных и проблем безопасности
LLM and AI Agents for Autonomous Systems: A Survey of Applications, Datasets, and Security Challenges
2026-01-01
SCID: 54.1/bf4h6zsf
Discuss with AI
ИИ-агентыАтакующая инъекция подсказокАвтономное вождениеБольшие языковые модели (LLM)Роевая автономия БПЛА
Figures from the paper
Abstract (AI)
Быстрая интеграция больших языковых моделей (LLM) в автономные системы знаменует собой значительный переход от модульных подходов, основанных на правилах, к интеллекту, управляемому рассуждением, агентному и мультимодальному. Рассуждение LLM обеспечивает адаптивное принятие решений, планирование с учетом контекста и взаимодействие, согласованное с намерениями человека, тогда как ИИ-агенты расширяют эти возможности до структурированных конвейеров автономности, координирующих восприятие, рассуждение и управление. Эти достижения особенно важны в критически значимых с точки зрения безопасности областях, таких как автономное вождение (AD) и беспилотные летательные аппараты (UAV). В настоящем обзоре представлен всесторонний анализ рассуждения LLM и ИИ-агентов применительно к генерации сценариев, принятию решений, мультимодальному восприятию, кооперативному взаимодействию V2X и автономности роев UAV. Рассмотрена роль платформ моделирования и наборов данных, включая CARLA, Apollo ADS, AirSim, nuScenes, DriveLM и новые синтетические среды, в обеспечении воспроизводимой оценки и бенчмаркинга. Кроме того, проанализированы актуальные проблемы безопасности и робастности, включая инъекцию вредоносных промптов, отравление данных, мультимодальные возмущения, утечки конфиденциальной информации и уязвимости в кооперативной коммуникации агентов. Наконец, предложены перспективные направления исследований, включая конвейеры, устойчивые к атакам, гибридное символьно-LLM-планирование, безопасное мультимодальное слияние данных, согласование с намерениями человека с сохранением конфиденциальности, распределенные механизмы доверия для роевой автономности и оптимизированное развертывание Drone-LLM на борту, на периферийных устройствах и в облачных средах. Объединяя приложения, наборы данных, бенчмарки, методы рассуждения, агентов и вопросы безопасности, данный обзор формирует дорожную карту разработки робастных, заслуживающих доверия и безопасных автономных систем на основе LLM.
Key Findings
1
Рассуждение LLM обеспечивает адаптивное принятие решений, контекстно-зависимое планирование и взаимодействие, согласованное с человеком, тогда как ИИ-агенты координируют восприятие, рассуждение и управление.
2
LLM переводят автономные системы от модульных решений на основе правил к интеллекту, основанному на рассуждении, агентах и мультимодальности.
3
К основным угрозам безопасности и робастности относятся инъекции промптов, отравление данных, мультимодальные возмущения, утечки конфиденциальности и уязвимости кооперативного обмена между агентами.
4
Платформы моделирования и наборы данных, включая CARLA, Apollo ADS, AirSim, nuScenes и DriveLM, обеспечивают воспроизводимую оценку и бенчмаркинг автономных систем на основе LLM.
5
Обзор охватывает генерацию сценариев, принятие решений, мультимодальное восприятие, кооперативное взаимодействие V2X и автономность роев БПЛА, особенно для автономного вождения и БПЛА.
6
Обзор рекомендует разрабатывать устойчивые конвейеры, гибридное символьное планирование с LLM, защищённое мультимодальное объединение, сохранение конфиденциальности при согласовании с человеком, распределённое доверие в роях и оптимизированное развертывание на борту, периферии и в облаке.
Research Object
автономные системы на базе LLM, в частности системы автономного вождения и беспилотных летательных аппаратов
Research Subject
применение, возможности рассуждения и агентного управления, ресурсы для оценки, а также проблемы безопасности и устойчивости при интеграции LLM и AI-агентов в автономные системы
Publication Details
Publication Date
2026-01-01
Journal
Publisher
ISSN
Open access PDF
Access Type
Author Information
Download PDF
Subscribe to digest