Обзор заслуживающих доверия агентов на основе больших языковых моделей: угрозы и контрмеры
A Survey on Trustworthy LLM Agents: Threats and Countermeasures
2025-08-03
SCID: 54.1/knvs5kyv
Discuss with AI
угрозы для LLM-агентовфреймворк TrustAgentмультиагентные системытаксономия надежностидоверенные агенты на основе больших языковых моделей
Figures from the paper
Abstract (AI)
Стремительное развитие больших языковых моделей (LLM) привело к значительному расширению возможностей экосистем LLM благодаря агентам на основе LLM и мультиагентным системам (MAS). Это развитие обусловлено наделением LLM дополнительными модулями, такими как память, инструменты, окружения и даже другие агенты. Однако этот прогресс также породил более сложные проблемы, связанные с обеспечением надежности, которые не могли быть охвачены предыдущими исследованиями, сосредоточенными исключительно на LLM. В этом обзоре мы предлагаем фреймворк TrustAgent — комплексное исследование надежности агентов, характеризующееся модульной таксономией, многомерным содержанием и * Miao Yu и Fanci Meng внесли равный вклад в данную работу.
Key Findings
1
Добавление этих модулей порождает сложные проблемы надёжности и доверия, которые не охватываются исследованиями, посвящёнными только отдельным LLM.
2
LLM-агенты и мультиагентные системы расширяют возможности LLM за счёт интеграции памяти, инструментов, окружения и других агентов.
3
В обзоре предложена платформа TrustAgent для комплексного изучения надёжности LLM-агентов.
4
TrustAgent описывает надёжность агентов с помощью модульной таксономии и многомерной концептуализации.
Research Object
агенты на основе больших языковых моделей (LLM) и мультиагентные системы (MAS)
Research Subject
их надёжность, включая связанные с ней угрозы и меры противодействия
Publication Details
Publication Date
2025-08-03
Journal
Publisher
ISSN
Cited by
119
Open access PDF
Access Type
Author Information
Download PDF
Subscribe to digest
Источники этой статьи в scid.ai8
Обзор больших языковых моделей2026
Обзор методов оценки больших языковых моделей2024
Обзор автономных агентов на основе больших языковых моделей2024
Атаки с внедрением промптов на приложения, интегрированные с большими языковыми моделями2023
Не то, на что вы подписывались: компрометация реальных приложений, интегрированных с большими языковыми моделями, с помощью косвенного внедрения промптов2023
PoisonedRAG: атаки порчи знаний на генерацию с использованием извлечения для больших языковых моделей2024
InjecAgent: бенчмаркинг косвенных внедрений промптов в агентных системах на основе больших языковых моделей с интеграцией инструментов2024
Риски «AI-учёных»: приоритет защиты над автономией2025
Работы, цитирующие эту статью10
ИИ-агенты и агентный ИИ: концептуальная таксономия, применения и проблемы2025
ИИ-агенты и агентный ИИ: концептуальная таксономия, приложения и проблемы2025
TRiSM для агентного искусственного интеллекта: обзор управления доверием, рисками и безопасностью в агентных мультиагентных системах на основе больших языковых моделей2026
Обзор агентного искусственного интеллекта и кибербезопасности: проблемы, возможности и прототипы практических применений2026
Агентный искусственный интеллект в здравоохранении и медицине: семимерная таксономия для эмпирической оценки агентов на основе больших языковых моделей2026
На пути к заслуживающему доверия агентному искусственному интеллекту: всесторонний обзор безопасности, робастности, конфиденциальности и системной защиты2026
На пути к устойчивым агентным системам искусственного интеллекта: обзор архитектур и методологий2026
Надёжный агентный искусственный интеллект: режимы отказа, стратегии смягчения рисков и жизненный цикл автономных систем на основе больших языковых моделей2026
Ограничение решений, принимаемых большими языковыми моделями и агентами, для 6G AI-RAN2026
Система предоставления знаний для проектирования и строительства котлованов на основе LoRA и RAG2026