TAMAS: сравнительный анализ рисков состязательных атак в многоагентных системах на основе больших языковых моделей
TAMAS: Benchmarking Adversarial Risks in Multi-Agent LLM Systems
2026-01-01
SCID: 54.1/te7uwyj6
Discuss with AI
оценка эффективной робастностибенчмарк TAMASадверсариальные атакиконфигурации взаимодействия агентовмультиагентные системы на основе больших языковых моделей
Figures from the paper
Abstract (AI)
Большие языковые модели (LLM) продемонстрировали широкие возможности в качестве автономных агентов благодаря использованию инструментов, планированию и способности принимать решения, что привело к их широкому применению в различных задачах. По мере усложнения задач многоагентные системы на основе LLM все чаще используются для совместного решения проблем. Однако безопасность и защищенность таких систем остаются в значительной степени недостаточно изученными. Существующие тестовые наборы и наборы данных преимущественно ориентированы на одноагентные сценарии и не учитывают уникальные уязвимости, обусловленные динамикой и координацией взаимодействия множества агентов. Для устранения этого пробела мы представляем Threats and Attacks in Multi-Agent Systems (TAMAS) — тестовый набор, предназначенный для оценки устойчивости и безопасности многоагентных систем на основе LLM. TAMAS включает пять различных сценариев, содержащих 300 состязательных примеров, охватывающих шесть типов атак и 211 инструментов, а также 100 безвредных задач. Мы оцениваем производительность систем на базе десяти базовых LLM и трех конфигураций взаимодействия агентов из фреймворков AutoGen и CrewAI, выявляя критические проблемы и типичные режимы отказа в современных многоагентных развертываниях. Кроме того, мы вводим показатель эффективной устойчивости (Effective Robustness Score, ERS) для оценки компромисса между безопасностью и эффективностью выполнения задач в этих фреймворках. Результаты показывают, что многоагентные системы крайне уязвимы к состязательным атакам, что подчеркивает острую необходимость в более надежных механизмах защиты. TAMAS создает основу для систематического изучения и повышения безопасности многоагентных систем на основе LLM. Код и набор данных доступны по адресу: https://github.com/microsoft/TAMAS.}】【。સiyanas♀♀♀♀ 天天中彩票不能ETwitter 代? 人人中彩票? 手机天天中彩票的天天中彩票? no.}Xitsonga? no.}+天天中彩票? no.}Not valid? Ensure JSON only. We have.} мухбир.} sad.} Need maybe title translation
Key Findings
1
Эксперименты показывают, что современные мультиагентные системы на основе LLM крайне уязвимы к состязательным атакам, что подчёркивает необходимость более сильных механизмов защиты.
2
TAMAS оценивает десять базовых LLM и три конфигурации взаимодействия агентов из фреймворков AutoGen и CrewAI, выявляя критические уязвимости и режимы отказа.
3
TAMAS представляет бенчмарк для оценки устойчивости к атакам и безопасности мультиагентных систем на основе LLM, восполняя пробел существующих преимущественно одноагентных оценок.
4
Бенчмарк включает пять сценариев, 300 состязательных примеров шести типов атак и 211 инструментов, а также 100 безвредных задач.
5
Предложенный показатель Effective Robustness Score измеряет компромисс между безопасностью и эффективностью выполнения задач мультиагентных систем.
Research Object
мультиагентные системы на основе больших языковых моделей (LLM)
Research Subject
устойчивость и безопасность при противодействии состязательным атакам, включая уязвимости систем, режимы отказа и компромисс между безопасностью и эффективностью выполнения задач
Publication Details
Publication Date
2026-01-01
Journal
Publisher
ISSN
Cited by
43
Open access PDF
Access Type
Author Information
Download PDF
Subscribe to digest
Источники этой статьи в scid.ai4
Технический отчет о GPT-42023
Атаки с внедрением промптов на приложения, интегрированные с большими языковыми моделями2023
Не то, на что вы подписывались: компрометация реальных приложений, интегрированных с большими языковыми моделями, с помощью косвенного внедрения промптов2023
InjecAgent: бенчмаркинг косвенных внедрений промптов в агентных системах на основе больших языковых моделей с интеграцией инструментов2024