AgentLeak: Бенчмарк утечек конфиденциальных данных по внутренним каналам в мультиагентных системах на основе больших языковых моделей

AgentLeak: A Benchmark for Internal-Channel Privacy Leakage in Multi-Agent LLM Systems
Faouzi El Yagoubi, Godwin Badu-Marfo, Ranwa Al Mallah
2026-01-01

бенчмарк AgentLeakмежагентные сообщенияутечка конфиденциальности по внутренним каналаммультиагентные системы на основе больших языковых моделейобщая память
Мультиагентные системы на основе больших языковых моделей (LLM) создают риски для конфиденциальности, которые современные бенчмарки, анализирующие только выходные данные, не способны измерить. При координации агентов для выполнения задач чувствительные данные могут передаваться через сообщения между агентами, общую память и аргументы инструментов — каналы, которые обычно не проверяются при аудите только финальных выходных данных. Мы представляем AgentLeak — бенчмарк для оценки утечек конфиденциальных данных по внутренним каналам в мультиагентных системах на основе LLM. AgentLeak отслеживает семь коммуникационных каналов, имеющих значение для конфиденциальности, и предоставляет масштабное эмпирическое исследование, сфокусированное на финальных выходных данных, сообщениях между агентами и общей памяти. В 1 000 сценариев, охватывающих области здравоохранения, финансов, права и корпоративного управления, с использованием пяти промышленных LLM (GPT-4o, GPT-4o-mini, Claude 3.5 Sonnet, Mistral Large и Llama 3.3 70B) и 4 979 верифицированных трасс выполнения мы обнаружили, что мультиагентные конфигурации по сравнению с базовыми конфигурациями с одним агентом снижают утечки в финальных выходных данных (C1: 27,2% против 43,2% в режиме с одним агентом), но создают внутренние каналы, повышающие общую подверженность системы утечкам до 68,9% (в совокупности для C1, C2 и C5). Утечки в сообщениях между агентами (C2) составляют 68,8% по сравнению с 27,2% для финальных выходных данных (C1), то есть аудиты, анализирующие только выходные данные, пропускают 41,7% нарушений. Для всех пяти моделей и четырёх предметных областей закономерность C2 ≥ C1 выполняется стабильно. Эти результаты показывают, что в исследованной архитектуре «координатор—исполнитель» риск для конфиденциальности в мультиагентных системах в значительной степени определяется каналами архитектурной координации, а не только поведением, проявляющимся в финальных выходных данных: он возникает из-за внутренних каналов, остающихся невидимыми для стандартных средств защиты на уровне выходных данных.
1
В 1 000 сценариев, пяти промышленных LLM и 4 979 проверенных трассах многоагентные системы снизили утечки через финальные ответы до 27,2% по сравнению с 43,2% для одноагентных базовых систем.
2
AgentLeak представляет бенчмарк, оценивающий утечки конфиденциальной информации по семи внутренним каналам коммуникации в многоагентных системах на базе LLM.
3
Несмотря на снижение утечек через финальные ответы, совокупная подверженность системы достигла 68,9% при учёте финальных ответов, межагентных сообщений и общей памяти.
4
Межагентные сообщения демонстрировали утечки в 68,8% случаев против 27,2% для финальных ответов, поэтому проверки только финальных выводов пропускали 41,7% нарушений.
5
Соотношение, при котором утечки через межагентные сообщения не меньше утечек через финальные ответы, сохранялось для всех пяти моделей и четырёх исследованных областей, указывая на важную роль архитектуры координации в риске конфиденциальности.

многоагентные системы на основе больших языковых моделей (LLM)

утечки конфиденциальности по внутренним каналам через сообщения между агентами, общую память и аргументы инструментов

Publication Details
Publication Date
2026-01-01
Journal
Publisher
ISSN
Cited by
105
Access Type
Author Information
Authors
Faouzi El Yagoubi
Godwin Badu-Marfo
Ranwa Al Mallah
Explore further
Open the scid.ai AI chat with a ready-made request: it will find papers on a similar topic and help build a literature review.
Find similar papers in the chat →
Make a presentation
100%