На пути к заслуживающему доверия агентному искусственному интеллекту: всесторонний обзор безопасности, робастности, конфиденциальности и системной защиты

Агентные системы искусственного интеллекта — большие языковые модели (LLM), дополненные планированием, использованием инструментов, памятью и взаимодействиями с длинным горизонтом — способны автономно выполнять сложные задачи, однако их многошаговые траектории порождают новые режимы отказа, ставящие под сомнение надежность таких систем. В этом обзоре рассматривается заслуживающий доверия агентный искусственный интеллект с акцентом на два ключевых измерения, критически важных для развертывания в условиях высокого риска: безопасность и робастность, а также конфиденциальность и системная защита. Для каждого измерения уточняются основные понятия, выявляются этапы рабочего процесса агента, на которых возникают риски, и обобщаются стратегии их поэтапного снижения. Другие аспекты надежности — согласование с ценностями, прозрачность, справедливость и подотчетность — рассматриваются в качестве релевантного контекста, а не как отдельные параллельные разделы. Для обеспечения согласованного сравнения и принятия решений о развертывании результаты оценки сведены в унифицированный блок метрик и тестовых наборов с акцентом как на сигналах результата, так и на сигналах процесса, включая нарушения ограничений, полноту трасс и показатели успешности атак, а также с рекомендациями по сопоставлению сценариев и метрик для принятия решений о выпуске. В заключение обозначены нерешенные проблемы, включая саморазвивающихся агентов, мониторинг и верификацию во время выполнения, персонализацию с сохранением конфиденциальности и компромисс между доверием и полезностью; кроме того, представлен тематический анализ реальных сбоев безопасности в агентных системах с открытым исходным кодом (OpenClaw/Moltbook). Цель работы — предоставить практический справочный материал для исследователей и специалистов, создающих заслуживающие доверия агентные системы для сред с высокими рисками.