TRiSM для агентного искусственного интеллекта: обзор управления доверием, рисками и безопасностью в агентных мультиагентных системах на основе больших языковых моделей

Агентные системы искусственного интеллекта, построенные на основе больших языковых моделей (LLM) и развернутые в мультиагентных конфигурациях, переопределяют подходы к интеллекту, автономности, сотрудничеству и принятию решений в корпоративной и общественной сферах. В настоящем обзоре представлен структурированный анализ управления доверием, рисками и безопасностью (TRiSM) применительно к агентным мультиагентным системам на основе больших языковых моделей (AMAS). Сначала рассматриваются концептуальные основы агентного искусственного интеллекта и выделяются его архитектурные отличия от традиционных ИИ-агентов. Затем для агентного искусственного интеллекта адаптируется и расширяется фреймворк AI TRiSM, организованный вокруг ключевых компонентов: объяснимости, ModelOps, безопасности, конфиденциальности и управления жизненным циклом; каждый из них рассматривается с учетом специфики AMAS. Предлагается таксономия рисков, охватывающая уникальные угрозы и уязвимости агентного искусственного интеллекта — от сбоев координации до состязательных манипуляций посредством промптов. Для практической количественной оценки координации и использования инструментов предлагаются две метрики: показатель синергии компонентов (CSS), отражающий взаимное усиление возможностей агентов, и эффективность использования инструментов (TUE), оценивающая корректность и эффективность вызова инструментов. Кроме того, обсуждаются стратегии повышения объяснимости агентного искусственного интеллекта, а также подходы к усилению безопасности и защите конфиденциальности посредством шифрования, состязательной устойчивости и соблюдения нормативных требований. Обзор завершается исследовательской дорожной картой ответственной разработки и внедрения агентного искусственного интеллекта с выделением ключевых направлений согласования развивающихся систем с принципами TRiSM, обеспечивающими безопасность, прозрачность и подотчетность их функционирования.