Прозрачность в отношении ИИ-агентов
Visibility into AI Agents
2024-06-03
SCID: 54.1/guqhbrpr
Discuss with AI
управление ИИ-агентамиИИ-агентыжурналирование активностиидентификаторы агентовмониторинг в реальном времени
Figures from the paper
Abstract (AI)
Расширение делегирования коммерческой, научной, государственной и личной деятельности ИИ-агентам — системам, способным преследовать сложные цели при ограниченном надзоре, — может усугубить существующие социальные риски и породить новые. Понимание этих рисков и их снижение требуют критической оценки существующих структур управления, их пересмотра и адаптации при необходимости, а также обеспечения подотчётности ключевых заинтересованных сторон. Информация о том, где, почему, как и кем используются определённые ИИ-агенты, которую мы называем прозрачностью, имеет решающее значение для достижения этих целей. В настоящей статье мы оцениваем три категории мер по повышению прозрачности в отношении ИИ-агентов: идентификаторы агентов, мониторинг в реальном времени и регистрацию действий. Для каждой категории мы описываем возможные варианты реализации, различающиеся степенью вмешательства и информативностью. Мы анализируем применимость этих мер в диапазоне контекстов развёртывания — от централизованных до децентрализованных, — учитывая различных участников цепочки поставок, включая поставщиков аппаратных и программных сервисов. Наконец, мы обсуждаем последствия предлагаемых мер для конфиденциальности и концентрации власти. Дальнейшее изучение этих мер и способов смягчения их негативных последствий может способствовать созданию основы для управления ИИ-агентами.
Key Findings
1
Каждая мера может реализовываться с разной степенью навязчивости и информативности, что создаёт различные компромиссы в сфере управления и конфиденциальности.
2
Повышение видимости может создавать риски для конфиденциальности и способствовать концентрации власти, поэтому необходимы дальнейшие исследования для смягчения этих негативных последствий.
3
Применимость мер видимости различается для централизованных и децентрализованных развёртываний и затрагивает множество участников цепочки поставок аппаратного и программного обеспечения.
4
В статье рассматриваются три меры повышения видимости ИИ-агентов: идентификаторы агентов, мониторинг в реальном времени и журналирование действий.
5
Видимость того, где, зачем, как и кем используются ИИ-агенты, критически важна для оценки управления, подотчётности и общественных рисков.
Research Object
AI-агенты (системы, способные добиваться сложных целей при ограниченном контроле)
Research Subject
Меры по повышению прозрачности деятельности ИИ-агентов, включая идентификаторы агентов, мониторинг в реальном времени и журналирование активности, а также их последствия для конфиденциальности и концентрации власти
Publication Details
Publication Date
2024-06-03
Journal
Publisher
ISSN
Cited by
298
Open access PDF
Access Type
Author Information
Download PDF
Subscribe to digest
Источники этой статьи в scid.ai9
Обзор автономных агентов на основе больших языковых моделей2024
Автоматизация и новые задачи: как технологии вытесняют и вновь вовлекают труд2019
Генеративные агенты: интерактивные симулякры человеческого поведения2023
Технический отчет о GPT-42023
Законы масштабирования нейронных языковых моделей2020
Автономные химические исследования с использованием больших языковых моделей2023
Расширение возможностей больших языковых моделей с помощью химических инструментов2024
Социотехнический вред алгоритмических систем: разработка таксономии для снижения вреда2023
Применение агентов на основе больших языковых моделей в подборе персонала: новая платформа для автоматизированного отбора резюме2024
Работы, цитирующие эту статью11
ИИ-агенты и агентный ИИ: концептуальная таксономия, применения и проблемы2025
ИИ-агенты и агентный ИИ: концептуальная таксономия, приложения и проблемы2025
Agentic AI: всесторонний обзор архитектур, приложений и направлений развития2025
AI-агенты и агентные системы: анализ нескольких экспертов2025
TRiSM для агентного искусственного интеллекта: обзор управления доверием, рисками и безопасностью в агентных мультиагентных системах на основе больших языковых моделей2026
AgentAI: Всеобъемлющее обзорное исследование автономных агентов в распределённом ИИ для Индустрии 4.02025
Агентные фреймворки искусственного интеллекта в МСПМ: систематический обзор литературы о взаимосвязанных агентах экосистемы2025
Агентный искусственный интеллект в здравоохранении: возможности, вызовы и перспективные направления2026
На пути к устойчивым агентным системам искусственного интеллекта: обзор архитектур и методологий2026
Индекс ИИ-агентов 2025 года: документирование технических характеристик и характеристик безопасности развернутых агентных систем искусственного интеллекта2026
Оркестрация автономности: шаблоны, протоколы и управление корпоративным агентным искусственным интеллектом2025