Прозрачность в отношении ИИ-агентов

Visibility into AI Agents
Emma Bluemke, David Krueger, Markus Anderljung, Noam Kolt, Alan Chan, Nitarshan Rajkumar, Carson Ezell, M. R. Kaufmann, Kevin Wei, Lewis Hammond, Herbie Bradley, Lennart Heim, Max Kaufmann
2024-06-03

управление ИИ-агентамиИИ-агентыжурналирование активностиидентификаторы агентовмониторинг в реальном времени
Расширение делегирования коммерческой, научной, государственной и личной деятельности ИИ-агентам — системам, способным преследовать сложные цели при ограниченном надзоре, — может усугубить существующие социальные риски и породить новые. Понимание этих рисков и их снижение требуют критической оценки существующих структур управления, их пересмотра и адаптации при необходимости, а также обеспечения подотчётности ключевых заинтересованных сторон. Информация о том, где, почему, как и кем используются определённые ИИ-агенты, которую мы называем прозрачностью, имеет решающее значение для достижения этих целей. В настоящей статье мы оцениваем три категории мер по повышению прозрачности в отношении ИИ-агентов: идентификаторы агентов, мониторинг в реальном времени и регистрацию действий. Для каждой категории мы описываем возможные варианты реализации, различающиеся степенью вмешательства и информативностью. Мы анализируем применимость этих мер в диапазоне контекстов развёртывания — от централизованных до децентрализованных, — учитывая различных участников цепочки поставок, включая поставщиков аппаратных и программных сервисов. Наконец, мы обсуждаем последствия предлагаемых мер для конфиденциальности и концентрации власти. Дальнейшее изучение этих мер и способов смягчения их негативных последствий может способствовать созданию основы для управления ИИ-агентами.
1
Каждая мера может реализовываться с разной степенью навязчивости и информативности, что создаёт различные компромиссы в сфере управления и конфиденциальности.
2
Повышение видимости может создавать риски для конфиденциальности и способствовать концентрации власти, поэтому необходимы дальнейшие исследования для смягчения этих негативных последствий.
3
Применимость мер видимости различается для централизованных и децентрализованных развёртываний и затрагивает множество участников цепочки поставок аппаратного и программного обеспечения.
4
В статье рассматриваются три меры повышения видимости ИИ-агентов: идентификаторы агентов, мониторинг в реальном времени и журналирование действий.
5
Видимость того, где, зачем, как и кем используются ИИ-агенты, критически важна для оценки управления, подотчётности и общественных рисков.

AI-агенты (системы, способные добиваться сложных целей при ограниченном контроле)

Меры по повышению прозрачности деятельности ИИ-агентов, включая идентификаторы агентов, мониторинг в реальном времени и журналирование активности, а также их последствия для конфиденциальности и концентрации власти

Publication Details
Publication Date
2024-06-03
Journal
Publisher
ISSN
Cited by
298
Access Type
Author Information
Authors
Emma Bluemke
David Krueger
Markus Anderljung
Noam Kolt
Alan Chan
Nitarshan Rajkumar
Carson Ezell
M. R. Kaufmann
Kevin Wei
Lewis Hammond
Herbie Bradley
Lennart Heim
Max Kaufmann
Explore further
Open the scid.ai AI chat with a ready-made request: it will find papers on a similar topic and help build a literature review.
Find similar papers in the chat →
Make a presentation
100%