Ответственное управление агентным искусственным интеллектом: риски, безопасность и этические проблемы автономных систем
Responsible agentic artificial intelligence governance: Risk, safety, and ethical challenges in autonomous systems
2026-02-19
SCID: 54.1/8bt4tcfk
Discuss with AI
управление ИИбезопасность ИИадаптивное управлениеагентный искусственный интеллектавтономные ИИ-агенты
Figures from the paper
Abstract (AI)
По мере развития систем искусственного интеллекта — от некоммуникативных и некогнитивных вспомогательных инструментов до автономных агентов, действующих независимо от намерений человека, принимающих решения и выполняющих задачи, — общество сталкивается с беспрецедентными вызовами, связанными с ответственностью за их создание и внедрение. Быстрая децентрализация агентных систем искусственного интеллекта в таких критически важных секторах, как здравоохранение, финансовые услуги, транспорт и оборона, опережает разработку адекватных стратегий управления, особенно в вопросах высоких рисков, контроля безопасности и этической ответственности. Эти системы автономны и способны демонстрировать новые эмерджентные формы поведения и осуществлять многошаговое рассуждение, что создает новые проблемы безопасности, которые недостаточно учитываются традиционными рамочными моделями управления искусственным интеллектом. В настоящем обзоре литературы, проведенном в соответствии с подходом PRISMA, систематически анализируются существующая литература, теории и новые тенденции в области ответственного регулирования агентного искусственного интеллекта. Анализ выявляет существенные трудности в создании эффективных механизмов надзора за автономными ИИ-агентами, включая проверку согласованности целей, отслеживание эмерджентных возможностей, предотвращение вредоносных инструментальных действий и обеспечение подотчетности в многоагентных системах. Существующие механизмы управления характеризуются фрагментацией между различными режимами регулирования и слабой координацией между техническими мерами безопасности и политическими мерами. Результаты указывают на настоятельную необходимость адаптивных моделей управления, способных реагировать на быстро меняющиеся возможности ИИ, объединять технические протоколы безопасности с этическими принципами и формировать механизмы международной координации.
Key Findings
1
Агентный ИИ создает риски безопасности, связанные с эмерджентным поведением, многошаговым рассуждением, рассогласованием целей, негативными инструментальными действиями и ответственностью в мультиагентных системах.
2
Эффективный надзор требует контроля соответствия целей, отслеживания эмерджентных возможностей, предотвращения вредоносного инструментального поведения и распределения ответственности в мультиагентных системах.
3
Существующие рамки управления ИИ недостаточно учитывают агентные системы: регулирование фрагментировано, а координация технических мер безопасности и политических действий остается слабой.
4
Обзор литературы выявляет проблемы управления, возникающие из-за автономных ИИ-агентов, которые независимо от намерений человека принимают решения и выполняют задачи.
5
Обзор указывает на необходимость адаптивного управления, объединяющего технические протоколы безопасности, этический надзор и международную координацию по мере быстрого развития возможностей агентного ИИ.
Research Object
автономные агентные системы искусственного интеллекта
Research Subject
ответственное управление, охватывающее риски, безопасность, этическую подотчётность, надзор и возникающее поведение автономных ИИ-агентов
Publication Details
Publication Date
2026-02-19
Journal
Publisher
ISSN
Open access PDF
Access Type
Author Information
Download PDF
Subscribe to digest