Ответственное управление агентным искусственным интеллектом: риски, безопасность и этические проблемы автономных систем

Responsible agentic artificial intelligence governance: Risk, safety, and ethical challenges in autonomous systems
BIRUPAKSHA BISWAS, Suhena Sarkar
2026-02-19

управление ИИбезопасность ИИадаптивное управлениеагентный искусственный интеллектавтономные ИИ-агенты
По мере развития систем искусственного интеллекта — от некоммуникативных и некогнитивных вспомогательных инструментов до автономных агентов, действующих независимо от намерений человека, принимающих решения и выполняющих задачи, — общество сталкивается с беспрецедентными вызовами, связанными с ответственностью за их создание и внедрение. Быстрая децентрализация агентных систем искусственного интеллекта в таких критически важных секторах, как здравоохранение, финансовые услуги, транспорт и оборона, опережает разработку адекватных стратегий управления, особенно в вопросах высоких рисков, контроля безопасности и этической ответственности. Эти системы автономны и способны демонстрировать новые эмерджентные формы поведения и осуществлять многошаговое рассуждение, что создает новые проблемы безопасности, которые недостаточно учитываются традиционными рамочными моделями управления искусственным интеллектом. В настоящем обзоре литературы, проведенном в соответствии с подходом PRISMA, систематически анализируются существующая литература, теории и новые тенденции в области ответственного регулирования агентного искусственного интеллекта. Анализ выявляет существенные трудности в создании эффективных механизмов надзора за автономными ИИ-агентами, включая проверку согласованности целей, отслеживание эмерджентных возможностей, предотвращение вредоносных инструментальных действий и обеспечение подотчетности в многоагентных системах. Существующие механизмы управления характеризуются фрагментацией между различными режимами регулирования и слабой координацией между техническими мерами безопасности и политическими мерами. Результаты указывают на настоятельную необходимость адаптивных моделей управления, способных реагировать на быстро меняющиеся возможности ИИ, объединять технические протоколы безопасности с этическими принципами и формировать механизмы международной координации.
1
Агентный ИИ создает риски безопасности, связанные с эмерджентным поведением, многошаговым рассуждением, рассогласованием целей, негативными инструментальными действиями и ответственностью в мультиагентных системах.
2
Эффективный надзор требует контроля соответствия целей, отслеживания эмерджентных возможностей, предотвращения вредоносного инструментального поведения и распределения ответственности в мультиагентных системах.
3
Существующие рамки управления ИИ недостаточно учитывают агентные системы: регулирование фрагментировано, а координация технических мер безопасности и политических действий остается слабой.
4
Обзор литературы выявляет проблемы управления, возникающие из-за автономных ИИ-агентов, которые независимо от намерений человека принимают решения и выполняют задачи.
5
Обзор указывает на необходимость адаптивного управления, объединяющего технические протоколы безопасности, этический надзор и международную координацию по мере быстрого развития возможностей агентного ИИ.

автономные агентные системы искусственного интеллекта

ответственное управление, охватывающее риски, безопасность, этическую подотчётность, надзор и возникающее поведение автономных ИИ-агентов

Publication Details
Publication Date
2026-02-19
Journal
Publisher
ISSN
Access Type
Author Information
Authors
BIRUPAKSHA BISWAS
Suhena Sarkar
Explore further
Open the scid.ai AI chat with a ready-made request: it will find papers on a similar topic and help build a literature review.
Find similar papers in the chat →
Make a presentation
100%