AI-агенты под угрозой: обзор ключевых проблем безопасности и перспективных направлений

Агент в области искусственного интеллекта (AI) — это программная сущность, которая автономно выполняет задачи или принимает решения на основе заранее определённых целей и входных данных. AI-агенты, способные воспринимать пользовательские вводы, осуществлять рассуждения и планирование задач, а также выполнять действия, продемонстрировали заметный прогресс в развитии алгоритмов и повышении эффективности выполнения задач. Тем не менее проблемы безопасности, которые они создают, остаются недостаточно исследованными и нерешёнными. В данном обзоре рассматриваются возникающие угрозы безопасности для AI-агентов и классифицируются в четыре критических пробела в знаниях: непредсказуемость многошаговых пользовательских вводов, сложность внутренних исполнений, изменчивость рабочих сред и взаимодействия с недоверенными внешними сущностями. Систематически рассматривая эти угрозы, статья подчёркивает как достигнутый прогресс, так и существующие ограничения в обеспечении безопасности AI-агентов. Представленные в работе выводы призваны стимулировать дальнейшие исследования по устранению угроз безопасности, связанных с AI-агентами, и способствовать созданию более надёжных и защищённых приложений AI-агентов.