Риски «AI-учёных»: приоритет защиты над автономией

AI-учёные на основе больших языковых моделей продемонстрировали значительный потенциал для автономного проведения экспериментов и содействия научным открытиям в разных дисциплинах. Несмотря на многообещающие возможности, эти агенты также вносят новые уязвимости, которые требуют тщательного рассмотрения с точки зрения безопасности. Однако всесторонних исследований этих уязвимостей пока немного. В данной перспективной статье анализируются уязвимости AI-учёных, освещаются потенциальные риски, связанные с их неправильным использованием, и подчёркивается необходимость мер безопасности. Мы начинаем с обзора потенциальных рисков, присущих AI-учёным, с учётом намерений пользователей, конкретной научной области и возможного влияния на внешнюю среду. Затем исследуем коренные причины этих уязвимостей и даём скопинговый обзор имеющихся работ. На основе нашего анализа мы предлагаем триадную рамочную модель, включающую человеческое регулирование, выравнивание агентов и понимание обратной связи с окружением (регулирование агента) для снижения выявленных рисков. Кроме того, мы подчёркиваем ограничения и проблемы, связанные с защитой AI-учёных, и выступаем за разработку улучшенных моделей, надёжных бенчмарков и всестороннего регулирования.