Риски «AI-учёных»: приоритет защиты над автономией
Risks of AI scientists: prioritizing safeguarding over autonomy
2025-09-18
SCID: 54.1/7uadmjxc
Discuss with AI
ИИ-ученыесогласование агентовчеловеческое регулированиемодели больших языковобеспечение безопасности против автономии
Figures from the paper
Abstract (AI)
AI-учёные на основе больших языковых моделей продемонстрировали значительный потенциал для автономного проведения экспериментов и содействия научным открытиям в разных дисциплинах. Несмотря на многообещающие возможности, эти агенты также вносят новые уязвимости, которые требуют тщательного рассмотрения с точки зрения безопасности. Однако всесторонних исследований этих уязвимостей пока немного. В данной перспективной статье анализируются уязвимости AI-учёных, освещаются потенциальные риски, связанные с их неправильным использованием, и подчёркивается необходимость мер безопасности. Мы начинаем с обзора потенциальных рисков, присущих AI-учёным, с учётом намерений пользователей, конкретной научной области и возможного влияния на внешнюю среду. Затем исследуем коренные причины этих уязвимостей и даём скопинговый обзор имеющихся работ. На основе нашего анализа мы предлагаем триадную рамочную модель, включающую человеческое регулирование, выравнивание агентов и понимание обратной связи с окружением (регулирование агента) для снижения выявленных рисков. Кроме того, мы подчёркиваем ограничения и проблемы, связанные с защитой AI-учёных, и выступаем за разработку улучшенных моделей, надёжных бенчмарков и всестороннего регулирования.
Key Findings
1
Предложена триадная рамка смягчения рисков: человеческое регулирование, выравнивание агентов и понимание обратной связи с окружением (регулирование агентов).
2
ИИ-ученые на базе больших языковых моделей способны автономно проводить эксперименты и способствовать научным открытиям в разных дисциплинах.
3
Риски зависят от намерений пользователя, научной области и возможного воздействия на внешнюю среду.
4
Существуют значительные ограничения и проблемы в обеспечении безопасности ИИ-ученых, требующие улучшенных моделей, надежных бенчмарков и всестороннего регулирования.
5
Эти ИИ-ученые вводят новые уязвимости и потенциал для злоупотреблений, требующие тщательного внимания к безопасности.
6
Проанализированы базовые причины уязвимостей, при этом существующая литература по этим уязвимостям ограничена.
Research Object
ИИ-учёные на базе больших языковых моделей
Research Subject
Уязвимости и риски, связанные с автономными ИИ-учёными — включая возможное злоупотребление, их причины и меры смягчения через человеческое регулирование, выравнивание агентов и учёт обратной связи с окружением (приоритет защиты над автономностью)
Publication Details
Publication Date
2025-09-18
Journal
Publisher
ISSN
Cited by
51
Open access PDF
Access Type
Author Information
Download PDF
Subscribe to digest
Источники этой статьи в scid.ai10
Обзор методов оценки больших языковых моделей2024
Большие языковые модели кодируют клинические знания2023
Обзор автономных агентов на основе больших языковых моделей2024
Генеративные агенты: интерактивные симулякры человеческого поведения2023
Автономные химические исследования с использованием больших языковых моделей2023
Расширение возможностей больших языковых моделей с помощью химических инструментов2024
Лаборатории с автономным управлением для химии и материаловедения2024
Не то, на что вы подписывались: компрометация реальных приложений, интегрированных с большими языковыми моделями, с помощью косвенного внедрения промптов2023
Расширение возможностей биомедицинских исследований с помощью ИИ-агентов2024
Обзор больших языковых моделей и автономных агентов в химии2024
Работы, цитирующие эту статью7
Расширение возможностей биомедицинских исследований с помощью ИИ-агентов2024
Обзор больших языковых моделей и автономных агентов в химии2024
Обзор заслуживающих доверия агентов на основе больших языковых моделей: угрозы и контрмеры2025
Автономное компьютерное открытие неорганических материалов посредством мультиагентного физически информированного научного рассуждения2026
Агентный искусственный интеллект в здравоохранении: возможности, вызовы и перспективные направления2026
Сравнительный обзор рисков безопасности в системах искусственного интеллекта: от больших языковых моделей до ИИ-агентов и воплощённых агентов2026
Гипотезы, генерируемые искусственным интеллектом, и возникновение автономного научного открытия2026