SafeScientist: к выявлению научных открытий с учетом рисков при использовании агентов LLM

Последние достижения в области агентов на базе больших языковых моделей (LLM) значительно ускорили автоматизацию научных открытий, но одновременно вызвали серьёзные этические и безопасностные проблемы. Для системного решения этих задач мы представляем SafeScientist — фреймворк AI-учёного, специально разработанный для повышения безопасности и этической ответственности в управляемых ИИ научных исследованиях. SafeScientist проактивно отказывает в выполнении этически неприемлемых или высокорисковых задач и делает акцент на безопасности на всех этапах исследовательского процесса. Для достижения всестороннего контроля безопасности мы интегрируем несколько защитных механизмов, включая мониторинг подсказок, мониторинг сотрудничества агентов, мониторинг использования инструментов и компонент этического рецензирования. В дополнение к SafeScientist мы предлагаем SciSafetyBench — бенчмарк, специально разработанный для оценки безопасности ИИ в научных контекстах, включающий 240 высокорисковых научных задач в шести областях, а также 30 специально разработанных научных инструментов и 120 задач, связанных с рисками использования инструментов. Обширные эксперименты показывают, что SafeScientist улучшает показатели безопасности на 35% по сравнению с традиционными фреймворками AI-учёных, не ухудшая качества научных результатов. Дополнительно мы проверяем устойчивость нашей конвейерной системы безопасности к различным методам адвесариальных атак, что дополнительно подтверждает эффективность нашего интегрированного подхода. Код и данные будут доступны по адресу https://github.com/ulab-uiuc/SafeScientist. Внимание: в статье содержатся примерные данные, которые могут быть оскорбительными или вредными.