Учёный ИИ: к полностью автоматизированному открытому научному поиску

The AI Scientist: Towards Fully Automated Open-Ended Scientific Discovery
Jeff Clune, Chris Lu, Cong Lu, R. T. Lange, Jakob Foerster, David Ha
2024-08-12

AI Scientistавтоматизированное рецензирование научных статейавтоматизированное научное открытиебольшие языковые моделиоткрытое исследование
Одной из важнейших задач создания искусственного общего интеллекта является разработка агентов, способных проводить научные исследования и открывать новые знания. Хотя передовые модели уже используются в качестве помощников людей-учёных, например для генерации идей, написания кода или решения задач прогнозирования, они по-прежнему выполняют лишь небольшую часть научного процесса. В этой статье представлен первый комплексный подход к полностью автоматизированному научному поиску, позволяющий передовым большим языковым моделям самостоятельно проводить исследования и сообщать о полученных результатах. Мы представляем «Учёного ИИ» — систему, которая генерирует новые исследовательские идеи, пишет код, проводит эксперименты, визуализирует результаты, описывает полученные выводы в полноценной научной статье, а затем запускает имитацию рецензирования для оценки. В принципе, этот процесс можно повторять, итеративно развивая идеи в открытом направлении, подобно человеческому научному сообществу. Мы демонстрируем универсальность системы, применяя её к трём различным направлениям машинного обучения: диффузионному моделированию, языковому моделированию на основе трансформеров и динамике обучения. Каждая идея реализуется и развивается до полноценной статьи при стоимости менее 15 долларов США за статью. Для оценки сгенерированных статей мы разрабатываем и валидируем автоматизированного рецензента и показываем, что он достигает показателей, близких к человеческим, при оценке статей. По оценке нашего автоматизированного рецензента «Учёный ИИ» способен создавать статьи, превышающие порог принятия на ведущей конференции по машинному обучению. Этот подход знаменует начало новой эры научных открытий в машинном обучении: он приносит преобразующие преимущества ИИ-агентов во весь исследовательский процесс самого искусственного интеллекта и приближает нас к миру, в котором безграничные доступные творчество и инновации смогут быть направлены на решение наиболее сложных задач человечества. Исходный код опубликован в открытом доступе по адресу https://github.com/SakanaAI/AI-Scientist
1
Согласно автоматическому рецензенту, некоторые статьи, созданные AI Scientist, превысили порог принятия на ведущую конференцию по машинному обучению.
2
The AI Scientist представлен как комплексная система, позволяющая современным языковым моделям преимущественно автономно проводить научные исследования.
3
Авторы разработали и проверили автоматического рецензента, который достигает показателей, близких к человеческим, при оценке научных статей.
4
Работу системы продемонстрировали на моделировании диффузии, языковом моделировании на основе трансформеров и динамике обучения; стоимость создания каждой статьи составила менее 15 долларов.
5
Система генерирует исследовательские идеи, пишет и выполняет код, визуализирует эксперименты, готовит полные научные статьи и проводит имитацию рецензирования.

Система The AI Scientist (автономный фреймворк на базе современных больших языковых моделей для генерации исследовательских идей, выполнения экспериментов, написания статей и проведения рецензирования)

Способность фреймворка автономно выполнять полный цикл исследования, а также генерировать, оценивать и представлять результаты новых исследований в области машинного обучения

Publication Details
Publication Date
2024-08-12
Journal
Publisher
ISSN
Cited by
115
Access Type
Author Information
Authors
Jeff Clune
Chris Lu
Cong Lu
R. T. Lange
Jakob Foerster
David Ha
Explore further
Open the scid.ai AI chat with a ready-made request: it will find papers on a similar topic and help build a literature review.
Find similar papers in the chat
Make a presentation
100%