Искры искусственного общего интеллекта: ранние эксперименты с GPT-4

Sparks of Artificial General Intelligence: Early experiments with GPT-4
Eric Horvitz, Peter Lee, Marco Túlio Ribeiro, Sébastien Bubeck, Varun Chandrasekaran, Ronen Eldan, Johannes Gehrke, Ece Kamar, Yin Tat Lee, Yuanzhi Li, Scott Lundberg, Harsha Nori, Hamid Palangi, Yi Zhang, Yin Tat Lee
2023-03-22

GPT-4искусственный общий интеллектбольшие языковые моделимультимодальные возможностипредсказание следующего слова
Исследователи в области искусственного интеллекта (ИИ) разрабатывают и совершенствуют большие языковые модели (БЯМ), демонстрирующие выдающиеся возможности в самых разных областях и при решении разнообразных задач, что заставляет пересмотреть наши представления об обучении и познании. Последняя модель, разработанная OpenAI, — GPT-4 — была обучена с использованием беспрецедентного объёма вычислительных ресурсов и данных. В этой статье мы представляем результаты исследования ранней версии GPT-4, находившейся на тот момент в процессе активной разработки OpenAI. Мы утверждаем, что эта ранняя версия GPT-4 относится к новому поколению БЯМ — наряду, например, с ChatGPT и PaLM компании Google, — демонстрирующих более общий интеллект по сравнению с предыдущими моделями ИИ. Мы обсуждаем расширяющиеся возможности этих моделей и их последствия. Мы показываем, что помимо виртуозного владения языком GPT-4 способен решать новые и сложные задачи в математике, программировании, анализе изображений, медицине, праве, психологии и других областях без специального составления запросов. Более того, во всех этих задачах результаты GPT-4 поразительно близки к уровню человека и зачастую значительно превосходят результаты предшествующих моделей, таких как ChatGPT. Учитывая широту и глубину возможностей GPT-4, мы полагаем, что её можно обоснованно рассматривать как раннюю, хотя и ещё незавершённую, версию системы искусственного общего интеллекта (ИОИ). В ходе исследования GPT-4 мы уделяем особое внимание выявлению её ограничений и обсуждаем предстоящие трудности на пути к созданию более глубоких и всеобъемлющих версий ИОИ, включая возможную необходимость разработки новой парадигмы, выходящей за рамки предсказания следующего слова. В заключение мы размышляем о влиянии недавнего технологического скачка на общество и о направлениях будущих исследований.
1
Ранняя версия GPT-4 решала новые сложные задачи в математике, программировании, компьютерном зрении, медицине, праве и психологии без специализированных подсказок.
2
GPT-4 относится к новому поколению больших языковых моделей, демонстрирующих значительно более общий интеллект по сравнению с прежними системами ИИ.
3
Производительность GPT-4 в различных областях часто была близка к человеческому уровню и нередко значительно превосходила более ранние модели, такие как ChatGPT.
4
Широта и глубина возможностей GPT-4 позволили авторам рассматривать его как возможную раннюю, хотя и неполную, систему искусственного общего интеллекта.
5
Исследование подчёркивает ограничения GPT-4 и выявляет проблемы создания более всеобъемлющего AGI, для чего, возможно, потребуются парадигмы за пределами предсказания следующего слова.

Ранняя (в процессе разработки) версия большой языковой модели GPT-4

способности GPT-4 к общему интеллекту, выполнение задач в различных областях, производительность на уровне человека и ограничения

Publication Details
Publication Date
2023-03-22
Journal
Publisher
ISSN
Cited by
1585
Access Type
Author Information
Authors
Eric Horvitz
Peter Lee
Marco Túlio Ribeiro
Sébastien Bubeck
Varun Chandrasekaran
Ronen Eldan
Johannes Gehrke
Ece Kamar
Yin Tat Lee
Yuanzhi Li
Scott Lundberg
Harsha Nori
Hamid Palangi
Yi Zhang
Yin Tat Lee
Explore further
Open the scid.ai AI chat with a ready-made request: it will find papers on a similar topic and help build a literature review.
Find similar papers in the chat
Make a presentation
100%