О возможностях и рисках фундаментальных моделей
On the Opportunities and Risks of Foundation Models
2021-08-16
SCID: 54.1/utusbyn3
Discuss with AI
эмергентные способностифундаментальные моделигомогенизация моделеймасштаб в глубоком обучениисоциотехнические последствия
Figures from the paper
Abstract (AI)
Искусственный интеллект переживает смену парадигмы с появлением моделей (например, BERT, DALL-E, GPT-3), обучаемых на больших разнородных данных и пригодных для широкого спектра последующих задач. Мы называем такие модели фундаментальными моделями, чтобы подчеркнуть их критически центральный, но неполный характер. В данном отчёте даётся подробный обзор возможностей и рисков фундаментальных моделей: от их способностей (например, язык, зрение, робототехника, рассуждение, взаимодействие с человеком) и технических принципов (например, архитектуры моделей, процедуры обучения, данные, системы, безопасность, оценка, теория) до их приложений (например, право, здравоохранение, образование) и общественного воздействия (например, неравенство, злоупотребления, экономические и экологические последствия, правовые и этические соображения). Хотя фундаментальные модели основаны на стандартном глубоком обучении и переносном обучении, их масштаб порождает новые эмергентные способности, а их эффективность в столь многих задачах стимулирует гомогенизацию. Гомогенизация даёт мощный рычаг, но требует осторожности, поскольку дефекты фундаментальной модели наследуются всеми адаптированными моделями далее по цепочке. Несмотря на неизбежное широкое развертывание фундаментальных моделей, у нас в настоящее время нет чёткого понимания того, как они работают, когда они дают сбой и на что они вообще способны из‑за их эмергентных свойств. Для решения этих вопросов, по нашему мнению, потребуется глубокое междисциплинарное сотрудничество, соразмерное их по сути социотехнической природе.
Key Findings
1
Для рассмотрения возможностей и рисков фундаментальных моделей требуется глубокое междисциплинарное исследование, поскольку их воздействие носит социотехнический характер и охватывает юридические, этические, экономические и экологические области.
2
Текущее понимание того, как работают фундаментальные модели, когда они терпят неудачу и каковы их полные возможности, ограничено, что требует дальнейших исследований.
3
Фундаментальные модели — это крупномасштабные модели, обученные на широких данных (например, BERT, DALL-E, GPT-3), адаптируемые к множеству задач в разных модальностях: язык, зрение, робототехника, рассуждение и взаимодействие с людьми.
4
Гомогенизация вокруг фундаментальных моделей даёт мощный рычаг для приложений, но риск передачи дефектов базовой модели всем адаптированным моделям вниз по потоку.
5
Масштаб порождает новые эмерджентные способности, отсутствующие у меньших моделей, что повышает эффективность на разных задачах, но также вызывает неизвестное поведение и режимы отказа.
Research Object
Фундаментальные модели (масштабные предварительно обученные модели, такие как BERT, DALL-E, GPT-3)
Research Subject
Возможности, характеристики, технические принципы, риски, области применения, социальные последствия, эмергентные свойства и режимы отказа фундаментальных моделей при их адаптации к задачам нижнего уровня
Publication Details
Publication Date
2021-08-16
Journal
Publisher
ISSN
Cited by
2288
Open access PDF
Access Type
Author Information
Download PDF
Subscribe to digest