О возможностях и рисках фундаментальных моделей

On the Opportunities and Risks of Foundation Models
Christopher D. Manning, Peter Henderson, Deepak Narayanan, Matei Zaharia, Li Fei-Fei, Ranjay Krishna, Michael S. Bernstein, William Yang Wang, Chelsea Finn, Dorsa Sadigh, Jeannette Bohg, Omar Khattab, Suvir Mirchandani, Michihiro Yasunaga, Lucia Zheng, Neel Guha, Daniel E. Ho, Mark Krass, Dan Jurafsky, Julian Nyarko, Erik Brynjolfsson, Zanele Munyikwa, Jure Leskovec, Thomas Icard, Rishi Bommasani, Tatsunori Hashimoto, Percy Liang, Suraj Nair, Eric Mitchell, Bo-Han Wu, Tianyi Zhang, Kyle Hsu, Ali Ahmad Malik, Jia-Jun Wu, Russ B. Altman, Krishnan Srinivasan, Christopher Potts, Armin W. Thomas, Stefano Ermon, Pang Wei Koh, Siddharth Karamcheti, Noah D. Goodman, Rohan Taori, Antoine Bosselut, Xikun Zhang, Emma Brunskill, John Etchemendy, Juan Carlos Niebles, Kathleen Creel, Geoff Keeling, Pratyusha Kalluri, Dallas Card, Ehsan Adeli, Esin Durmus, Faisal Ladhak, Yuhuai Wu, Sang Michael Xie, Joon-Sung Park, Tong Lee, John Hewitt, Florian Tramèr, Jiaxuan You, Yuhui Zhang, Tengyu Ma, Chris Piech, Yusuf Roohani, Keshav Santhanam, Ananya Kumar, Kaitlyn Zhou, Chris Donahue, Karan Goel, Christopher Ré, Rodrigo Castellon, Shyamal Buch, Benjamin T. Newman, Xuechen Li, Hongyu Ren, Xiang Lisa Li, Michael Zhang, Annie Chen, Aditi Raghunathan, Saahil Jain, Drew A. Hudson, Simran Arora, Sydney von Arx, Niladri S. Chatterji, Jared Quincy Davis, Demszky, Dora, Moussa Doumbouya, Kawin Ethayarajh, Trevor Gale, Lauren Gillespie, Shelby Grossman, Jenny Hong, Jing Huang, Fereshte Khani, Rohith Kuditipudi, Mina Lee, Isabelle Levent, Avanika Narayan, Allen Nie, Hamed Nilforoshan, Giray Ogut, Laurel Orr, Isabel Papadimitriou, Eva Portelance, Rob Reich, Frieda Rong, Camilo Ruiz, Jack Ryan, Shiori Sagawa, Andy Shih, Alex Tamkin, Rose E. Wang
2021-08-16

эмергентные способностифундаментальные моделигомогенизация моделеймасштаб в глубоком обучениисоциотехнические последствия
Искусственный интеллект переживает смену парадигмы с появлением моделей (например, BERT, DALL-E, GPT-3), обучаемых на больших разнородных данных и пригодных для широкого спектра последующих задач. Мы называем такие модели фундаментальными моделями, чтобы подчеркнуть их критически центральный, но неполный характер. В данном отчёте даётся подробный обзор возможностей и рисков фундаментальных моделей: от их способностей (например, язык, зрение, робототехника, рассуждение, взаимодействие с человеком) и технических принципов (например, архитектуры моделей, процедуры обучения, данные, системы, безопасность, оценка, теория) до их приложений (например, право, здравоохранение, образование) и общественного воздействия (например, неравенство, злоупотребления, экономические и экологические последствия, правовые и этические соображения). Хотя фундаментальные модели основаны на стандартном глубоком обучении и переносном обучении, их масштаб порождает новые эмергентные способности, а их эффективность в столь многих задачах стимулирует гомогенизацию. Гомогенизация даёт мощный рычаг, но требует осторожности, поскольку дефекты фундаментальной модели наследуются всеми адаптированными моделями далее по цепочке. Несмотря на неизбежное широкое развертывание фундаментальных моделей, у нас в настоящее время нет чёткого понимания того, как они работают, когда они дают сбой и на что они вообще способны из‑за их эмергентных свойств. Для решения этих вопросов, по нашему мнению, потребуется глубокое междисциплинарное сотрудничество, соразмерное их по сути социотехнической природе.
1
Для рассмотрения возможностей и рисков фундаментальных моделей требуется глубокое междисциплинарное исследование, поскольку их воздействие носит социотехнический характер и охватывает юридические, этические, экономические и экологические области.
2
Текущее понимание того, как работают фундаментальные модели, когда они терпят неудачу и каковы их полные возможности, ограничено, что требует дальнейших исследований.
3
Фундаментальные модели — это крупномасштабные модели, обученные на широких данных (например, BERT, DALL-E, GPT-3), адаптируемые к множеству задач в разных модальностях: язык, зрение, робототехника, рассуждение и взаимодействие с людьми.
4
Гомогенизация вокруг фундаментальных моделей даёт мощный рычаг для приложений, но риск передачи дефектов базовой модели всем адаптированным моделям вниз по потоку.
5
Масштаб порождает новые эмерджентные способности, отсутствующие у меньших моделей, что повышает эффективность на разных задачах, но также вызывает неизвестное поведение и режимы отказа.

Фундаментальные модели (масштабные предварительно обученные модели, такие как BERT, DALL-E, GPT-3)

Возможности, характеристики, технические принципы, риски, области применения, социальные последствия, эмергентные свойства и режимы отказа фундаментальных моделей при их адаптации к задачам нижнего уровня

Publication Details
Publication Date
2021-08-16
Journal
Publisher
ISSN
Cited by
2288
Access Type
Author Information
Authors
Christopher D. Manning
Peter Henderson
Deepak Narayanan
Matei Zaharia
Li Fei-Fei
Ranjay Krishna
Michael S. Bernstein
William Yang Wang
Chelsea Finn
Dorsa Sadigh
Jeannette Bohg
Omar Khattab
Suvir Mirchandani
Michihiro Yasunaga
Lucia Zheng
Neel Guha
Daniel E. Ho
Mark Krass
Dan Jurafsky
Julian Nyarko
Erik Brynjolfsson
Zanele Munyikwa
Jure Leskovec
Thomas Icard
Rishi Bommasani
Tatsunori Hashimoto
Percy Liang
Suraj Nair
Eric Mitchell
Bo-Han Wu
Tianyi Zhang
Kyle Hsu
Ali Ahmad Malik
Jia-Jun Wu
Russ B. Altman
Krishnan Srinivasan
Christopher Potts
Armin W. Thomas
Stefano Ermon
Pang Wei Koh
Siddharth Karamcheti
Noah D. Goodman
Rohan Taori
Antoine Bosselut
Xikun Zhang
Emma Brunskill
John Etchemendy
Juan Carlos Niebles
Kathleen Creel
Geoff Keeling
Pratyusha Kalluri
Dallas Card
Ehsan Adeli
Esin Durmus
Faisal Ladhak
Yuhuai Wu
Sang Michael Xie
Joon-Sung Park
Tong Lee
John Hewitt
Florian Tramèr
Jiaxuan You
Yuhui Zhang
Tengyu Ma
Chris Piech
Yusuf Roohani
Keshav Santhanam
Ananya Kumar
Kaitlyn Zhou
Chris Donahue
Karan Goel
Christopher Ré
Rodrigo Castellon
Shyamal Buch
Benjamin T. Newman
Xuechen Li
Hongyu Ren
Xiang Lisa Li
Michael Zhang
Annie Chen
Aditi Raghunathan
Saahil Jain
Drew A. Hudson
Simran Arora
Sydney von Arx
Niladri S. Chatterji
Jared Quincy Davis
Demszky, Dora
Moussa Doumbouya
Kawin Ethayarajh
Trevor Gale
Lauren Gillespie
Shelby Grossman
Jenny Hong
Jing Huang
Fereshte Khani
Rohith Kuditipudi
Mina Lee
Isabelle Levent
Avanika Narayan
Allen Nie
Hamed Nilforoshan
Giray Ogut
Laurel Orr
Isabel Papadimitriou
Eva Portelance
Rob Reich
Frieda Rong
Camilo Ruiz
Jack Ryan
Shiori Sagawa
Andy Shih
Alex Tamkin
Rose E. Wang
Explore further
Open the scid.ai AI chat with a ready-made request: it will find papers on a similar topic and help build a literature review.
Find similar papers in the chat
Make a presentation
100%