О возможностях и рисках фундаментальных моделей
On the Opportunities and Risks of Foundation Models
2021-08-16
SCID: 54.1/utusbyn3
Discuss with AI
эмергентные способностифундаментальные моделигомогенизация моделеймасштаб в глубоком обучениисоциотехнические последствия
Figures from the paper
Abstract (AI)
Искусственный интеллект переживает смену парадигмы с появлением моделей (например, BERT, DALL-E, GPT-3), обучаемых на больших разнородных данных и пригодных для широкого спектра последующих задач. Мы называем такие модели фундаментальными моделями, чтобы подчеркнуть их критически центральный, но неполный характер. В данном отчёте даётся подробный обзор возможностей и рисков фундаментальных моделей: от их способностей (например, язык, зрение, робототехника, рассуждение, взаимодействие с человеком) и технических принципов (например, архитектуры моделей, процедуры обучения, данные, системы, безопасность, оценка, теория) до их приложений (например, право, здравоохранение, образование) и общественного воздействия (например, неравенство, злоупотребления, экономические и экологические последствия, правовые и этические соображения). Хотя фундаментальные модели основаны на стандартном глубоком обучении и переносном обучении, их масштаб порождает новые эмергентные способности, а их эффективность в столь многих задачах стимулирует гомогенизацию. Гомогенизация даёт мощный рычаг, но требует осторожности, поскольку дефекты фундаментальной модели наследуются всеми адаптированными моделями далее по цепочке. Несмотря на неизбежное широкое развертывание фундаментальных моделей, у нас в настоящее время нет чёткого понимания того, как они работают, когда они дают сбой и на что они вообще способны из‑за их эмергентных свойств. Для решения этих вопросов, по нашему мнению, потребуется глубокое междисциплинарное сотрудничество, соразмерное их по сути социотехнической природе.
Key Findings
1
Для рассмотрения возможностей и рисков фундаментальных моделей требуется глубокое междисциплинарное исследование, поскольку их воздействие носит социотехнический характер и охватывает юридические, этические, экономические и экологические области.
2
Текущее понимание того, как работают фундаментальные модели, когда они терпят неудачу и каковы их полные возможности, ограничено, что требует дальнейших исследований.
3
Фундаментальные модели — это крупномасштабные модели, обученные на широких данных (например, BERT, DALL-E, GPT-3), адаптируемые к множеству задач в разных модальностях: язык, зрение, робототехника, рассуждение и взаимодействие с людьми.
4
Гомогенизация вокруг фундаментальных моделей даёт мощный рычаг для приложений, но риск передачи дефектов базовой модели всем адаптированным моделям вниз по потоку.
5
Масштаб порождает новые эмерджентные способности, отсутствующие у меньших моделей, что повышает эффективность на разных задачах, но также вызывает неизвестное поведение и режимы отказа.
Research Object
Фундаментальные модели (масштабные предварительно обученные модели, такие как BERT, DALL-E, GPT-3)
Research Subject
Возможности, характеристики, технические принципы, риски, области применения, социальные последствия, эмергентные свойства и режимы отказа фундаментальных моделей при их адаптации к задачам нижнего уровня
Publication Details
Publication Date
2021-08-16
Journal
Publisher
ISSN
Cited by
2672
Open access PDF
Access Type
Author Information
Download PDF
Subscribe to digest
Источники этой статьи в scid.ai20
Классификация ImageNet с использованием глубоких сверточных нейронных сетей2017
Очень глубокие сверточные сети для масштабного распознавания изображений2014
ImageNet: крупномасштабная иерархическая база изображений2009
PyTorch: библиотека глубокого обучения с императивным стилем программирования и высокой производительностью2019
Дистилляция знаний в нейронной сети2015
Обучение нескольких слоев признаков на маленьких изображениях2024
Распознавание образов и машинное обучение2007
Обзор методов аугментации изображений для глубокого обучения2019
Обучение представлений с помощью контрастивного предиктивного кодирования2018
Каузальность2009
Модель графовой нейронной сети2008
Transformers: современное состояние обработки естественного языка2020
Плотный поиск фрагментов текста для ответов на вопросы в открытом домене2020
На пути к строгой науке об интерпретируемом машинном обучении2017
Преодоление катастрофического забывания в нейронных сетях2017
AI4People — этическая основа благополучного общества искусственного интеллекта: возможности, риски, принципы и рекомендации2018
Модель языка на основе рекуррентной нейронной сети2010
Потенциал искусственного интеллекта в здравоохранении2019
Почему по-прежнему существует так много рабочих мест? История и будущее автоматизации труда2015
Transformer-XL: внимательные языковые модели за пределами контекста фиксированной длины2019
Работы, цитирующие эту статью20
Обзор методов оценки больших языковых моделей2024
Большие языковые модели кодируют клинические знания2023
Генеративные агенты: интерактивные симулякры человеческого поведения2023
Генеративный искусственный интеллект2023
Могут ли большие языковые модели преобразовать вычислительную социальную науку?2023
Вопросы академической добросовестности при использовании больших языковых моделей в постпандемическую эпоху: ChatGPT и далее2023
Расширение возможностей больших языковых моделей с помощью химических инструментов2024
Обучение речевых представлений с самоконтролем: обзор2022
Социотехнический вред алгоритмических систем: разработка таксономии для снижения вреда2023
На пути к стандарту выявления и управления предвзятостью в области искусственного интеллекта2022
GPT (генеративно предварительно обученный трансформер): всесторонний обзор обеспечивающих технологий, потенциальных применений, возникающих проблем и перспективных направлений2024
Общение и списывание: обеспечение академической добросовестности в эпоху ChatGPT2023
Большие языковые модели могут изменить будущее поведенческого здравоохранения: предложение по ответственному развитию и оценке2024
Этика ChatGPT в медицине и здравоохранении: систематический обзор больших языковых моделей (LLM)2024
Может ли генеративный ИИ улучшить социальные науки?2024
Обучение информатике в эпоху генеративного искусственного интеллекта2024
Модель «зрение‑язык» для генерации медицинских отчётов и визуального ответа на вопросы: обзор2024
Ансамбли человека и искусственного интеллекта: когда они могут работать?2021
ChatMOF: система искусственного интеллекта для предсказания и генерации металлоорганических каркасов с использованием больших языковых моделей2024
Обзор больших зрительных моделей и визуальной инженерии промптов2023