Обзор современных тенденций, методов и проблем в области больших языковых моделей (LLM)
A Review of Current Trends, Techniques, and Challenges in Large Language Models (LLMs)
2024-03-01
SCID: 54.1/kqhr6mqj
Discuss with AI
обучение в контекстебольшие языковые моделигенерация естественного языкапонимание естественного языкацели предварительного обучения
Figures from the paper
Abstract (AI)
За последнее десятилетие обработка естественного языка (NLP) претерпела значительные изменения, особенно в области языкового моделирования. Большие языковые модели (LLM) достигли передовых результатов (SOTA) в задачах понимания естественного языка (NLU) и генерации естественного языка (NLG), обучаясь представлениям языка с использованием методов самоконтролируемого обучения. В данной работе представлен всесторонний обзор развития языковых моделей. Рассмотрены различные аспекты языковых моделей, размер которых за очень короткое время увеличился от нескольких миллионов до триллиона параметров. Также проанализировано, как LLM эволюционировали от архитектур, предназначенных для решения конкретных задач, к архитектурам, не зависящим от задачи, а затем к архитектурам, не зависящим ни от задачи, ни от языка. Подробно обсуждаются различные цели предварительного обучения, бенчмарки и методы переноса обучения, используемые в LLM. Кроме того, рассматриваются методы дообучения и обучения в контексте, применяемые для решения последующих задач. Также исследуется, как LLM могут эффективно работать в различных предметных областях и на разных наборах данных при достаточном обучении на больших и разнообразных массивах данных. Далее обсуждается, как со временем доступность дешёвых вычислительных ресурсов и больших наборов данных повысила возможности LLM, одновременно создав новые проблемы. В рамках исследования LLM анализируются с точки зрения масштабируемости, чтобы определить, как на их производительность влияют глубина и ширина модели, а также объём данных. Наконец, представлено эмпирическое сравнение существующих тенденций и методов и проведён всесторонний анализ текущего состояния области LLM.
Key Findings
1
Архитектуры LLM эволюционировали от систем, ориентированных на конкретные задачи, к моделям, независимым от задач, а затем — независимым от задач и языка.
2
Языковые модели быстро масштабировались от нескольких миллионов параметров до размеров порядка триллиона параметров, существенно изменив их возможности и архитектуры.
3
Большие языковые модели достигли передовых результатов в задачах понимания и генерации естественного языка благодаря самоконтролируемому обучению представлений языка.
4
Глубина и ширина модели, а также объем обучающих данных выделяются как ключевые факторы масштабирования, влияющие на производительность LLM.
5
Достаточное обучение на больших и разнообразных наборах данных позволяет LLM эффективно работать в различных предметных областях и наборах данных, однако рост масштаба и доступности вычислений создает новые проблемы.
6
В обзоре анализируются цели предобучения, бенчмарки, перенос обучения, дообучение и методы обучения в контексте для последующих применений.
Research Object
Большие языковые модели (LLMs)
Research Subject
развитие, архитектуры, методы обучения и адаптации, возможности, масштабируемость, производительность и проблемы больших языковых моделей
Publication Details
Publication Date
2024-03-01
Journal
Publisher
ISSN
Cited by
296
Open access PDF
Access Type
Author Information
Download PDF
Subscribe to digest
Источники этой статьи в scid.ai10
Исследование пределов трансферного обучения с помощью унифицированного преобразователя текста в текст2019
Обучение представлений фраз с использованием RNN энкодер–декодера для статистического машинного перевода2014
Распределённые представления слов и фраз и их композиционность2013
LLaMA: открытые и эффективные базовые языковые модели2023
Обучение «последовательность-в-последовательность» с помощью нейронных сетей2014
Обогащение векторов слов информацией о субсловах2017
Обучение языковых моделей следованию инструкциям с использованием обратной связи от человека2022
GLM: предварительное обучение общей языковой модели с авторегрессионным заполнением пропусков2022
GPT-NeoX-20B: Открытая авторегрессивная языковая модель2022
Фреймворк Aion: размерное возникновение сознания ИИ, коллапс под воздействием наблюдателя и динамика космологических порталов2023