Обзор современных тенденций, методов и проблем в области больших языковых моделей (LLM)

A Review of Current Trends, Techniques, and Challenges in Large Language Models (LLMs)
Rajvardhan Patil, Venkat Naidu Gudivada
2024-03-01

обучение в контекстебольшие языковые моделигенерация естественного языкапонимание естественного языкацели предварительного обучения
За последнее десятилетие обработка естественного языка (NLP) претерпела значительные изменения, особенно в области языкового моделирования. Большие языковые модели (LLM) достигли передовых результатов (SOTA) в задачах понимания естественного языка (NLU) и генерации естественного языка (NLG), обучаясь представлениям языка с использованием методов самоконтролируемого обучения. В данной работе представлен всесторонний обзор развития языковых моделей. Рассмотрены различные аспекты языковых моделей, размер которых за очень короткое время увеличился от нескольких миллионов до триллиона параметров. Также проанализировано, как LLM эволюционировали от архитектур, предназначенных для решения конкретных задач, к архитектурам, не зависящим от задачи, а затем к архитектурам, не зависящим ни от задачи, ни от языка. Подробно обсуждаются различные цели предварительного обучения, бенчмарки и методы переноса обучения, используемые в LLM. Кроме того, рассматриваются методы дообучения и обучения в контексте, применяемые для решения последующих задач. Также исследуется, как LLM могут эффективно работать в различных предметных областях и на разных наборах данных при достаточном обучении на больших и разнообразных массивах данных. Далее обсуждается, как со временем доступность дешёвых вычислительных ресурсов и больших наборов данных повысила возможности LLM, одновременно создав новые проблемы. В рамках исследования LLM анализируются с точки зрения масштабируемости, чтобы определить, как на их производительность влияют глубина и ширина модели, а также объём данных. Наконец, представлено эмпирическое сравнение существующих тенденций и методов и проведён всесторонний анализ текущего состояния области LLM.
1
Архитектуры LLM эволюционировали от систем, ориентированных на конкретные задачи, к моделям, независимым от задач, а затем — независимым от задач и языка.
2
Языковые модели быстро масштабировались от нескольких миллионов параметров до размеров порядка триллиона параметров, существенно изменив их возможности и архитектуры.
3
Большие языковые модели достигли передовых результатов в задачах понимания и генерации естественного языка благодаря самоконтролируемому обучению представлений языка.
4
Глубина и ширина модели, а также объем обучающих данных выделяются как ключевые факторы масштабирования, влияющие на производительность LLM.
5
Достаточное обучение на больших и разнообразных наборах данных позволяет LLM эффективно работать в различных предметных областях и наборах данных, однако рост масштаба и доступности вычислений создает новые проблемы.
6
В обзоре анализируются цели предобучения, бенчмарки, перенос обучения, дообучение и методы обучения в контексте для последующих применений.

Большие языковые модели (LLMs)

развитие, архитектуры, методы обучения и адаптации, возможности, масштабируемость, производительность и проблемы больших языковых моделей

Publication Details
Publication Date
2024-03-01
Journal
Publisher
ISSN
Cited by
296
Access Type
Author Information
Authors
Rajvardhan Patil
Venkat Naidu Gudivada
Explore further
Open the scid.ai AI chat with a ready-made request: it will find papers on a similar topic and help build a literature review.
Find similar papers in the chat →
Make a presentation
100%