Обзор современных тенденций, методов и проблем больших языковых моделей (LLM)

Обработка естественного языка (NLP) значительно преобразилась за последнее десятилетие, особенно в области моделирования языка. Большие языковые модели (LLM) достигли передовых результатов в задачах понимания естественного языка (NLU) и генерации естественного языка (NLG), обучая представления языка в самообучающемся режиме. В этой статье представлен всесторонний обзор, отражающий развитие достижений в области языковых моделей. Мы рассматриваем разные аспекты языковых моделей, которые изначально имели несколько миллионов параметров, но в очень короткие сроки достигли порядка триллиона параметров. Также мы анализируем, как эти LLM эволюционировали от специфичных для задач архитектур к независимым от задач и далее к архитектурам, независимым от задач и языков. В статье подробно обсуждаются различные цели предварительного обучения, бенчмарки и методы трансферного обучения, используемые в LLM, а также рассматриваются методы дообучения (finetuning) и in-context обучения, применяемые для задач нижнего уровня. Более того, мы исследуем, как LLM способны хорошо работать в различных доменах и на разных наборах данных при достаточном обучении на больших и разнообразных данных. Далее обсуждается, как с течением времени доступность дешёвой вычислительной мощности и больших датасетов улучшила возможности LLM и породила новые проблемы. В рамках исследования мы также рассматриваем масштабируемость LLM, чтобы понять, как на производительность влияют глубина модели, ширина и объём данных. Наконец, мы приводим эмпирическое сравнение существующих тенденций и методов и даём всесторонний анализ текущего состояния области LLM.