Большие языковые модели (LLM): обзор, технические основы и будущие проблемы

Искусственный интеллект (ИИ) оказал значительное влияние на различные области. Большие языковые модели (LLM), такие как GPT-4, BARD, PaLM, Megatron-Turing NLG и Jurassic-1 Jumbo, вместе с методами обработки естественного языка (NLP) внесли вклад в понимание и применение ИИ в этих областях. В работе представлен всесторонний обзор LLM в контексте языкового моделирования, векторных представлений слов и глубокого обучения. Рассматривается применение LLM в различных областях, включая генерацию текста, модели «зрение—язык», персонализированное обучение, биомедицину и генерацию кода. В статье дано подробное введение в LLM и изложены сведения об их предпосылках, что способствует ясному пониманию их фундаментальных идей и концепций. Также обсуждаются ключевые архитектуры языкового моделирования и представлен обзор недавних исследований, в которых методы LLM применяются для решения различных последующих задач в разных предметных областях. Кроме того, оцениваются ограничения современных подходов и подчёркивается необходимость разработки новых методологий и перспективных направлений для существенного прогресса в этой области.