Большие языковые модели (LLM): обзор, технические основы и будущие проблемы
Large language models (LLMs): survey, technical frameworks, and future challenges
2024-08-18
SCID: 54.1/gmyabm5r
Discuss with AI
генерация кодаархитектуры языкового моделированиябольшие языковые моделиобработка естественного языкамультимодальные модели «зрение-язык»
Figures from the paper
Abstract (AI)
Искусственный интеллект (ИИ) оказал значительное влияние на различные области. Большие языковые модели (LLM), такие как GPT-4, BARD, PaLM, Megatron-Turing NLG и Jurassic-1 Jumbo, вместе с методами обработки естественного языка (NLP) внесли вклад в понимание и применение ИИ в этих областях. В работе представлен всесторонний обзор LLM в контексте языкового моделирования, векторных представлений слов и глубокого обучения. Рассматривается применение LLM в различных областях, включая генерацию текста, модели «зрение—язык», персонализированное обучение, биомедицину и генерацию кода. В статье дано подробное введение в LLM и изложены сведения об их предпосылках, что способствует ясному пониманию их фундаментальных идей и концепций. Также обсуждаются ключевые архитектуры языкового моделирования и представлен обзор недавних исследований, в которых методы LLM применяются для решения различных последующих задач в разных предметных областях. Кроме того, оцениваются ограничения современных подходов и подчёркивается необходимость разработки новых методологий и перспективных направлений для существенного прогресса в этой области.
Key Findings
1
Выявляются ограничения современных подходов к LLM и предлагаются направления разработки новых методологий и дальнейшего развития этой области.
2
Рассматриваются основные архитектуры LLM и их применение в последующих задачах, включая генерацию текста, зрительно-языковые модели, персонализированное обучение, биомедицину и генерацию кода.
3
В статье представлен комплексный обзор больших языковых моделей, охватывающий основы языкового моделирования, векторных представлений слов и глубокого обучения.
4
В обзоре обсуждаются такие代表ительные модели, как GPT-4, BARD, PaLM, Megatron-Turing NLG и Jurassic-1 Jumbo.
Research Object
Крупные языковые модели (LLMs)
Research Subject
их архитектуры, применение в различных областях, эффективность при решении последующих задач, ограничения и перспективные направления разработки новых методологий
Publication Details
Publication Date
2024-08-18
Journal
Publisher
ISSN
Cited by
387
Open access PDF
Access Type
Author Information
Download PDF
Subscribe to digest
Источники этой статьи в scid.ai16
Обучение представлений фраз с использованием RNN энкодер–декодера для статистического машинного перевода2014
LLaMA: открытые и эффективные базовые языковые модели2023
Обогащение векторов слов информацией о субсловах2017
Машинное обучение: тенденции, перспективы и прогнозы2015
Эффективные подходы к нейронному машинному переводу на основе механизма внимания2015
Иерархические сети внимания для классификации документов2016
Transformer-XL: внимательные языковые модели за пределами контекста фиксированной длины2019
Полезность ChatGPT в образовании, исследованиях и практике здравоохранения: систематический обзор перспективных возможностей и обоснованных опасений2023
Механизмы внимания в компьютерном зрении: обзор2022
Механизм самовнимания с представлениями относительных позиций2018
BioGPT: генеративный предварительно обученный трансформер для генерации и интеллектуального анализа биомедицинских текстов2022
Моделирование на основе искусственного интеллекта: методы, приложения и научно-исследовательские проблемы на пути к автоматизированным, интеллектуальным и умным системам2022
Эффективные трансформеры: обзор2022
Внедрение обучения искусственному интеллекту в медицинское образование2019
Человеческий интеллект и искусственный интеллект2021
Мы уже достигли цели? — Систематический обзор литературы о чат-ботах в образовании2021