Последние достижения в области обработки естественного языка с использованием крупномасштабных предварительно обученных языковых моделей: обзор
Recent Advances in Natural Language Processing via Large Pre-trained Language Models: A Survey
2023-06-27
SCID: 54.1/zuunkaw5
Discuss with AI
BERTGPTобработка естественного языкапредобученные языковые моделипромптинг
Figures from the paper
Abstract (AI)
Крупномасштабные предварительно обученные языковые модели (PLM), такие как BERT и GPT, кардинально изменили область обработки естественного языка (NLP). В многочисленных задачах NLP подходы, использующие PLM, достигли передовых результатов. Ключевая идея заключается в том, чтобы один раз обучить обобщённое латентное представление языка на основе универсальной задачи, а затем использовать его в различных задачах NLP. В качестве универсальной задачи применяется языковое моделирование, поскольку для масштабного обучения доступно большое количество текстовых данных, размеченных в рамках самоконтролируемого обучения. В статье изложены фундаментальные концепции архитектур PLM и представлен всесторонний обзор перехода к методам NLP на основе PLM. Рассматриваются исследования, посвящённые подходам, включающим предварительное обучение с последующей тонкой настройкой, промптинг и генерацию текста. Кроме того, обсуждаются ограничения PLM и предлагаемые направления дальнейших исследований.
Key Findings
1
Крупные предварительно обученные языковые модели, такие как BERT и GPT, существенно изменили область обработки естественного языка.
2
Методы на основе PLM достигли передовых результатов на многочисленных задачах обработки естественного языка.
3
PLM изучают универсальные латентные представления языка с помощью самоконтролируемого языкового моделирования и переносят их на различные задачи NLP.
4
В статье выявляются ограничения PLM и обозначаются направления будущих исследований.
5
В обзоре рассматриваются подходы предварительного обучения с последующей тонкой настройкой, промптингом и генерацией текста, реализуемые с помощью PLM.
Research Object
крупные предварительно обученные языковые модели (PLM) и их применение к задачам обработки естественного языка
Research Subject
архитектуры PLM, подходы к их адаптации, эффективность, ограничения и направления дальнейших исследований в обработке естественного языка
Publication Details
Publication Date
2023-06-27
Journal
Publisher
ISSN
Cited by
1379
Open access PDF
Access Type
Author Information
Download PDF
Subscribe to digest
Источники этой статьи в scid.ai7
Почему я должен вам доверять?2016
LLaMA: открытые и эффективные базовые языковые модели2023
Труды 24-й Международной конференции по машинному обучению2007
Предварительное обучение, промптинг и предсказание: систематический обзор методов промптинга в обработке естественного языка2022
Transformer-XL: внимательные языковые модели за пределами контекста фиксированной длины2019
Законы масштабирования нейронных языковых моделей2020
Адаптация глубоких двунаправленных многоязычных трансформеров для русского языка2019
Работы, цитирующие эту статью13
Всесторонний обзор больших языковых моделей2025
Объединение больших языковых моделей и графов знаний: дорожная карта2024
🧜Песнь сирены в океане ИИ: обзор галлюцинаций в больших языковых моделях2025
Практические и этические проблемы использования больших языковых моделей в образовании: систематический обзор с картированием исследований2023
Системы рекомендаций в эпоху больших языковых моделей (LLMs)2024
Генеративный искусственный интеллект и ChatGPT в образовании школьников: данные школьного урока2023
Искусственный интеллект для обзоров литературы: возможности и проблемы2024
Большие языковые модели: всесторонний обзор их приложений, проблем, ограничений и перспектив развития2023
Применение агентов на основе больших языковых моделей в подборе персонала: новая платформа для автоматизированного отбора резюме2024
Дополненные большие языковые модели без галлюцинаций как кураторы медицинской информации2024
Генеративный искусственный интеллект и большие языковые модели для защиты критической инфраструктуры: оценочные бенчмарки, агентный искусственный интеллект, проблемы и возможности2025
Кэшированная модель как ресурс: предоставление агентов больших языковых моделей для периферийного интеллекта в интегрированных космическо-воздушно-наземных сетях2026
Адаптация больших языковых моделей к задачам геотехники2026