Предварительное обучение, промптинг и предсказание: систематический обзор методов промптинга в обработке естественного языка
Pre-train, Prompt, and Predict: A Systematic Survey of Prompting Methods in Natural Language Processing
2022-09-14
SCID: 54.1/9xc62kpu
Discuss with AI
обучение в режиме малого числа примеровобработка естественного языкапредобученные языковые моделиобучение на основе промптовобучение без примеров
Figures from the paper
Abstract (AI)
В статье рассматриваются и систематизируются научные работы, посвящённые новой парадигме в обработке естественного языка, которую мы называем «обучением на основе промптов». В отличие от традиционного обучения с учителем, при котором модель обучается принимать входные данные x и предсказывать выходные данные y согласно P(y|x), обучение на основе промптов опирается на языковые модели, непосредственно моделирующие вероятность текста. Чтобы использовать такие модели для решения задач предсказания, исходные входные данные x с помощью шаблона преобразуются в текстовую строку-промпт x′ с незаполненными позициями, после чего языковая модель вероятностным образом заполняет отсутствующую информацию, формируя итоговую строку x̂, из которой можно получить окончательный результат y. Эта схема привлекательна и эффективна по целому ряду причин: она позволяет предварительно обучать языковую модель на огромных массивах необработанного текста, а за счёт определения новой функции промптинга модель способна выполнять обучение по небольшому числу примеров или даже обучение без примеров, адаптируясь к новым сценариям при наличии небольшого количества размеченных данных или их полном отсутствии. В статье излагаются основы этой перспективной парадигмы, описывается унифицированная система математических обозначений, охватывающая широкий спектр существующих работ, а также систематизируются исследования по нескольким направлениям, включая выбор предварительно обученных языковых моделей, промптов и стратегий настройки. Чтобы сделать эту область более доступной для начинающих исследователей, мы не только проводим систематический обзор существующих работ и предлагаем детально структурированную типологию понятий, связанных с промптингом, но и публикуем дополнительные ресурсы, включая веб-сайт NLPedia–Pretrain с постоянно обновляемыми обзором и списком статей.
Key Findings
1
Обучение на основе подсказок отличается от традиционного обучения с учителем использованием языковых моделей, напрямую моделирующих вероятности текста, а не P(y|x).
2
Подсказки обеспечивают адаптацию к новым сценариям в режимах few-shot и zero-shot благодаря масштабному предварительному обучению и специальным функциям подсказок.
3
Авторы предлагают систематический обзор, структурированную типологию концепций и постоянно обновляемый веб-ресурс NLPedia–Pretrain со списком публикаций.
4
Статья определяет обучение на основе подсказок как преобразование входных данных в текстовые шаблоны с незаполненными слотами, которые языковые модели заполняют для получения ответа.
5
Обзор вводит унифицированные математические обозначения и систематизирует исследования по предварительно обученным моделям, дизайну подсказок и стратегиям настройки.
Research Object
Парадигма prompt-based learning в области обработки естественного языка (использование предварительно обученных языковых моделей и текстовых промптов для выполнения задач предсказания)
Research Subject
методы, формализации и стратегии разработки и настройки промптов для выполнения предсказаний в режимах обучения по небольшому числу примеров и без примеров
Publication Details
Publication Date
2022-09-14
Journal
Publisher
ISSN
Cited by
5724
Open access PDF
Access Type
Author Information
Download PDF
Subscribe to digest
Источники этой статьи в scid.ai7
Исследование пределов трансферного обучения с помощью унифицированного преобразователя текста в текст2019
Обучение представлений: обзор и новые перспективы2013
Нейронный машинный перевод посредством совместного обучения выравниванию и переводу2014
Сверточные нейронные сети для классификации предложений2014
Распознавание речи с помощью глубоких рекуррентных нейронных сетей2013
Оценка больших языковых моделей, обученных на коде2021
REALM: предварительное обучение языковой модели с дополнением за счет извлечения информации2020
Работы, цитирующие эту статью20
Обзор больших языковых моделей2026
Большие языковые модели кодируют клинические знания2023
Осмысление будущего искусственного интеллекта в учебной аудитории: значение грамотности в области ИИ, инженерии запросов и критического мышления в современном образовании2024
Генеративный искусственный интеллект2023
BioGPT: генеративный предварительно обученный трансформер для генерации и интеллектуального анализа биомедицинских текстов2022
Последние достижения в области обработки естественного языка с использованием крупномасштабных предварительно обученных языковых моделей: обзор2023
Автономные химические исследования с использованием больших языковых моделей2023
Мультимодальное обучение с трансформерами: обзор2023
Раскрытие потенциала инженерии промптов для больших языковых моделей2025
Рекомендации по проектированию промптов для генеративных моделей преобразования текста в изображение2022
Генерация с активным дополнением посредством поиска2023
Обзор больших языковых моделей: архитектуры, приложения, таксономии, нерешённые вопросы и проблемы2024
Обучение речевых представлений с самоконтролем: обзор2022
ExpeL: агенты на основе больших языковых моделей — обучающиеся на опыте2024
Регулирование ChatGPT и других больших генеративных моделей ИИ2023
Методы машинного обучения для решения задач, связанных с малыми объемами данных в молекулярной науке2023
Большие языковые модели для кибербезопасности: систематический обзор литературы2025
Грамотность в области искусственного интеллекта и ее значение для стратегий разработки промптов2024
Обзор больших языковых моделей для генерации кода2025
Предвзятость предварительно обученных языковых моделей: эмпирическое исследование анализа тональности и выявления эмоций на основе промптов2022