Предварительное обучение, промптинг и предсказание: систематический обзор методов промптинга в обработке естественного языка

Pre-train, Prompt, and Predict: A Systematic Survey of Prompting Methods in Natural Language Processing
Graham Neubig, Zhengbao Jiang, Pengfei Liu, Weizhe Yuan, Jinlan Fu, Hiroaki Hayashi
2022-09-14

обучение в режиме малого числа примеровобработка естественного языкапредобученные языковые моделиобучение на основе промптовобучение без примеров
В статье рассматриваются и систематизируются научные работы, посвящённые новой парадигме в обработке естественного языка, которую мы называем «обучением на основе промптов». В отличие от традиционного обучения с учителем, при котором модель обучается принимать входные данные x и предсказывать выходные данные y согласно P(y|x), обучение на основе промптов опирается на языковые модели, непосредственно моделирующие вероятность текста. Чтобы использовать такие модели для решения задач предсказания, исходные входные данные x с помощью шаблона преобразуются в текстовую строку-промпт x′ с незаполненными позициями, после чего языковая модель вероятностным образом заполняет отсутствующую информацию, формируя итоговую строку x̂, из которой можно получить окончательный результат y. Эта схема привлекательна и эффективна по целому ряду причин: она позволяет предварительно обучать языковую модель на огромных массивах необработанного текста, а за счёт определения новой функции промптинга модель способна выполнять обучение по небольшому числу примеров или даже обучение без примеров, адаптируясь к новым сценариям при наличии небольшого количества размеченных данных или их полном отсутствии. В статье излагаются основы этой перспективной парадигмы, описывается унифицированная система математических обозначений, охватывающая широкий спектр существующих работ, а также систематизируются исследования по нескольким направлениям, включая выбор предварительно обученных языковых моделей, промптов и стратегий настройки. Чтобы сделать эту область более доступной для начинающих исследователей, мы не только проводим систематический обзор существующих работ и предлагаем детально структурированную типологию понятий, связанных с промптингом, но и публикуем дополнительные ресурсы, включая веб-сайт NLPedia–Pretrain с постоянно обновляемыми обзором и списком статей.
1
Обучение на основе подсказок отличается от традиционного обучения с учителем использованием языковых моделей, напрямую моделирующих вероятности текста, а не P(y|x).
2
Подсказки обеспечивают адаптацию к новым сценариям в режимах few-shot и zero-shot благодаря масштабному предварительному обучению и специальным функциям подсказок.
3
Авторы предлагают систематический обзор, структурированную типологию концепций и постоянно обновляемый веб-ресурс NLPedia–Pretrain со списком публикаций.
4
Статья определяет обучение на основе подсказок как преобразование входных данных в текстовые шаблоны с незаполненными слотами, которые языковые модели заполняют для получения ответа.
5
Обзор вводит унифицированные математические обозначения и систематизирует исследования по предварительно обученным моделям, дизайну подсказок и стратегиям настройки.

Парадигма prompt-based learning в области обработки естественного языка (использование предварительно обученных языковых моделей и текстовых промптов для выполнения задач предсказания)

методы, формализации и стратегии разработки и настройки промптов для выполнения предсказаний в режимах обучения по небольшому числу примеров и без примеров

Publication Details
Publication Date
2022-09-14
Journal
Publisher
ISSN
Cited by
5724
Access Type
Author Information
Authors
Graham Neubig
Zhengbao Jiang
Pengfei Liu
Weizhe Yuan
Jinlan Fu
Hiroaki Hayashi
Explore further
Open the scid.ai AI chat with a ready-made request: it will find papers on a similar topic and help build a literature review.
Find similar papers in the chat →
Make a presentation
100%