Pre-train, Prompt, and Predict: Систематический обзор методов использования подсказок в обработке естественного языка

В статье дается обзор и систематизация исследований в новой парадигме в обработке естественного языка, которую мы называем «обучением на основе подсказок» (prompt-based learning). В отличие от традиционного контролируемого обучения, при котором модель обучается принимать на вход x и предсказывать выход y как P(y|x), обучение на основе подсказок опирается на языковые модели, которые непосредственно моделируют вероятность текста. Для использования таких моделей в задачах предсказания исходный ввод x преобразуется с помощью шаблона в текстовую подсказку x', содержащую незаполненные слоты; языковая модель затем вероятностно заполняет эти слоты, получая итоговую строку x̂, из которой можно вывести окончательный результат y. Эта схема эффективна и привлекательна по ряду причин: она позволяет предварительно обучать модель на огромных объемах неразмеченного текста, и путем определения новой функции подсказки модель может выполнять обучение с малым числом примеров (few-shot) или даже без примеров (zero-shot), адаптируясь к новым сценариям при наличии мало или вовсе без размеченных данных. В статье мы вводим основы этой перспективной парадигмы, приводим единый набор математических обозначений, покрывающих широкий круг существующих работ, и структурируем имеющиеся исследования по нескольким измерениям, например по выбору предварительно обученных языковых моделей, форм подсказок и стратегий дообучения. Чтобы сделать поле более доступным для заинтересованных новичков, мы не только даем систематический обзор существующих работ и строго структурированную типологию концепций на основе подсказок, но и публикуем дополнительные ресурсы, включая сайт NLPedia–Pretrain с постоянно обновляемым обзором и списком статей.