Исследование пределов переносного обучения с унифицированным трансформером «текст-в-текст»

Переносное обучение, при котором модель сначала предварительно обучается на задаче с большим объемом данных, а затем дообучается на целевой задаче, стало мощной техникой в обработке естественного языка (NLP). Эффективность переносного обучения породила разнообразие подходов, методологий и практик. В этой работе мы исследуем ландшафт методов переносного обучения для NLP, представив унифицированную рамку, которая преобразует все текстовые языковые задачи в формат «текст-в-текст». В нашем систематическом исследовании мы сравниваем цели предварительного обучения, архитектуры, наборы немаркированных данных, подходы к переносному обучению и другие факторы на десятках задач понимания языка. Объединив полученные выводы с увеличением масштаба и нашим новым «Colossal Clean Crawled Corpus», мы достигаем передовых результатов на многих бенчмарках, охватывающих суммаризацию, вопросо-ответные задачи, классификацию текста и др. Для облегчения дальнейшей работы по переносному обучению в NLP мы публикуем наш набор данных, предварительно обученные модели и код.