Исследование пределов трансферного обучения с помощью унифицированного преобразователя текста в текст

Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer
Noam Shazeer, Katherine Lee, Sharan Narang, Colin Raffel, Adam Paul Roberts, Peter J. Liu, Michael S Matena, Yanqi Zhou, Wei Li, Peter J. Liu, Adam Roberts, Roberts, Adam
2019-10-23

Colossal Clean Crawled Corpusзадачи понимания языкаобработка естественного языкаархитектура текст-в-тексттрансферное обучение
Трансферное обучение, при котором модель сначала предварительно обучается на задаче с большим объемом данных, а затем дообучается для решения последующей задачи, стало мощным методом обработки естественного языка (NLP). Эффективность трансферного обучения привела к появлению множества подходов, методологий и практик. В этой работе мы исследуем спектр методов трансферного обучения для NLP, представляя унифицированную структуру, которая преобразует все текстовые языковые задачи в формат «текст-в-текст». В рамках систематического исследования мы сравниваем цели предварительного обучения, архитектуры, неразмеченные наборы данных, подходы к переносу и другие факторы для десятков задач понимания языка. Объединив результаты нашего исследования с масштабированием и новым «Colossal Clean Crawled Corpus», мы достигаем передовых результатов на множестве наборов тестов, охватывающих реферирование, ответы на вопросы, классификацию текста и другие задачи. Для содействия дальнейшим исследованиям трансферного обучения в области NLP мы публикуем наш набор данных, предварительно обученные модели и программный код.
1
Систематическое исследование сравнивает цели предварительного обучения, архитектуры моделей, неразмеченные наборы данных, стратегии переноса и другие факторы на десятках задач понимания языка.
2
Объединение результатов исследования с увеличением масштаба моделей и корпусом Colossal Clean Crawled Corpus обеспечивает результаты уровня state-of-the-art на бенчмарках по суммаризации, ответам на вопросы, классификации текста и другим задачам.
3
Авторы публикуют Colossal Clean Crawled Corpus, предварительно обученные модели и исходный код для поддержки дальнейших исследований переноса знаний в обработке естественного языка.
4
В статье представлена унифицированная схема text-to-text, в которой различные задачи обработки естественного языка сводятся к единому формату.

Унифицированная текст-в-текст трансформерная рамка для обработки естественного языка (включая Colossal Clean Crawled Corpus и предобученные модели)

эффективность и ограничения целей предварительного обучения, архитектур, неразмеченных наборов данных и подходов к переносу на различных задачах обработки естественного языка

Publication Details
Publication Date
2019-10-23
Journal
Publisher
ISSN
Cited by
31232
Access Type
Author Information
Authors
Noam Shazeer
Katherine Lee
Sharan Narang
Colin Raffel
Adam Paul Roberts
Peter J. Liu
Michael S Matena
Yanqi Zhou
Wei Li
Peter J. Liu
Adam Roberts
Roberts, Adam
Explore further
Open the scid.ai AI chat with a ready-made request: it will find papers on a similar topic and help build a literature review.
Find similar papers in the chat →
Make a presentation
100%