Исследование пределов трансферного обучения с помощью унифицированного преобразователя текста в текст
Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer
2019-10-23
SCID: 54.1/y4yj9rjq
Discuss with AI
Colossal Clean Crawled Corpusзадачи понимания языкаобработка естественного языкаархитектура текст-в-тексттрансферное обучение
Figures from the paper
Abstract (AI)
Трансферное обучение, при котором модель сначала предварительно обучается на задаче с большим объемом данных, а затем дообучается для решения последующей задачи, стало мощным методом обработки естественного языка (NLP). Эффективность трансферного обучения привела к появлению множества подходов, методологий и практик. В этой работе мы исследуем спектр методов трансферного обучения для NLP, представляя унифицированную структуру, которая преобразует все текстовые языковые задачи в формат «текст-в-текст». В рамках систематического исследования мы сравниваем цели предварительного обучения, архитектуры, неразмеченные наборы данных, подходы к переносу и другие факторы для десятков задач понимания языка. Объединив результаты нашего исследования с масштабированием и новым «Colossal Clean Crawled Corpus», мы достигаем передовых результатов на множестве наборов тестов, охватывающих реферирование, ответы на вопросы, классификацию текста и другие задачи. Для содействия дальнейшим исследованиям трансферного обучения в области NLP мы публикуем наш набор данных, предварительно обученные модели и программный код.
Key Findings
1
Систематическое исследование сравнивает цели предварительного обучения, архитектуры моделей, неразмеченные наборы данных, стратегии переноса и другие факторы на десятках задач понимания языка.
2
Объединение результатов исследования с увеличением масштаба моделей и корпусом Colossal Clean Crawled Corpus обеспечивает результаты уровня state-of-the-art на бенчмарках по суммаризации, ответам на вопросы, классификации текста и другим задачам.
3
Авторы публикуют Colossal Clean Crawled Corpus, предварительно обученные модели и исходный код для поддержки дальнейших исследований переноса знаний в обработке естественного языка.
4
В статье представлена унифицированная схема text-to-text, в которой различные задачи обработки естественного языка сводятся к единому формату.
Research Object
Унифицированная текст-в-текст трансформерная рамка для обработки естественного языка (включая Colossal Clean Crawled Corpus и предобученные модели)
Research Subject
эффективность и ограничения целей предварительного обучения, архитектур, неразмеченных наборов данных и подходов к переносу на различных задачах обработки естественного языка
Publication Details
Publication Date
2019-10-23
Journal
Publisher
ISSN
Cited by
31232
Open access PDF
Access Type
Author Information
Download PDF
Subscribe to digest
Источники этой статьи в scid.ai9
Глубокое остаточное обучение для распознавания изображений2016
ImageNet: крупномасштабная иерархическая база изображений2009
Дистилляция знаний в нейронной сети2015
Распределённые представления слов и фраз и их композиционность2013
Обучение «последовательность-в-последовательность» с помощью нейронных сетей2014
Рекурсивные глубокие модели для семантической композицией по дереву тональности2013
Система нейронного машинного перевода Google: сокращение разрыва между человеческим и машинным переводом2016
Механизм самовнимания с представлениями относительных позиций2018
TinyBERT: дистилляция BERT для задач понимания естественного языка2020
Работы, цитирующие эту статью20
Swin Transformer: Иерархический визуальный трансформер с использова́нием сдвинутых окон2021
Transformers: современное состояние обработки естественного языка2020
Обзор больших языковых моделей2026
Плотный поиск фрагментов текста для ответов на вопросы в открытом домене2020
Предварительное обучение, промптинг и предсказание: систематический обзор методов промптинга в обработке естественного языка2022
Большие языковые модели кодируют клинические знания2023
Интеллект, компилируемый через аффордансы: наблюдаемое сопоставление когнитивных импедансов для LLM-интегрированных систем без мета-доступа2020
Затерянные в середине: как языковые модели используют длинные контексты2024
Всесторонний обзор больших языковых моделей2025
Transformers от HuggingFace: современные методы обработки естественного языка2019
CodeBERT: предобученная модель для языков программирования и естественных языков2020
Swin Transformer V2: увеличение ёмкости и разрешения2022
Объединение больших языковых моделей и графов знаний: дорожная карта2024
ChatGPT: комплексный обзор предпосылок создания, применений, ключевых проблем, предвзятости, этических аспектов, ограничений и перспектив развития2023
BloombergGPT: большая языковая модель для финансов2023
Предобученный трансформер для обработки изображений2021
Video Swin Transformer2022
🧜Песнь сирены в океане ИИ: обзор галлюцинаций в больших языковых моделях2025
WavLM: крупномасштабное самосупервизорное предварительное обучение для комплексной обработки речи2022
TinyBERT: дистилляция BERT для задач понимания естественного языка2020