ERNIE 2.0: Непрерывная рамочная схема дополнительного предобучения для понимания языка

ERNIE 2.0: A Continual Pre-Training Framework for Language Understanding
Haifeng Wang, Hua Ren Wu, Yu Sun, Shikun Feng, Hao Tian, Shuohuan Wang, Yukun Li
2020-04-03

ERNIE 2.0GLUE benchmarkнепрерывное многозадачное обучениенепрерывная предобучениелексические синтаксические семантические задачи предобучения
В последние годы предобученные модели достигли передовых результатов в различных задачах понимания языка. Текущие процедуры предобучения обычно сосредоточены на обучении модели нескольким простым задачам для улавливания со-встречаемости слов или предложений. Однако помимо информации о со-встречаемости в корпусах обучения содержится другая ценная лексическая, синтаксическая и семантическая информация, такая как именованные сущности, семантическая близость и дискурсивные отношения. Для извлечения лексической, синтаксической и семантической информации из корпов мы предлагаем непрерывную схему предобучения под названием ERNIE 2.0, которая поэтапно формирует предобучающие задачи и затем обучает предобученные модели на этих задачах посредством непрерывного многоцелевого обучения. На основе этой схемы мы конструируем несколько задач и обучаем модель ERNIE 2.0 захватывать лексические, синтаксические и семантические аспекты информации в обучающих данных. Экспериментальные результаты показывают, что модель ERNIE 2.0 превосходит BERT и XLNet по 16 задачам, включая английские задачи в бенчмарке GLUE и несколько аналогичных задач на китайском языке. Исходный код и предобученные модели опубликованы по адресу https://github.com/PaddlePaddle/ERNIE.
1
ERNIE 2.0 — это фреймворк непрерывной предварительной подготовки, который поэтапно строит задачи предобучения и использует непрерывное многозадачное обучение.
2
ERNIE 2.0, обученный на этих задачах, превосходит BERT и XLNet по 16 задачам, включая английский набор GLUE и несколько китайских задач.
3
Авторы публикуют исходный код и предобученные модели по адресу https://github.com/PaddlePaddle/ERNIE.
4
Фреймворк формирует задачи, нацеленные на извлечение лексической, синтаксической и семантической информации, помимо простых сигналов со-отношения слов.

Фреймворк непрерывной предобучения ERNIE 2.0 и его предобученная языковая модель

Извлечение и усвоение лексической, синтаксической и семантической информации посредством инкрементальных задач предобучения и непрерывного многозадачного обучения для повышения качества понимания языка

Publication Details
Publication Date
2020-04-03
Journal
Publisher
ISSN
Cited by
766
Access Type
Author Information
Authors
Haifeng Wang
Hua Ren Wu
Yu Sun
Shikun Feng
Hao Tian
Shuohuan Wang
Yukun Li
Explore further
Open the scid.ai AI chat with a ready-made request: it will find papers on a similar topic and help build a literature review.
Find similar papers in the chat →
Make a presentation
100%