ERNIE 2.0: Непрерывная рамочная схема дополнительного предобучения для понимания языка

В последние годы предобученные модели достигли передовых результатов в различных задачах понимания языка. Текущие процедуры предобучения обычно сосредоточены на обучении модели нескольким простым задачам для улавливания со-встречаемости слов или предложений. Однако помимо информации о со-встречаемости в корпусах обучения содержится другая ценная лексическая, синтаксическая и семантическая информация, такая как именованные сущности, семантическая близость и дискурсивные отношения. Для извлечения лексической, синтаксической и семантической информации из корпов мы предлагаем непрерывную схему предобучения под названием ERNIE 2.0, которая поэтапно формирует предобучающие задачи и затем обучает предобученные модели на этих задачах посредством непрерывного многоцелевого обучения. На основе этой схемы мы конструируем несколько задач и обучаем модель ERNIE 2.0 захватывать лексические, синтаксические и семантические аспекты информации в обучающих данных. Экспериментальные результаты показывают, что модель ERNIE 2.0 превосходит BERT и XLNet по 16 задачам, включая английские задачи в бенчмарке GLUE и несколько аналогичных задач на китайском языке. Исходный код и предобученные модели опубликованы по адресу https://github.com/PaddlePaddle/ERNIE.