GLM: предварительное обучение общей языковой модели с авторегрессионным заполнением пропусков

GLM: General Language Model Pretraining with Autoregressive Blank Infilling
Xiao Liu, Jiezhong Qiu, Ming Ding, Zhilin Yang, Yujie Qian, Zhengxiao Du, Jie Tang
2022-01-01
SCID:  54.1/kc4nwarc Discuss with AI
GLMавторегрессионное заполнение пропусковпредобучение общей языковой моделипредобучение языковой модели
Abstract (AI)
Zhengxiao Du, Yujie Qian, Xiao Liu, Ming Ding, Jiezhong Qiu, Zhilin Yang, Jie Tang. Материалы 60-го ежегодного собрания Ассоциации компьютерной лингвистики (том 1: длинные статьи). 2022.
Key Findings
1
GLM сочетает заполнение пропусков с авторегрессионной генерацией, обеспечивая использование двунаправленного контекста и поддержку генерации последовательностей.
2
Метод предложен как единый подход к предварительному обучению для задач понимания и генерации естественного языка.
3
В статье представлен GLM — универсальный подход к предварительному обучению языковых моделей на основе авторегрессионного заполнения пропусков.
Research Object

универсальные языковые модели, предварительно обученные с помощью авторегрессионного заполнения пропусков

Research Subject

эффективность предварительного обучения языковому моделированию с помощью авторегрессионного заполнения пропусков

Publication Details
Publication Date
2022-01-01
Journal
Publisher
ISSN
Cited by
954
Access Type
Author Information
Authors
Xiao Liu
Jiezhong Qiu
Ming Ding
Zhilin Yang
Yujie Qian
Zhengxiao Du
Jie Tang
Explore further
Open the scid.ai AI chat with a ready-made request: it will find papers on a similar topic and help build a literature review.
Find similar papers in the chat →
Make a presentation
100%