TinyBERT: дистилляция BERT для задач понимания естественного языка

Предобучение языковых моделей, таких как BERT, существенно повысило качество многих задач обработки естественного языка. Однако предобученные языковые модели обычно вычислительно затратны, что затрудняет их эффективное выполнение на устройствах с ограниченными ресурсами. Для ускорения вывода и уменьшения размера модели при сохранении точности мы сначала предлагаем новый метод дистилляции Transformer, специально разработанный для knowledge distillation (KD) моделей на основе Transformer. Используя этот метод KD, обширные знания, закодированные в большой «учительской» модели BERT, могут быть эффективно переданы небольшой «студентской» модели TinyBERT. Далее мы вводим новую двухэтапную обучающую схему для TinyBERT, которая выполняет дистилляцию Transformer как на этапе предобучения, так и на этапе обучения, специфичного для задачи. Эта схема обеспечивает захват TinyBERT как знаний общего домена, так и знаний, специфичных для конкретной задачи, присутствующих в BERT.