Последние достижения в области обработки естественного языка с использованием крупномасштабных предварительно обученных языковых моделей: обзор

Крупномасштабные предварительно обученные языковые модели (PLM), такие как BERT и GPT, кардинально изменили область обработки естественного языка (NLP). В многочисленных задачах NLP подходы, использующие PLM, достигли передовых результатов. Ключевая идея заключается в том, чтобы один раз обучить обобщённое латентное представление языка на основе универсальной задачи, а затем использовать его в различных задачах NLP. В качестве универсальной задачи применяется языковое моделирование, поскольку для масштабного обучения доступно большое количество текстовых данных, размеченных в рамках самоконтролируемого обучения. В статье изложены фундаментальные концепции архитектур PLM и представлен всесторонний обзор перехода к методам NLP на основе PLM. Рассматриваются исследования, посвящённые подходам, включающим предварительное обучение с последующей тонкой настройкой, промптинг и генерацию текста. Кроме того, обсуждаются ограничения PLM и предлагаемые направления дальнейших исследований.