Адаптация глубоких двунаправленных многоязычных трансформеров для русского языка

В статье представлены методы адаптации многоязычных маскированных языковых моделей к конкретному языку. Предобученные двунаправленные языковые модели демонстрируют передовые результаты по широкому кругу задач, включая понимание текста (reading comprehension), распознавание логических отношений в тексте (natural language inference) и анализ тональности. В настоящее время существуют два альтернативных подхода к обучению таких моделей: монолингвальный и многоязычный. В то время как специализированные для конкретного языка модели показывают лучшее качество, многоязычные модели позволяют переносить знания между языками и одновременно решать задачи для разных языков. В работе показано, что перенос обучения от многоязычной модели к монолингвальной приводит к существенному росту производительности в задачах понимания текста, обнаружения парафраз и анализа тональности. Кроме того, многоязычная инициализация монолингвальной модели существенно сокращает время обучения. Предобученные модели для русского языка опубликованы с открытым исходным кодом.