XLM-T: Многоязычные языковые модели в Twitter для анализа тональности и не только

Языковые модели широко используются в современном обработке естественного языка (NLP), и их многоязычные возможности в последнее время привлекают значительное внимание. Однако современные исследования почти исключительно сосредоточены на (многоязычных версиях) стандартных бенчмарков и используют очищенные корпуса для предварительного обучения и корпусы, специфичные для конкретных задач, в качестве многоязычных сигналов. В этой работе мы представляем XLM-T — модель для обучения и оценки многоязычных языковых моделей на данных Twitter. Мы предлагаем: (1) новый сильный многоязычный базовый метод, включающий модель XLM-R (Conneau et al., 2020), предварительно обученную на миллионах твитов более чем на тридцати языках, а также начальный код для последующей тонкой настройки под целевую задачу; и (2) набор унифицированных наборов данных Twitter для анализа тональности на восьми различных языках, а также модель XLM-T, дообученную на этих данных.