Дообучение предварительно обученных трансформерных моделей с переносом, управляемым сходством языков, для анализа тональности в 12 региональных языках Индонезии

Анализ тональности для региональных языков Индонезии сталкивается с двумя постоянными проблемами: для большинства региональных вариантов крайне мало размеченных обучающих данных, а трансформерные модели, предварительно обученные на индонезийском языке (Bahasa Indonesia), ненадёжно обобщаются на языки с существенно отличающейся морфологической структурой. Предшествующие исследования на бенчмарке NusaX в основном опирались на прямое дообучение, рассматривая каждый региональный язык независимо и не используя лингвистическую близость родственных языков в качестве сигнала для переноса. В данной работе предлагается перенос, управляемый сходством языков (Language-Similarity-Guided Transfer, LSGT), — последовательная стратегия дообучения, при которой предварительно обученная модель сначала адаптируется к языку-посреднику, выбранному на основе сходства символьных триграмм, а затем дообучается на целевом языке. Четыре трансформерные модели оцениваются на всех 12 языках NusaX с использованием официальных разбиений на обучающую, валидационную и тестовую выборки: IndoBERT, NusaBERT, mBERT и XLM-R. Качество оценивается по четырём метрикам: точности, макро-F1, макро precision и макро recall. Экспериментальные результаты показывают, что LSGT повышает макро-F1 в 44 из 48 комбинаций «модель — язык», демонстрируя, что сама стратегия дообучения является существенным фактором межъязыковой классификации тональности в условиях ограниченных ресурсов. XLM-R получает наибольшую пользу от LSGT: среднее улучшение составляет +0.137 макро-F1, а максимальный прирост достигает +0.298 для мадурского языка. Дополнительный анализ атрибуции токенов на основе SHAP показывает, что предсказания в значительной степени опираются на именованные сущности и предметно-специфические существительные, а не на лексику, выражающую тональность, что указывает на систематическое смещение на уровне набора данных, унаследованное от исходного корпуса SmSA и распространённое через конвейер перевода NusaX.