Обзор больших языковых моделей для арабского языка и его диалектов

В этом обзоре представлен всесторонний анализ больших языковых моделей (LLM), разработанных для арабского языка и его диалектов. Модели классифицируются по архитектуре (только кодировщик, только декодер и кодировщик–декодер), а также по языковой разновидности, включая классический арабский язык, современный литературный арабский язык и диалектный арабский язык. Анализируются одноязычные, двуязычные и многоязычные модели, а их производительность оценивается на таких задачах, как анализ тональности, распознавание именованных сущностей и ответы на вопросы. Кроме того, оценивается открытость моделей с учетом таких факторов, как доступ к исходному коду, обучающим данным, весам и документации. Результаты показывают, что основная часть ресурсов сосредоточена на современном литературном арабском языке (MSA), разнообразных диалектных наборов данных недостаточно, а многие модели характеризуются ограниченной прозрачностью. Эта работа представляет собой первое систематическое сравнение открытости и лингвистического охвата арабских больших языковых моделей, а также обозначает ключевые проблемы и перспективные направления исследований, необходимые для развития более инклюзивной, воспроизводимой и репрезентативной обработки арабского языка (NLP).