Включение динамической семантики в предварительно обученную языковую модель для анализа тональности по аспектам

Анализ тональности по аспектам (ABSA) предназначен для прогнозирования полярности тональности, относящейся к конкретному аспекту в данном предложении. Хотя предварительно обученные языковые модели, такие как BERT, продемонстрировали высокую эффективность, включение динамических семантических изменений в ABSA остается сложной задачей. Для решения этой проблемы мы предлагаем Dynamic Re-weighting BERT (DR-BERT) — новый метод, предназначенный для изучения динамической семантики, ориентированной на аспекты, в рамках ABSA. В частности, сначала мы используем многослойный BERT в качестве основного кодировщика для выделения общей семантики предложения, а затем дообучаем модель, подключая облегченный адаптер динамического перевзвешивания (Dynamic Reweighting Adapter, DRA). На каждом шаге DRA уделяет пристальное внимание небольшому фрагменту предложения и перевзвешивает наиболее важные слова, улучшая понимание тональности с учетом аспекта. Наконец, результаты экспериментов на трех эталонных наборах данных демонстрируют эффективность и обоснованность предложенной модели и обеспечивают ценные интерпретируемые сведения для дальнейшего моделирования семантики.