Анализ тональности в эпоху больших языковых моделей: проверка реальностью

Анализ тональности (SA) уже давно является одним из направлений исследований в области обработки естественного языка. Недавнее появление больших языковых моделей (LLM) открывает значительные возможности для их применения к задачам анализа тональности. Однако степень, в которой современные LLM могут использоваться для решения различных задач анализа тональности, остается неясной. В данной работе проводится всестороннее исследование возможностей LLM при выполнении различных задач анализа тональности — от традиционной классификации тональности до аспектно-ориентированного анализа тональности и многоаспектного анализа субъективных текстов. Мы оцениваем производительность моделей в 13 задачах на 26 наборах данных и сопоставляем результаты с результатами малых языковых моделей (SLM), обученных на предметно-ориентированных наборах данных. Наше исследование показывает, что, хотя LLM демонстрируют удовлетворительные результаты в более простых задачах, они уступают в более сложных задачах, требующих глубокого понимания специфических явлений тональности или структурированной информации о тональности. Однако в условиях обучения по небольшому числу примеров LLM значительно превосходят SLM, что указывает на их потенциал при ограниченных ресурсах аннотирования. Мы также отмечаем ограничения современных практик оценки при определении способностей LLM в области анализа тональности и предлагаем новый бенчмарк SENTIEVAL для более всесторонней и реалистичной оценки. Данные и код доступны по адресу: https://github.com/DAMO-NLP-SG/LLM-Sentiment.