Анализ тональности в эпоху больших языковых моделей: проверка реальностью

Анализ тональности (SA) является давним направлением исследований в области обработки естественного языка. Он позволяет получать содержательные сведения о человеческих чувствах и мнениях, благодаря чему вызывает значительный интерес как в академической среде, так и в промышленности. С появлением больших языковых моделей (LLM), таких как ChatGPT, возник значительный потенциал их применения для решения задач анализа тональности. Однако степень, в которой существующие LLM могут использоваться для различных задач анализа тональности, остается неясной. В данной статье проводится всестороннее исследование возможностей LLM при выполнении различных задач анализа тональности — от традиционной классификации тональности до анализа тональности на уровне аспектов и многоаспектного анализа субъективных текстов. Мы оцениваем производительность в 13 задачах на 26 наборах данных и сравниваем полученные результаты с результатами малых языковых моделей (SLM), обученных на предметно-ориентированных наборах данных. Наше исследование показывает, что, хотя LLM демонстрируют удовлетворительные результаты в более простых задачах, они уступают в более сложных задачах, требующих глубокого понимания или структурированной информации о тональности. Вместе с тем в условиях обучения на небольшом числе примеров LLM значительно превосходят SLM, что свидетельствует об их потенциале при ограниченных ресурсах для аннотирования. Мы также выявляем ограничения современных практик оценки при определении возможностей LLM в области анализа тональности и предлагаем новый эталонный тест SentiEval для более всесторонней и реалистичной оценки. Данные и код, использованные в нашем исследовании, доступны по адресу: https://github.com/DAMO-NLP-SG/LLM-Sentiment.