Сравнительный анализ глубоких нейронных сетей и больших языковых моделей для аспектно-ориентированного анализа тональности

Comparative Analysis of Deep Natural Networks and Large Language Models for Aspect-Based Sentiment Analysis
Sarang Shaikh, Sher Muhammad Daudpota, Nimra Mughal, Ghulam Mujtaba, A.Hemanth kumar, Aveenash Kumar
2024-01-01

SemEval16анализ тональности аспектных терминоваспектно-ориентированный анализ тональностичувствительность к предметной областибольшие языковые модели
Анализ тональности имеет важное значение для понимания общественного мнения, особенно в контексте электронной коммерции и расширения онлайн-бизнеса. Ранние подходы рассматривали анализ тональности как задачу классификации на уровне документа или предложения и не позволяли выявлять нюансированные мнения о конкретных аспектах. Это ограничение было устранено благодаря развитию аспектно-ориентированного анализа тональности (ABSA), который связывает тональность с конкретными аспектами, упомянутыми в отзыве явно или неявно. ABSA является относительно новой областью анализа тональности, а существующие модели ABSA сталкиваются с тремя основными проблемами: зависимостью от предметной области, опорой на размеченные данные и недостаточной изученностью потенциала новых больших языковых моделей (LLM), таких как GPT, PaLM и T5. С использованием разнообразного набора наборов данных, включая DOTSA, MAMS и SemEval16, мы оцениваем эффективность таких известных моделей, как ATAE-LSTM, Flan-T5-Large-ABSA, DeBERTa, PaLM и GPT-3.5-Turbo. Полученные результаты выявляют специфические сильные и слабые стороны этих моделей в различных предметных областях: DeBERTa демонстрирует стабильно высокую эффективность, а PaLM показывает значительную конкурентоспособность в задачах анализа тональности аспектных терминов (ATSA). Кроме того, PaLM демонстрирует конкурентоспособные результаты во всех предметных областях, использованных в экспериментах, включая отзывы о ресторанах, отелях, книгах, одежде и фильмах. Примечательно, что анализ подчёркивает чувствительность моделей к предметной области и показывает различия в их эффективности как для задач ATSA, так и для задач анализа тональности аспектных категорий (ACSA). Эти результаты способствуют более глубокому пониманию применимости моделей и обозначают потенциальные направления совершенствования исследований и разработки методов ABSA.
1
DeBERTa демонстрирует стабильно высокую производительность в рассмотренных задачах анализа тональности по аспектам.
2
Эффективность моделей зависит от предметной области, что указывает на чувствительность к домену в задачах анализа тональности терминов и категорий аспектов.
3
PaLM показывает высокую конкурентоспособность в анализе тональности терминов аспектов и конкурентные результаты в отзывах о ресторанах, отелях, книгах, одежде и фильмах.
4
Сравнение выявляет сохраняющиеся проблемы ABSA: зависимость от предметной области и размеченных данных, а также недостаточную изученность больших языковых моделей.
5
В исследовании сравниваются ATAE-LSTM, Flan-T5-large-ABSA, DeBERTa, PaLM и GPT-3.5-Turbo на наборах данных DOTSA, MAMS и SemEval16.

Глубокие нейронные сети и большие языковые модели, применяемые для анализа тональности на основе аспектов в отзывах о ресторанах, отелях, книгах, одежде и фильмах

Сравнительная эффективность, чувствительность к предметной области и применимость этих моделей для анализа тональности аспектных терминов и анализа тональности аспектных категорий

Publication Details
Publication Date
2024-01-01
Journal
Publisher
ISSN
Cited by
64
Access Type
Author Information
Authors
Sarang Shaikh
Sher Muhammad Daudpota
Nimra Mughal
Ghulam Mujtaba
A.Hemanth kumar
Aveenash Kumar
Explore further
Open the scid.ai AI chat with a ready-made request: it will find papers on a similar topic and help build a literature review.
Find similar papers in the chat →
Make a presentation
100%