О влиянии языковых нюансов на анализ тональности с использованием больших языковых моделей: перефразирование, сарказм и эмодзи

Большие языковые модели (LLM) продемонстрировали впечатляющую эффективность в решении различных задач, включая анализ тональности. Однако качество данных, особенно полученных из социальных сетей, может существенно влиять на их точность. В данном исследовании изучается влияние текстовых нюансов, включая эмодзи и сарказм, на анализ тональности, при этом особое внимание уделяется повышению качества данных с помощью методов перефразирования текста. Для восполнения недостатка размеченных данных о сарказме авторы создали набор данных из 5929 твитов с разметкой, выполненной людьми, что позволило оценить LLM в различных контекстах использования сарказма. Результаты показывают, что при дообучении LLM на предметно-ориентированных наборах данных, например связанных с ядерной энергетикой, эти модели не способны точно интерпретировать тональность при наличии сарказма из-за недостаточного разнообразия текстов; для повышения точности модели требуются внешние вмешательства, такие как удаление сарказма. Удаление сарказма повысило точность определения тональности на 17%, поскольку LLM, обученные на материалах, связанных с ядерной энергетикой, испытывали трудности при обработке саркастических твитов и достигали точности лишь 30%. Напротив, LLM, обученные на общих наборах данных твитов, охватывающих более широкий спектр тем, продемонстрировали значительное улучшение при прогнозировании тональности саркастических твитов, достигнув точности 60%; это указывает на то, что включение общетематических текстовых данных может повысить эффективность обнаружения сарказма. В исследовании также применялось состязательное расширение текстовых данных: было показано, что создание синтетических вариантов текста путем внесения небольших изменений значительно повышает робастность моделей и точность их работы с саркастическими твитами — примерно до 85%. Кроме того, перефразирование твитов с фрагментарным языком преобразовало около 40% твитов с метками низкой уверенности в твиты с метками высокой уверенности, повысив точность анализа тональности с помощью LLM на 6%. Наконец, эмодзи не оказали существенного влияния на анализ тональности текстов, связанных с ядерной энергетикой, что позволяет предположить: в определенных контекстах эмодзи могут скорее усиливать, чем раскрывать тональность.