Предвзятость предварительно обученных языковых моделей: эмпирическое исследование анализа тональности и выявления эмоций на основе промптов
The Biases of Pre-Trained Language Models: An Empirical Study on Prompt-Based Sentiment Analysis and Emotion Detection
2022-09-08
SCID: 54.1/6xn5jyka
Discuss with AI
аффективные вычислениядетектирование эмоцийпредобученные языковые моделиклассификация на основе промптованализ тональности
Figures from the paper
Abstract (AI)
Благодаря прорыву в области технологий крупномасштабных предварительно обученных языковых моделей (PLM) всё большее внимание привлекают задачи классификации на основе промптов, например анализ тональности и выявление эмоций. Такие задачи формализуются как задачи предсказания замаскированных слов, что соответствует целям предварительного обучения большинства языковых моделей. Поэтому PLM можно использовать для вывода замаскированных слов в последующей прикладной задаче, а затем получать предсказания меток с помощью шаблонов отображения меток на слова, заданных вручную. Вычисление аффективных характеристик на основе промптов использует преимущества как моделирования нейронными сетями, так и интерпретируемых символических представлений. Однако механизмы PLM и классификации на основе промптов по-прежнему связаны с множеством неясных вопросов. Мы проводим систематическое эмпирическое исследование анализа тональности и выявления эмоций на основе промптов, чтобы изучить предвзятость PLM в задачах вычисления аффективных характеристик. Мы обнаруживаем, что PLM демонстрируют предвзятость в задачах анализа тональности и выявления эмоций, связанную с количеством классов меток, выбором слов-меток для эмоций, шаблонами и позициями промптов, а также формами слов в лексиконах эмоций.
Key Findings
1
Предсказания моделей чувствительны к выбору эмоциональных слов-меток, а также к конструкции и позиции шаблонов подсказок.
2
Предварительно обученные языковые модели демонстрируют смещения, связанные с количеством классов меток в задачах аффективной классификации.
3
Классификация аффективных характеристик на основе подсказок объединяет вывод языковой модели с вручную заданными символьными соответствиями меток и слов, поэтому выбор соответствий и шаблонов существенно влияет на результаты.
4
В исследовании систематически изучаются смещения предварительно обученных языковых моделей в задачах анализа тональности и распознавания эмоций на основе подсказок.
5
Формы слов, используемые в эмоциональных лексиконах, вносят дополнительные смещения в предсказания тональности и эмоций.
Research Object
предобученные языковые модели, используемые для анализа тональности и выявления эмоций на основе промптов
Research Subject
смещения в задачах аффективных вычислений, обусловленные количеством классов меток, выбором слов-меток эмоций, шаблонами и позициями промптов, а также формами слов в лексиконах эмоций
Publication Details
Publication Date
2022-09-08
Journal
Publisher
ISSN
Cited by
242
Access Type
Author Information
Download PDF
Subscribe to digest
Источники этой статьи в scid.ai6
Transformers: современное состояние обработки естественного языка2020
VADER: экономная модель на основе правил для анализа тональности текстов социальных медиа2014
Предварительное обучение, промптинг и предсказание: систематический обзор методов промптинга в обработке естественного языка2022
Система нейронного машинного перевода Google: сокращение разрыва между человеческим и машинным переводом2016
Фреймворк Aion: размерное возникновение сознания ИИ, коллапс под воздействием наблюдателя и динамика космологических порталов2023
Конвейер с поддержкой искусственного интеллекта для динамической генерации достоверного контента о пищевых добавках в больших масштабах2022