Разработка классификатора онлайн-языка ненависти для нескольких платформ социальных сетей

Developing an online hate classifier for multiple social media platforms
Shammur Absar Chowdhury, Joni O. Salminen, Soon‐gyo Jung, Bernard J. Jim Jansen, Maximilian Hopf, Soon-Gyo Jung, Hind Almerekhi
2020-01-01

признаки BERTF1-мераXGBoostмультиплатформенные социальные сетиобнаружение онлайн-ненависти
Распространение социальных сетей позволяет людям широко выражать свои мнения в интернете. Однако одновременно это привело к возникновению конфликтов и языка ненависти, из-за чего онлайн-среда становится непривлекательной для пользователей. Хотя исследователи установили, что язык ненависти представляет проблему на различных платформах, существует недостаток моделей для его выявления в интернете с использованием данных нескольких платформ. Для устранения этого пробела в исследованиях мы собрали 197 566 комментариев с четырёх платформ: YouTube, Reddit, Wikipedia и Twitter; 80% комментариев были размечены как не содержащие язык ненависти, а остальные 20% — как содержащие его. Затем мы провели эксперименты с несколькими алгоритмами классификации (логистическая регрессия, наивный байесовский классификатор, метод опорных векторов, XGBoost и нейронные сети) и способами представления признаков (мешок слов, TF-IDF, Word2Vec, BERT и их комбинация). Хотя все модели значительно превзошли базовый классификатор, основанный на ключевых словах, наилучшие результаты показала модель XGBoost, использующая все признаки (F1 = 0.92). Анализ важности признаков показал, что признаки BERT оказывают наибольшее влияние на прогнозы. Полученные результаты подтверждают обобщаемость лучшей модели, поскольку результаты для отдельных платформ Twitter и Wikipedia сопоставимы с результатами, представленными в соответствующих исходных статьях. Мы сделали исходный код общедоступным для применения в реальных программных системах, а также для дальнейшего развития исследователями, занимающимися изучением языка ненависти в интернете.
1
Анализ важности признаков показывает, что признаки BERT сильнее всего влияют на предсказания, а сопоставимые результаты для Twitter и Wikipedia подтверждают обобщаемость модели.
2
Логистическая регрессия, наивный байесовский классификатор, метод опорных векторов, XGBoost и нейронные сети существенно превосходят классификатор на основе ключевых слов при использовании проверенных представлений признаков.
3
Авторы открыто публикуют исходный код для применения в программных системах и дальнейших исследований обнаружения онлайн-ненависти.
4
Набор данных включает 80% не содержащих ненависти и 20% содержащих ненависть комментариев, что позволяет обучать классификаторы для нескольких социальных платформ.
5
Исследование представляет мультиплатформенный набор данных для обнаружения онлайн-ненависти, содержащий 197 566 комментариев с YouTube, Reddit, Wikipedia и Twitter.
6
Наилучший результат показывает XGBoost, объединяющий признаки Bag-of-Words, TF-IDF, Word2Vec и BERT; его F1-мера составляет 0,92.

Онлайн-комментарии с проявлениями ненависти на нескольких платформах социальных медиа (YouTube, Reddit, Wikipedia, Twitter)

Эффективность межплатформенной классификации онлайн-ненависти и значимость признаков

Publication Details
Publication Date
2020-01-01
Journal
Publisher
ISSN
Cited by
286
Access Type
Author Information
Authors
Shammur Absar Chowdhury
Joni O. Salminen
Soon‐gyo Jung
Bernard J. Jim Jansen
Maximilian Hopf
Soon-Gyo Jung
Hind Almerekhi
Explore further
Open the scid.ai AI chat with a ready-made request: it will find papers on a similar topic and help build a literature review.
Find similar papers in the chat →
Make a presentation
100%