Разработка классификатора онлайн-языка ненависти для нескольких платформ социальных сетей

Распространение социальных сетей позволяет людям широко выражать свои мнения в интернете. Однако одновременно это привело к возникновению конфликтов и языка ненависти, из-за чего онлайн-среда становится непривлекательной для пользователей. Хотя исследователи установили, что язык ненависти представляет проблему на различных платформах, существует недостаток моделей для его выявления в интернете с использованием данных нескольких платформ. Для устранения этого пробела в исследованиях мы собрали 197 566 комментариев с четырёх платформ: YouTube, Reddit, Wikipedia и Twitter; 80% комментариев были размечены как не содержащие язык ненависти, а остальные 20% — как содержащие его. Затем мы провели эксперименты с несколькими алгоритмами классификации (логистическая регрессия, наивный байесовский классификатор, метод опорных векторов, XGBoost и нейронные сети) и способами представления признаков (мешок слов, TF-IDF, Word2Vec, BERT и их комбинация). Хотя все модели значительно превзошли базовый классификатор, основанный на ключевых словах, наилучшие результаты показала модель XGBoost, использующая все признаки (F1 = 0.92). Анализ важности признаков показал, что признаки BERT оказывают наибольшее влияние на прогнозы. Полученные результаты подтверждают обобщаемость лучшей модели, поскольку результаты для отдельных платформ Twitter и Wikipedia сопоставимы с результатами, представленными в соответствующих исходных статьях. Мы сделали исходный код общедоступным для применения в реальных программных системах, а также для дальнейшего развития исследователями, занимающимися изучением языка ненависти в интернете.