Поиск искусственно сгенерированных фрагментов текста в научных документах

Последние достижения в моделях генерации текста позволяют создавать искусственные тексты, похожие на тексты, написанные человеком. Разработано множество методов обнаружения текстов, полученных с помощью больших языковых моделей; однако совершенствование методов обнаружения происходит одновременно с улучшением методов генерации. Поэтому необходимо исследовать новые генеративные модели и модернизировать существующие подходы к их обнаружению. В данной работе мы представляем всесторонний анализ существующих методов детекции, а также исследование лексических, синтаксических и стилистических признаков сгенерированных фрагментов. С учётом последних разработок мы протестировали методы детекции машинно сгенерированных документов, которые считаем наиболее качественными, для их дальнейшего применения в научной сфере. Эксперименты проводились на собранных наборах данных для русского и английского языков. Разработанные методы повысили качество детекции до значения F1-score 0.968 для русского и 0.825 для английского. Описанные методики могут быть применены для обнаружения сгенерированных фрагментов в научных, исследовательских и выпускных работах.