Поиск искусственно сгенерированных фрагментов текста в научных документах

Artificially Generated Text Fragments Search in Academic Documents
Andrey Grabovoy, G. M. Gritsay, A. S. Kildyakov, Yu. V. Chekhovich, German Gritsai, Aleksandr Kildyakov
2023-12-01

оценка обнаружения F1-scoreнаборы данных на русском и английском языкахискусственно сгенерированные фрагменты в академических документахобнаружение машинно-сгенерированного тексталексические синтаксические стилистические признаки
Последние достижения в моделях генерации текста позволяют создавать искусственные тексты, похожие на тексты, написанные человеком. Разработано множество методов обнаружения текстов, полученных с помощью больших языковых моделей; однако совершенствование методов обнаружения происходит одновременно с улучшением методов генерации. Поэтому необходимо исследовать новые генеративные модели и модернизировать существующие подходы к их обнаружению. В данной работе мы представляем всесторонний анализ существующих методов детекции, а также исследование лексических, синтаксических и стилистических признаков сгенерированных фрагментов. С учётом последних разработок мы протестировали методы детекции машинно сгенерированных документов, которые считаем наиболее качественными, для их дальнейшего применения в научной сфере. Эксперименты проводились на собранных наборах данных для русского и английского языков. Разработанные методы повысили качество детекции до значения F1-score 0.968 для русского и 0.825 для английского. Описанные методики могут быть применены для обнаружения сгенерированных фрагментов в научных, исследовательских и выпускных работах.
1
Проведен всесторонний анализ существующих методов детекции и лексических, синтаксических, стилистических признаков сгенерированных текстовых фрагментов.
2
Разработанные методы детекции достигли F1-score 0.825 для английского языка.
3
Разработанные методы детекции достигли F1-score 0.968 для русского языка.
4
Эксперименты проведены на собранных датасетах на русском и английском языках.
5
Авторы протестировали лучшие методы детекции специально для применения в научной сфере.
6
Описанные методики применимы для обнаружения сгенерированных фрагментов в научных, исследовательских и выпускных работах.

Искусственно сгенерированные фрагменты текста в академических (научных/исследовательских/выпускных) документах

Обнаружение и характеристика лексических, синтаксических и стилистических признаков машинно сгенерированных фрагментов текста и оценка методов их детекции (показатели F1 для русского и английского языков)

Publication Details
Publication Date
2023-12-01
Journal
Publisher
ISSN
Cited by
13
Access Type
Author Information
Authors
Andrey Grabovoy
G. M. Gritsay
A. S. Kildyakov
Yu. V. Chekhovich
German Gritsai
Aleksandr Kildyakov
Explore further
Open the scid.ai AI chat with a ready-made request: it will find papers on a similar topic and help build a literature review.
Find similar papers in the chat →
Make a presentation
100%