Экстрактивное суммирование с помощью ChatGPT для создания достоверных резюме

Экстрактивное суммирование — важная задача обработки естественного языка, направленная на сокращение объёмных документов до более краткой формы посредством непосредственного извлечения предложений. Недавнее появление больших языковых моделей вызвало значительный интерес в сообществе обработки естественного языка (NLP) благодаря их выдающимся результатам в широком спектре последующих задач. В данной работе сначала проводится всесторонняя оценка эффективности ChatGPT в экстрактивном суммировании и сравнение с традиционными методами дообучения на различных эталонных наборах данных. Результаты экспериментального анализа показывают, что ChatGPT демонстрирует более низкую эффективность экстрактивного суммирования по показателям ROUGE по сравнению с существующими системами обучения с учителем, одновременно достигая более высоких результатов по метрикам оценки на основе больших языковых моделей (LLM). Кроме того, исследуется эффективность контекстного обучения и рассуждений по цепочке мыслей для повышения его результативности. Также установлено, что применение конвейера «извлечение — затем генерация» с ChatGPT обеспечивает значительное улучшение результатов по сравнению с абстрактивными базовыми методами с точки зрения достоверности резюме. Эти наблюдения указывают на потенциальные направления повышения способности ChatGPT создавать достоверные резюме с использованием двухэтапных подходов.