PRIMERA: предобучение с маскированием предложений на основе пирамиды для многодокументного реферирования

Мы представляем PRIMERA — предобученную модель для многодокументного представления, ориентированную на реферирование и позволяющую снизить потребность в архитектурах, специфичных для конкретных наборов данных, а также в больших объемах размеченных данных для дообучения. PRIMERA использует предложенную нами новую целевую функцию предобучения, предназначенную для обучения модели связыванию и агрегации информации из разных документов. Кроме того, модель использует эффективные трансформеры с архитектурой «кодировщик—декодировщик», упрощающие обработку объединенных входных документов. В ходе масштабных экспериментов на 6 наборах данных для многодокументного реферирования из 3 различных предметных областей в режимах без обучения на целевых данных, малым числом примеров и полного обучения с учителем PRIMERA превзошла современные модели, специфичные для наборов данных, и предобученные модели в большинстве этих режимов с большим отрывом.