Мелкозернистая дистилляция для поиска по длинным документам
Fine-Grained Distillation for Long Document Retrieval
2024-03-24
SCID: 54.1/dqdkheph
Discuss with AI
кросс-энкодерплотный поискмелкозернистая дистилляциядистилляция знанийпоиск по длинным документам
Figures from the paper
Abstract (AI)
Поиск по длинным документам направлен на извлечение релевантных запросу документов из крупномасштабной коллекции; при этом дистилляция знаний стала фактически стандартным подходом к улучшению поисковой модели посредством имитации гетерогенной, но мощной модели перекрёстного кодировщика. Однако, в отличие от поиска по фрагментам или предложениям, поиск по длинным документам подвержен гипотезе области охвата, согласно которой длинный документ может охватывать несколько тем. Это повышает структурную неоднородность и создаёт проблему несоответствия уровней гранулярности, что снижает эффективность дистилляции. В данной работе мы предлагаем новую обучающую схему — мелкозернистую дистилляцию (FGD) — для моделей поиска по длинным документам. Сохраняя традиционную парадигму плотного поиска, она сначала формирует глобально согласованные представления на различных уровнях мелкой гранулярности, а затем применяет согласованную многоуровневую дистилляцию только в процессе обучения. В экспериментах мы оцениваем предложенную схему на двух тестовых наборах для поиска по длинным документам, где она демонстрирует результаты мирового уровня.
Key Findings
1
Эксперименты на двух бенчмарках поиска по длинным документам показали, что предложенный метод достигает наилучших результатов среди сравниваемых подходов.
2
FGD применяет согласованную дистилляцию на нескольких уровнях только во время обучения, улучшая обучение поисковика длинных документов без изменения стандартной схемы поиска.
3
Поиск по длинным документам осложняется гипотезой области охвата: документы могут затрагивать несколько тем и обладать значительной структурной неоднородностью.
4
Предложенная система Fine-Grained Distillation формирует глобально согласованные представления на нескольких уровнях гранулярности, сохраняя парадигму плотного поиска.
5
Эта неоднородность вызывает проблему несоответствия гранулярности, снижая эффективность традиционной дистилляции знаний из кросс-энкодеров.
Research Object
системы/модели поиска по длинным документам, работающие с крупномасштабными коллекциями документов
Research Subject
влияние тематического охвата и структурной неоднородности документов на эффективность дистилляции знаний, а также мелкозернистое выравнивание многоуровневых представлений для повышения эффективности поиска
Publication Details
Publication Date
2024-03-24
Journal
Publisher
ISSN
Cited by
17
Open access PDF
Access Type
Author Information
Download PDF
Subscribe to digest
Источники этой статьи в scid.ai7
Использование генеративного искусственного интеллекта для масштабирования интеллектуальных обучающих систем2023
REALM: предварительное обучение языковой модели с дополнением за счет извлечения информации2020
RocketQA: оптимизированный подход к обучению для плотного извлечения фрагментов текста в системах ответов на вопросы в открытом домене2021
Графовые нейронные сети для обработки естественного языка: обзор2023
RocketQA: оптимизированный подход к обучению для плотного поиска фрагментов текста в системах ответов на вопросы в открытом домене2020
SeDR: обучение представлений сегментов для плотного поиска по длинным документам2022
Конвейер с поддержкой искусственного интеллекта для динамической генерации достоверного контента о пищевых добавках в больших масштабах2022