Мелкозернистая дистилляция для поиска по длинным документам

Fine-Grained Distillation for Long Document Retrieval
Jianbing Shen, Daxin Jiang, Guodong Long, Tao Shen, Chongyang Tao, Yucheng Zhou, Xiubo Geng, Can Xu
2024-03-24

кросс-энкодерплотный поискмелкозернистая дистилляциядистилляция знанийпоиск по длинным документам
Поиск по длинным документам направлен на извлечение релевантных запросу документов из крупномасштабной коллекции; при этом дистилляция знаний стала фактически стандартным подходом к улучшению поисковой модели посредством имитации гетерогенной, но мощной модели перекрёстного кодировщика. Однако, в отличие от поиска по фрагментам или предложениям, поиск по длинным документам подвержен гипотезе области охвата, согласно которой длинный документ может охватывать несколько тем. Это повышает структурную неоднородность и создаёт проблему несоответствия уровней гранулярности, что снижает эффективность дистилляции. В данной работе мы предлагаем новую обучающую схему — мелкозернистую дистилляцию (FGD) — для моделей поиска по длинным документам. Сохраняя традиционную парадигму плотного поиска, она сначала формирует глобально согласованные представления на различных уровнях мелкой гранулярности, а затем применяет согласованную многоуровневую дистилляцию только в процессе обучения. В экспериментах мы оцениваем предложенную схему на двух тестовых наборах для поиска по длинным документам, где она демонстрирует результаты мирового уровня.
1
Эксперименты на двух бенчмарках поиска по длинным документам показали, что предложенный метод достигает наилучших результатов среди сравниваемых подходов.
2
FGD применяет согласованную дистилляцию на нескольких уровнях только во время обучения, улучшая обучение поисковика длинных документов без изменения стандартной схемы поиска.
3
Поиск по длинным документам осложняется гипотезой области охвата: документы могут затрагивать несколько тем и обладать значительной структурной неоднородностью.
4
Предложенная система Fine-Grained Distillation формирует глобально согласованные представления на нескольких уровнях гранулярности, сохраняя парадигму плотного поиска.
5
Эта неоднородность вызывает проблему несоответствия гранулярности, снижая эффективность традиционной дистилляции знаний из кросс-энкодеров.

системы/модели поиска по длинным документам, работающие с крупномасштабными коллекциями документов

влияние тематического охвата и структурной неоднородности документов на эффективность дистилляции знаний, а также мелкозернистое выравнивание многоуровневых представлений для повышения эффективности поиска

Publication Details
Publication Date
2024-03-24
Journal
Publisher
ISSN
Cited by
17
Access Type
Author Information
Authors
Jianbing Shen
Daxin Jiang
Guodong Long
Tao Shen
Chongyang Tao
Yucheng Zhou
Xiubo Geng
Can Xu
Explore further
Open the scid.ai AI chat with a ready-made request: it will find papers on a similar topic and help build a literature review.
Find similar papers in the chat →
Make a presentation
100%