SeDR: обучение представлений сегментов для плотного поиска по длинным документам

SeDR: Segment Representation Learning for Long Documents Dense Retrieval
Junying Chen, Dongfang Li, Yutao Huang, Qingcai Chen
2022-11-20

позднее кэширование отрицательных примеровтрансформер взаимодействия сегментовплотный поискпоиск по длинным документамобучение представлений сегментов
В последнее время плотный поиск (dense retrieval, DR) стал перспективным решением задачи поиска документов, при котором представления документов используются для эффективного и быстрого семантического поиска. Однако применение DR к длинным документам остается сложной задачей из-за квадратичной вычислительной сложности его кодировщика на основе Transformer и ограниченной емкости низкоразмерного векторного представления. Современные модели DR используют неоптимальные стратегии, такие как усечение или разбиение с последующим объединением, что приводит к неполному использованию информации всего документа. Для решения этой проблемы мы предлагаем метод обучения представлений сегментов для плотного поиска по длинным документам (Segment Representation Learning for Long-Document Dense Retrieval, SeDR). В SeDR предлагается Transformer с взаимодействием сегментов (Segment-Interaction Transformer), который кодирует длинные документы в представления, учитывающие документ в целом и чувствительные к сегментам, сохраняя при этом вычислительную сложность разбиения и объединения; кроме того, он превосходит другие схемы взаимодействия сегментов в задаче DR. Поскольку требования к памяти GPU при кодировании длинных документов приводят к недостаточному количеству отрицательных примеров для обучения DR, дополнительно предлагается механизм Late-Cache Negative, обеспечивающий дополнительные кэшированные отрицательные примеры для оптимизации обучения представлений. Эксперименты на наборах данных MS MARCO и TREC-DL показывают, что SeDR обеспечивает превосходные результаты среди моделей DR и подтверждают его эффективность для поиска по длинным документам.
1
Эксперименты на наборах MS MARCO и TREC-DL показывают, что SeDR превосходит другие модели плотного поиска и эффективно работает для поиска по длинным документам.
2
Late-Cache Negative предоставляет дополнительные кэшированные отрицательные примеры, компенсируя нехватку негативов из-за ограничений видеопамяти при обучении на длинных документах.
3
SeDR решает задачу плотного поиска по длинным документам, обучая представления, сохраняющие информацию обо всём документе вместо усечения или простого разбиения с объединением.
4
Segment-Interaction Transformer превосходит альтернативные схемы взаимодействия сегментов в задачах плотного поиска.
5
Segment-Interaction Transformer формирует представления, учитывающие документ и чувствительные к сегментам, сохраняя вычислительную сложность разбиения с объединением.

длинные документы в системах плотного поиска

обучение представлений документов и эффективность поиска при ограничениях кодирования длинных документов

Publication Details
Publication Date
2022-11-20
Journal
Publisher
ISSN
Cited by
6
Access Type
Author Information
Authors
Junying Chen
Dongfang Li
Yutao Huang
Qingcai Chen
Explore further
Open the scid.ai AI chat with a ready-made request: it will find papers on a similar topic and help build a literature review.
Find similar papers in the chat →
Make a presentation
100%