SeDR: обучение представлений сегментов для плотного поиска по длинным документам
SeDR: Segment Representation Learning for Long Documents Dense Retrieval
2022-11-20
SCID: 54.1/wukpmvgm
Discuss with AI
позднее кэширование отрицательных примеровтрансформер взаимодействия сегментовплотный поискпоиск по длинным документамобучение представлений сегментов
Figures from the paper
Abstract (AI)
В последнее время плотный поиск (dense retrieval, DR) стал перспективным решением задачи поиска документов, при котором представления документов используются для эффективного и быстрого семантического поиска. Однако применение DR к длинным документам остается сложной задачей из-за квадратичной вычислительной сложности его кодировщика на основе Transformer и ограниченной емкости низкоразмерного векторного представления. Современные модели DR используют неоптимальные стратегии, такие как усечение или разбиение с последующим объединением, что приводит к неполному использованию информации всего документа. Для решения этой проблемы мы предлагаем метод обучения представлений сегментов для плотного поиска по длинным документам (Segment Representation Learning for Long-Document Dense Retrieval, SeDR). В SeDR предлагается Transformer с взаимодействием сегментов (Segment-Interaction Transformer), который кодирует длинные документы в представления, учитывающие документ в целом и чувствительные к сегментам, сохраняя при этом вычислительную сложность разбиения и объединения; кроме того, он превосходит другие схемы взаимодействия сегментов в задаче DR. Поскольку требования к памяти GPU при кодировании длинных документов приводят к недостаточному количеству отрицательных примеров для обучения DR, дополнительно предлагается механизм Late-Cache Negative, обеспечивающий дополнительные кэшированные отрицательные примеры для оптимизации обучения представлений. Эксперименты на наборах данных MS MARCO и TREC-DL показывают, что SeDR обеспечивает превосходные результаты среди моделей DR и подтверждают его эффективность для поиска по длинным документам.
Key Findings
1
Эксперименты на наборах MS MARCO и TREC-DL показывают, что SeDR превосходит другие модели плотного поиска и эффективно работает для поиска по длинным документам.
2
Late-Cache Negative предоставляет дополнительные кэшированные отрицательные примеры, компенсируя нехватку негативов из-за ограничений видеопамяти при обучении на длинных документах.
3
SeDR решает задачу плотного поиска по длинным документам, обучая представления, сохраняющие информацию обо всём документе вместо усечения или простого разбиения с объединением.
4
Segment-Interaction Transformer превосходит альтернативные схемы взаимодействия сегментов в задачах плотного поиска.
5
Segment-Interaction Transformer формирует представления, учитывающие документ и чувствительные к сегментам, сохраняя вычислительную сложность разбиения с объединением.
Research Object
длинные документы в системах плотного поиска
Research Subject
обучение представлений документов и эффективность поиска при ограничениях кодирования длинных документов
Publication Details
Publication Date
2022-11-20
Journal
Publisher
ISSN
Cited by
6
Open access PDF
Access Type
Author Information
Download PDF
Subscribe to digest
Источники этой статьи в scid.ai5
Обучение представлений с помощью контрастивного предиктивного кодирования2018
Плотный поиск фрагментов текста для ответов на вопросы в открытом домене2020
Longformer: трансформер для длинных документов2020
ETC: Кодирование длинных и структурированных входных данных в трансформерах2020
RocketQA: оптимизированный подход к обучению для плотного извлечения фрагментов текста в системах ответов на вопросы в открытом домене2021