Плотный иерархический поиск для ответов на вопросы в открытом домене

Плотный нейросетевой поиск текстов продемонстрировал многообещающие результаты в ответах на вопросы в открытом домене (QA), где в процессе поиска используются скрытые представления вопросов и фрагментов для поиска по максимальному скалярному произведению. Однако современные плотные поисковые системы требуют разделять документы на короткие фрагменты, которые обычно содержат локальный, неполный и иногда смещённый контекст, а также в значительной степени зависят от процесса такого разбиения. В результате они могут формировать неточные и вводящие в заблуждение скрытые представления, что ухудшает итоговые результаты поиска. В этой работе мы предлагаем плотный иерархический поиск (Dense Hierarchical Retrieval, DHR) — иерархическую структуру, способную формировать точные плотные представления фрагментов с использованием как макросемантики документа, так и микросемантики, специфичной для каждого фрагмента. В частности, поисковая система уровня документов сначала выявляет релевантные документы, после чего поисковая система уровня фрагментов извлекает из них релевантные фрагменты. Ранжирование найденных фрагментов дополнительно корректируется с учётом релевантности на уровне документов. Кроме того, исследуются иерархическая структура заголовков и две стратегии формирования отрицательных примеров — In-Doc и In-Sec negatives. Мы применяем DHR к крупномасштабным наборам данных для ответов на вопросы в открытом домене. DHR значительно превосходит исходную систему плотного поиска фрагментов и позволяет сквозной системе ответов на вопросы превзойти сильные базовые методы на нескольких эталонных наборах данных для ответов на вопросы в открытом домене.