Использование поиска фрагментов текста с генеративными моделями для ответов на вопросы в открытом домене
Leveraging Passage Retrieval with Generative Models for Open Domain Question Answering
2021-01-01
SCID: 54.1/ssh8kncq
Discuss with AI
Natural QuestionsTriviaQAгенеративные моделивопросно-ответные системы в открытом доменепоиск фрагментов текста
Figures from the paper
Abstract (AI)
Генеративные модели для ответов на вопросы в открытом домене показали конкурентоспособные результаты без обращения к внешним знаниям. Несмотря на перспективность этого подхода, он требует использования моделей с миллиардами параметров, обучение и применение которых требуют значительных затрат. В данной работе мы исследуем, в какой степени такие модели могут выигрывать от поиска фрагментов текста, потенциально содержащих релевантные доказательства. Мы получаем результаты, соответствующие передовому уровню, на открытых бенчмарках Natural Questions и TriviaQA. Интересно, что эффективность этого метода существенно повышается с увеличением числа извлекаемых фрагментов. Это свидетельствует о том, что генеративные модели хорошо агрегируют и объединяют доказательства из нескольких фрагментов текста.
Key Findings
1
Увеличение числа извлечённых фрагментов существенно повышает качество, что указывает на способность генеративных моделей агрегировать и объединять доказательства из нескольких источников.
2
Использование извлечённых фрагментов обеспечивает результаты уровня state-of-the-art на открытых наборах Natural Questions и TriviaQA.
3
Дополнение генеративных моделей механизмом извлечения может улучшить ответы на вопросы и потенциально снизить зависимость от чрезвычайно крупных моделей с миллиардами параметров, дорогостоящих в обучении и использовании.
4
В исследовании изучается дополнение генеративных моделей для открытого ответа на вопросы извлечёнными текстовыми фрагментами, содержащими потенциальные доказательства.
Research Object
Генеративные модели для открытого вопросно-ответного поиска, дополненные извлечёнными текстовыми фрагментами
Research Subject
Влияние извлечения текстовых фрагментов, особенно их количества, на качество ответов и способность агрегировать и объединять свидетельства
Publication Details
Publication Date
2021-01-01
Journal
Publisher
ISSN
Cited by
1714
Open access PDF
Access Type
Author Information
Download PDF
Subscribe to digest
Источники этой статьи в scid.ai5
Adam: метод стохастической оптимизации2014
Исследование пределов трансферного обучения с помощью унифицированного преобразователя текста в текст2019
Плотный поиск фрагментов текста для ответов на вопросы в открытом домене2020
Интеллект, компилируемый через аффордансы: наблюдаемое сопоставление когнитивных импедансов для LLM-интегрированных систем без мета-доступа2020
REALM: предварительное обучение языковой модели с дополнением за счет извлечения информации2020
Работы, цитирующие эту статью20
Обзор больших языковых моделей2026
Плотный поиск фрагментов текста для ответов на вопросы в открытом домене2020
Затерянные в середине: как языковые модели используют длинные контексты2024
Раскрытие потенциала инженерии промптов для больших языковых моделей2025
Генерация с активным дополнением посредством поиска2023
Atlas: обучение в режиме few-shot с использованием языковых моделей, дополненных поиском2022
Генерация с дополнением извлечённой информацией для контента, создаваемого искусственным интеллектом: обзор2026
Обзор взаимодействия RAG и LLM: к большим языковым моделям с дополнением извлечённой информацией2024
Сравнительный анализ больших языковых моделей в генерации с дополнением извлечённой информацией2024
Дополнение извлечённой информацией снижает галлюцинации в диалогах2021
Языковые модели с дополнением извлечённой информацией в контексте2023
Генерация с дополнением извлечением на основе графов: обзор2025
RocketQA: оптимизированный подход к обучению для плотного извлечения фрагментов текста в системах ответов на вопросы в открытом домене2021
Повышение эффективности больших языковых моделей с дополнением посредством извлечения данных за счёт итеративного взаимодействия извлечения и генерации2023
AI-агенты под угрозой: обзор ключевых проблем безопасности и перспективных направлений2025
Оценка качества извлечения в системах генерации с дополненным извлечением2024
Семь критических точек отказа при разработке системы генерации с дополнением извлечённой информацией2024
Ответы на сложные вопросы в открытом домене с помощью многошагового плотного поиска2020
Большие языковые модели и графы знаний: возможности и вызовы2023
RocketQA: оптимизированный подход к обучению для плотного поиска фрагментов текста в системах ответов на вопросы в открытом домене2020