REALM: предварительное обучение языковой модели с дополнением за счет извлечения информации
REALM: Retrieval-Augmented Language Model Pre-Training
2020-02-10
SCID: 54.1/73jm728c
Discuss with AI
REALMлатентный извлекатель знаниймаскированное языковое моделированиевопросно-ответная система в открытом доменепредобучение языковой модели с дополнением извлечением
Figures from the paper
Abstract (AI)
Показано, что предварительное обучение языковой модели позволяет усвоить удивительно большой объем знаний о мире, необходимых для таких задач обработки естественного языка (NLP), как ответы на вопросы. Однако эти знания хранятся неявно в параметрах нейронной сети, что требует создания все более крупных сетей для охвата большего числа фактов. Чтобы представить знания более модульным и интерпретируемым способом, мы дополняем предварительное обучение языковой модели скрытым модулем извлечения знаний, который позволяет модели извлекать документы из большого корпуса, такого как Wikipedia, и учитывать их содержимое при обработке; корпус используется на этапах предварительного обучения, дообучения и вывода. Впервые мы показываем, как предварительно обучать такой модуль извлечения знаний без учителя, используя моделирование языка с маскированием в качестве обучающего сигнала и выполняя обратное распространение ошибки через этап извлечения, на котором рассматриваются миллионы документов. Мы демонстрируем эффективность предварительного обучения языковой модели с дополнением за счет извлечения информации (Retrieval-Augmented Language Model pre-training, REALM), выполняя дообучение на сложной задаче ответов на вопросы по открытой предметной области (Open-domain Question Answering, Open-QA). Мы сравниваем REALM с современными моделями, использующими как явное, так и неявное хранение знаний, на трех популярных тестах Open-QA и обнаруживаем, что превосходим все предыдущие методы с существенным отрывом (на 4–16 процентных пунктов по абсолютной точности), одновременно обеспечивая такие качественные преимущества, как интерпретируемость и модульность.
Key Findings
1
После дообучения для открытых вопросов REALM превосходит предыдущие модели с явным и неявным хранением знаний на 4–16 процентных пунктов точности в трёх бенчмарках.
2
REALM дополняет предварительное обучение языковой модели скрытым поисковиком знаний, который извлекает документы из крупных корпусов, таких как Wikipedia, и использует их содержимое.
3
Хранение знаний через поиск обеспечивает качественные преимущества, включая повышенную интерпретируемость и модульность по сравнению с кодированием знаний только в параметрах модели.
4
Поисковик можно предварительно обучать без учителя с помощью маскированного языкового моделирования и обратного распространения через поиск по миллионам документов.
Research Object
Предобучение языковой модели с дополнением извлечением (REALM) со скрытым средством поиска знаний по большому корпусу документов
Research Subject
Эффективность, интерпретируемость, модульность и функционирование извлечения знаний в REALM для ответов на вопросы в открытом домене
Publication Details
Publication Date
2020-02-10
Journal
Publisher
ISSN
Cited by
1335
Open access PDF
Access Type
Author Information
Download PDF
Subscribe to digest
Источники этой статьи в scid.ai4
Исследование пределов трансферного обучения с помощью унифицированного преобразователя текста в текст2019
Распределённые представления слов и фраз и их композиционность2013
Нейронный машинный перевод посредством совместного обучения выравниванию и переводу2014
HISTORIAE: история социокультурной трансформации как лингвистическая наука о данных. Пример применения в гуманитарных науках2025
Работы, цитирующие эту статью19
Плотный поиск фрагментов текста для ответов на вопросы в открытом домене2020
Предварительное обучение, промптинг и предсказание: систематический обзор методов промптинга в обработке естественного языка2022
Интеллект, компилируемый через аффордансы: наблюдаемое сопоставление когнитивных импедансов для LLM-интегрированных систем без мета-доступа2020
О возможностях и рисках фундаментальных моделей2021
Объединение больших языковых моделей и графов знаний: дорожная карта2024
Аугментация текстовых данных для глубокого обучения2021
Использование поиска фрагментов текста с генеративными моделями для ответов на вопросы в открытом домене2021
Генерация с активным дополнением посредством поиска2023
Atlas: обучение в режиме few-shot с использованием языковых моделей, дополненных поиском2022
Генерация с дополнением извлечённой информацией для контента, создаваемого искусственным интеллектом: обзор2026
Сравнительный анализ больших языковых моделей в генерации с дополнением извлечённой информацией2024
Дополнение извлечённой информацией снижает галлюцинации в диалогах2021
Языковые модели с дополнением извлечённой информацией в контексте2023
RocketQA: оптимизированный подход к обучению для плотного извлечения фрагментов текста в системах ответов на вопросы в открытом домене2021
Улучшение адаптации к предметной области моделей генерации с дополнением извлечённой информацией (RAG) для ответов на вопросы в открытом домене2023
Ответы на сложные вопросы в открытом домене с помощью многошагового плотного поиска2020
Плотный иерархический поиск для ответов на вопросы в открытом домене2021
Устойчивая генерация с дополнением посредством поиска для заполнения слотов в режиме обучения без примеров2021
Мелкозернистая дистилляция для поиска по длинным документам2024