REALM: предварительное обучение языковой модели с дополнением за счет извлечения информации

Показано, что предварительное обучение языковой модели позволяет усвоить удивительно большой объем знаний о мире, необходимых для таких задач обработки естественного языка (NLP), как ответы на вопросы. Однако эти знания хранятся неявно в параметрах нейронной сети, что требует создания все более крупных сетей для охвата большего числа фактов. Чтобы представить знания более модульным и интерпретируемым способом, мы дополняем предварительное обучение языковой модели скрытым модулем извлечения знаний, который позволяет модели извлекать документы из большого корпуса, такого как Wikipedia, и учитывать их содержимое при обработке; корпус используется на этапах предварительного обучения, дообучения и вывода. Впервые мы показываем, как предварительно обучать такой модуль извлечения знаний без учителя, используя моделирование языка с маскированием в качестве обучающего сигнала и выполняя обратное распространение ошибки через этап извлечения, на котором рассматриваются миллионы документов. Мы демонстрируем эффективность предварительного обучения языковой модели с дополнением за счет извлечения информации (Retrieval-Augmented Language Model pre-training, REALM), выполняя дообучение на сложной задаче ответов на вопросы по открытой предметной области (Open-domain Question Answering, Open-QA). Мы сравниваем REALM с современными моделями, использующими как явное, так и неявное хранение знаний, на трех популярных тестах Open-QA и обнаруживаем, что превосходим все предыдущие методы с существенным отрывом (на 4–16 процентных пунктов по абсолютной точности), одновременно обеспечивая такие качественные преимущества, как интерпретируемость и модульность.