Устойчивая генерация с дополнением посредством поиска для заполнения слотов в режиме обучения без примеров

Robust Retrieval Augmented Generation for Zero-shot Slot Filling
Michael Glaß, Gaetano Rossiello, Md Faisal Mahbub Chowdhury, Alfio Gliozzo, Michael Glass, Md. Faisal Mahbub Chowdhury
2021-01-01

наборы данных T-REx и zsREплотный поиск пассажейобучение на сложных отрицательных примерахгенерация с дополненным поискомзаполнение слотов в режиме zero-shot
Автоматическое построение высококачественных графов знаний на основе заданной коллекции документов по-прежнему остается сложной задачей в области искусственного интеллекта. Одним из способов продвижения в решении этой задачи является развитие связанной с ней задачи, известной как заполнение слотов. В этой задаче системе предоставляется запрос сущности в форме [ENTITY, SLOT, ?], и от нее требуется «заполнить» слот путем генерации или извлечения отсутствующего значения с использованием свидетельств, полученных из релевантных фрагментов заданной коллекции документов. В последние годы эту задачу пытаются решать сквозным образом с помощью языковых моделей, основанных на поиске. В настоящей работе мы представляем новый подход к заполнению слотов в режиме обучения без примеров, расширяющий плотный поиск фрагментов использованием трудных отрицательных примеров и устойчивых процедур обучения моделей генерации с дополнением посредством поиска. Наша модель демонстрирует значительное улучшение результатов как на наборах данных заполнения слотов T-REx и zsRE, повышая качество поиска фрагментов и генерации значений слотов, и занимает первое место по показателю top-1 в рейтинге KILT. Кроме того, мы демонстрируем устойчивость системы, показывая ее способность к адаптации к предметной области на новом варианте набора данных TACRED для заполнения слотов с использованием сочетания обучения без примеров и обучения на небольшом числе примеров. Мы публикуем исходный код и предварительно обученные модели 1.
1
Эксперименты на новом варианте TACRED для заполнения слотов демонстрируют адаптацию к домену с использованием комбинации zero-shot и few-shot обучения.
2
Авторы публикуют исходный код и предварительно обученные модели для обеспечения воспроизводимости.
3
Модель обеспечивает значительные улучшения как поиска пассажей, так и генерации значений слотов на датасетах заполнения слотов T-REx и zsRE.
4
В работе представлен подход к заполнению слотов в режиме zero-shot, расширяющий плотный поиск пассажей сложными отрицательными примерами и устойчивым обучением для генерации с дополнением поиска.
5
Система занимает первое место по метрике top-1 в таблице лидеров KILT для оцениваемой задачи заполнения слотов.

заполнение слотов в режиме zero-shot с использованием retrieval-augmented языковых моделей и коллекций документов

робастность и точность извлечения passages и генерации значений слотов, а также адаптация к предметной области

Publication Details
Publication Date
2021-01-01
Journal
Publisher
ISSN
Cited by
19
Access Type
Author Information
Authors
Michael Glaß
Gaetano Rossiello
Md Faisal Mahbub Chowdhury
Alfio Gliozzo
Michael Glass
Md. Faisal Mahbub Chowdhury
Explore further
Open the scid.ai AI chat with a ready-made request: it will find papers on a similar topic and help build a literature review.
Find similar papers in the chat →
Make a presentation
100%