Устойчивая генерация с дополнением посредством поиска для заполнения слотов в режиме обучения без примеров

Автоматическое построение высококачественных графов знаний на основе заданной коллекции документов по-прежнему остается сложной задачей в области искусственного интеллекта. Одним из способов продвижения в решении этой задачи является развитие связанной с ней задачи, известной как заполнение слотов. В этой задаче системе предоставляется запрос сущности в форме [ENTITY, SLOT, ?], и от нее требуется «заполнить» слот путем генерации или извлечения отсутствующего значения с использованием свидетельств, полученных из релевантных фрагментов заданной коллекции документов. В последние годы эту задачу пытаются решать сквозным образом с помощью языковых моделей, основанных на поиске. В настоящей работе мы представляем новый подход к заполнению слотов в режиме обучения без примеров, расширяющий плотный поиск фрагментов использованием трудных отрицательных примеров и устойчивых процедур обучения моделей генерации с дополнением посредством поиска. Наша модель демонстрирует значительное улучшение результатов как на наборах данных заполнения слотов T-REx и zsRE, повышая качество поиска фрагментов и генерации значений слотов, и занимает первое место по показателю top-1 в рейтинге KILT. Кроме того, мы демонстрируем устойчивость системы, показывая ее способность к адаптации к предметной области на новом варианте набора данных TACRED для заполнения слотов с использованием сочетания обучения без примеров и обучения на небольшом числе примеров. Мы публикуем исходный код и предварительно обученные модели 1.