Atlas: обучение в режиме few-shot с использованием языковых моделей, дополненных поиском

Atlas: Few-shot Learning with Retrieval Augmented Language Models
Patrick Lewis, Sebastian Riedel, Gautier Izacard, Édouard Grave, Armand Joulin, Timo Schick, María Lomelí, Fabio Petroni, Lucas Hosseini, Jane Dwivedi-Yu
2022-08-05

Natural Questionsиндекс документовобучение по нескольким примерамзадачи, требующие глубоких знанийязыковые модели с дополнением извлечённой информацией
Большие языковые модели демонстрируют впечатляющие результаты в режиме few-shot на широком спектре задач. Однако когда ключевую роль в достижении таких результатов играют знания, как в задачах ответа на вопросы и проверки фактов, для хранения знаний, по-видимому, требуется огромное количество параметров. Известно, что модели, дополненные поиском, превосходят другие подходы в задачах, требующих интенсивного использования знаний, без необходимости в столь большом числе параметров, однако неясно, насколько эффективно они работают в режиме few-shot. В этой работе мы представляем Atlas — тщательно разработанную и предварительно обученную языковую модель, дополненную поиском, способную обучаться задачам, требующим интенсивного использования знаний, по очень небольшому числу обучающих примеров. Мы оцениваем её на широком спектре задач, включая MMLU, KILT и Natural Questions, а также исследуем влияние содержимого индекса документов, показывая, что его можно легко обновлять. Примечательно, что Atlas достигает точности свыше 42% на наборе Natural Questions, используя всего 64 примера, и превосходит модель с 540B параметрами на 3 процентных пункта, несмотря на наличие в 50 раз меньшего числа параметров.
1
Atlas — тщательно разработанная и предварительно обученная языковая модель с дополнением поиска, способная обучаться задачам, требующим знаний, на очень малом числе примеров.
2
Производительность Atlas зависит от содержимого индекса документов, который можно легко обновлять для включения новых или изменённых знаний.
3
Модель оценивалась на разнообразных тестах, включая MMLU, KILT и NaturalQuestions, что демонстрирует широкие возможности обучения по нескольким примерам.
4
На Natural Questions Atlas достигает точности свыше 42% всего на 64 примерах и превосходит модель с 540 млрд параметров на 3%, имея в 50 раз меньше параметров.
5
Результаты показывают, что дополнение поиска обеспечивает эффективное обучение задачам, требующим знаний, без необходимости хранить знания в огромном числе параметров.

Atlas — языковая модель с дополнением посредством извлечения для обучения по небольшому числу примеров на задачах, требующих значительных объёмов знаний

обучение в режиме few-shot для задач, требующих интенсивного использования знаний, и влияние содержимого и обновления индекса документов

Publication Details
Publication Date
2022-08-05
Journal
Publisher
ISSN
Cited by
993
Access Type
Author Information
Authors
Patrick Lewis
Sebastian Riedel
Gautier Izacard
Édouard Grave
Armand Joulin
Timo Schick
María Lomelí
Fabio Petroni
Lucas Hosseini
Jane Dwivedi-Yu
Explore further
Open the scid.ai AI chat with a ready-made request: it will find papers on a similar topic and help build a literature review.
Find similar papers in the chat →
Make a presentation
100%