Atlas: обучение по небольшому числу примеров с использованием языковых моделей, дополненных извлечением информации

Большие языковые модели демонстрируют впечатляющие результаты при обучении по небольшому числу примеров в широком спектре задач. Однако когда ключевую роль в таких результатах играют знания, как, например, в задачах ответы на вопросы и проверки фактов, для хранения знаний, по-видимому, требуется огромное количество параметров. Известно, что модели, дополненные извлечением информации, превосходно справляются с задачами, требующими обширных знаний, без необходимости использовать столь большое число параметров, однако неясно, насколько эффективно они работают в условиях обучения по небольшому числу примеров. В этой работе мы представляем Atlas — тщательно разработанную и предварительно обученную языковую модель, дополненную извлечением информации и способную осваивать задачи, требующие обширных знаний, используя очень небольшое число обучающих примеров. Мы оцениваем модель на широком спектре задач, включая MMLU, KILT и Natural Questions, а также исследуем влияние содержимого индекса документов, показывая, что его можно легко обновлять. Примечательно, что Atlas достигает точности свыше 42% на наборе Natural Questions, используя всего 64 примера, и превосходит модель с 540B параметрами на 3%, несмотря на наличие в 50 раз меньшего числа параметров.