Atlas: обучение в режиме few-shot с использованием языковых моделей, дополненных поиском
Atlas: Few-shot Learning with Retrieval Augmented Language Models
2022-08-05
SCID: 54.1/h9k9r3n8
Discuss with AI
Natural Questionsиндекс документовобучение по нескольким примерамзадачи, требующие глубоких знанийязыковые модели с дополнением извлечённой информацией
Figures from the paper
Abstract (AI)
Большие языковые модели демонстрируют впечатляющие результаты в режиме few-shot на широком спектре задач. Однако когда ключевую роль в достижении таких результатов играют знания, как в задачах ответа на вопросы и проверки фактов, для хранения знаний, по-видимому, требуется огромное количество параметров. Известно, что модели, дополненные поиском, превосходят другие подходы в задачах, требующих интенсивного использования знаний, без необходимости в столь большом числе параметров, однако неясно, насколько эффективно они работают в режиме few-shot. В этой работе мы представляем Atlas — тщательно разработанную и предварительно обученную языковую модель, дополненную поиском, способную обучаться задачам, требующим интенсивного использования знаний, по очень небольшому числу обучающих примеров. Мы оцениваем её на широком спектре задач, включая MMLU, KILT и Natural Questions, а также исследуем влияние содержимого индекса документов, показывая, что его можно легко обновлять. Примечательно, что Atlas достигает точности свыше 42% на наборе Natural Questions, используя всего 64 примера, и превосходит модель с 540B параметрами на 3 процентных пункта, несмотря на наличие в 50 раз меньшего числа параметров.
Key Findings
1
Atlas — тщательно разработанная и предварительно обученная языковая модель с дополнением поиска, способная обучаться задачам, требующим знаний, на очень малом числе примеров.
2
Производительность Atlas зависит от содержимого индекса документов, который можно легко обновлять для включения новых или изменённых знаний.
3
Модель оценивалась на разнообразных тестах, включая MMLU, KILT и NaturalQuestions, что демонстрирует широкие возможности обучения по нескольким примерам.
4
На Natural Questions Atlas достигает точности свыше 42% всего на 64 примерах и превосходит модель с 540 млрд параметров на 3%, имея в 50 раз меньше параметров.
5
Результаты показывают, что дополнение поиска обеспечивает эффективное обучение задачам, требующим знаний, без необходимости хранить знания в огромном числе параметров.
Research Object
Atlas — языковая модель с дополнением посредством извлечения для обучения по небольшому числу примеров на задачах, требующих значительных объёмов знаний
Research Subject
обучение в режиме few-shot для задач, требующих интенсивного использования знаний, и влияние содержимого и обновления индекса документов
Publication Details
Publication Date
2022-08-05
Journal
Publisher
ISSN
Cited by
993
Open access PDF
Access Type
Author Information
Download PDF
Subscribe to digest
Источники этой статьи в scid.ai6
Исследование пределов трансферного обучения с помощью унифицированного преобразователя текста в текст2019
Плотный поиск фрагментов текста для ответов на вопросы в открытом домене2020
Интеллект, компилируемый через аффордансы: наблюдаемое сопоставление когнитивных импедансов для LLM-интегрированных систем без мета-доступа2020
Законы масштабирования нейронных языковых моделей2020
Использование поиска фрагментов текста с генеративными моделями для ответов на вопросы в открытом домене2021
REALM: предварительное обучение языковой модели с дополнением за счет извлечения информации2020
Работы, цитирующие эту статью11
Обзор больших языковых моделей2026
Генерация с дополнением извлечённой информацией для больших языковых моделей: обзор2023
Всесторонний обзор больших языковых моделей2025
Генерация с активным дополнением посредством поиска2023
Генерация с дополнением извлечённой информацией для контента, создаваемого искусственным интеллектом: обзор2026
Обзор взаимодействия RAG и LLM: к большим языковым моделям с дополнением извлечённой информацией2024
Сравнительный анализ больших языковых моделей в генерации с дополнением извлечённой информацией2024
Языковые модели с дополнением извлечённой информацией в контексте2023
Повышение эффективности больших языковых моделей с дополнением посредством извлечения данных за счёт итеративного взаимодействия извлечения и генерации2023
CRUD-RAG: комплексный китайский бенчмарк для генерации с дополнением извлечённой информацией большими языковыми моделями2024
Когда большие языковые модели встречаются с векторными базами данных: обзор2025