LLaMA: открытые и эффективные базовые языковые модели

LLaMA: Open and Efficient Foundation Language Models
Naman Goyal, Hugo Touvron, Marie-Anne Lachaux, Thibaut Lavril, Xavier Martinet, Aurelien Rodriguez, Guillaume Lample, Gautier Izacard, Édouard Grave, Armand Joulin, Timothée Lacroix, Baptiste Rozière, Eric Hambro, Faisal Azhar
2023-02-27
SCID:  54.1/vtr2pbdz Discuss with AI
GPT-3LLaMAбазовые языковые моделитесты языковых моделейобщедоступные наборы данных
Abstract (AI)
Мы представляем LLaMA — набор базовых языковых моделей с числом параметров от 7 до 65 млрд. Мы обучаем наши модели на триллионах токенов и показываем, что передовые модели можно обучать исключительно на общедоступных наборах данных, не прибегая к проприетарным и недоступным наборам данных. В частности, LLaMA-13B превосходит GPT-3 (175B) по большинству бенчмарков, а LLaMA-65B сопоставима с лучшими моделями — Chinchilla-70B и PaLM-540B. Мы предоставляем все наши модели исследовательскому сообществу.
Key Findings
1
LLaMA представляет семейство базовых языковых моделей размером от 7 до 65 миллиардов параметров.
2
LLaMA-13B превосходит значительно более крупную модель GPT-3 175B на большинстве бенчмарков.
3
LLaMA-65B сопоставима с Chinchilla-70B и PaLM-540B, несмотря на меньшее число параметров по сравнению с PaLM-540B.
4
Авторы предоставляют все модели LLaMA исследовательскому сообществу.
5
Модели обучены на триллионах токенов исключительно на общедоступных наборах данных, без использования проприетарных или недоступных данных.
Research Object

Коллекция фундаментальных языковых моделей LLaMA (модели с 7B–65B параметров)

Research Subject

Эффективность их обучения и результаты сравнительного тестирования при обучении исключительно на общедоступных наборах данных

Publication Details
Publication Date
2023-02-27
Journal
Publisher
ISSN
Cited by
3973
Access Type
Author Information
Authors
Naman Goyal
Hugo Touvron
Marie-Anne Lachaux
Thibaut Lavril
Xavier Martinet
Aurelien Rodriguez
Guillaume Lample
Gautier Izacard
Édouard Grave
Armand Joulin
Timothée Lacroix
Baptiste Rozière
Eric Hambro
Faisal Azhar
Explore further
Open the scid.ai AI chat with a ready-made request: it will find papers on a similar topic and help build a literature review.
Find similar papers in the chat →
Make a presentation
100%