LLaMA: открытые и эффективные базовые языковые модели
LLaMA: Open and Efficient Foundation Language Models
2023-02-27
SCID: 54.1/vtr2pbdz
Discuss with AI
GPT-3LLaMAбазовые языковые моделитесты языковых моделейобщедоступные наборы данных
Figures from the paper
Abstract (AI)
Мы представляем LLaMA — набор базовых языковых моделей с числом параметров от 7 до 65 млрд. Мы обучаем наши модели на триллионах токенов и показываем, что передовые модели можно обучать исключительно на общедоступных наборах данных, не прибегая к проприетарным и недоступным наборам данных. В частности, LLaMA-13B превосходит GPT-3 (175B) по большинству бенчмарков, а LLaMA-65B сопоставима с лучшими моделями — Chinchilla-70B и PaLM-540B. Мы предоставляем все наши модели исследовательскому сообществу.
Key Findings
1
LLaMA представляет семейство базовых языковых моделей размером от 7 до 65 миллиардов параметров.
2
LLaMA-13B превосходит значительно более крупную модель GPT-3 175B на большинстве бенчмарков.
3
LLaMA-65B сопоставима с Chinchilla-70B и PaLM-540B, несмотря на меньшее число параметров по сравнению с PaLM-540B.
4
Авторы предоставляют все модели LLaMA исследовательскому сообществу.
5
Модели обучены на триллионах токенов исключительно на общедоступных наборах данных, без использования проприетарных или недоступных данных.
Research Object
Коллекция фундаментальных языковых моделей LLaMA (модели с 7B–65B параметров)
Research Subject
Эффективность их обучения и результаты сравнительного тестирования при обучении исключительно на общедоступных наборах данных
Publication Details
Publication Date
2023-02-27
Journal
Publisher
ISSN
Cited by
23690
Open access PDF
Access Type
Author Information
Download PDF
Subscribe to digest
Источники этой статьи в scid.ai2
Работы, цитирующие эту статью20
Обзор больших языковых моделей2026
Обзор методов оценки больших языковых моделей2024
Затерянные в середине: как языковые модели используют длинные контексты2024
Обзор автономных агентов на основе больших языковых моделей2024
Всесторонний обзор больших языковых моделей2025
Объединение больших языковых моделей и графов знаний: дорожная карта2024
BloombergGPT: большая языковая модель для финансов2023
🧜Песнь сирены в океане ИИ: обзор галлюцинаций в больших языковых моделях2025
GQA: обучение обобщённых трансформерных моделей с grouped-query attention на основе чекпоинтов с многоголовым вниманием2023
Последние достижения в области обработки естественного языка с использованием крупномасштабных предварительно обученных языковых моделей: обзор2023
Автономные химические исследования с использованием больших языковых моделей2023
Будущий ландшафт больших языковых моделей в медицине2023
Генерация с активным дополнением посредством поиска2023
Большие языковые модели для программной инженерии: систематический обзор литературы2024
От ChatGPT к ThreatGPT: влияние генеративного искусственного интеллекта на кибербезопасность и конфиденциальность2023
Обзор больших языковых моделей: архитектуры, приложения, таксономии, нерешённые вопросы и проблемы2024
Генерация с дополнением извлечённой информацией для контента, создаваемого искусственным интеллектом: обзор2026
Структурированное извлечение информации из научных текстов с помощью больших языковых моделей2024
Анализ тональности в эпоху больших языковых моделей: проверка реальностью2024
Бенчмаркинг генерации с дополнением извлечённой информацией в медицине2024