BLOOM: многоязычная открытая языковая модель с 176 миллиардами параметров
BLOOM: A 176B-Parameter Open-Access Multilingual Language Model
2022-11-09
SCID: 54.1/spjs6kj8
Discuss with AI
176B-параметровBLOOMкорпус ROOTSдекодерный Transformerмногоязычная языковая модель
Figures from the paper
Abstract (AI)
Показано, что большие языковые модели (LLM) способны выполнять новые задачи на основе нескольких демонстраций или инструкций на естественном языке. Хотя эти возможности привели к широкому распространению, большинство LLM разрабатываются организациями с большими ресурсами и часто недоступны для общественности. В рамках шага по демократизации этой мощной технологии мы представляем BLOOM — открытую языковую модель с 176 миллиардами параметров, разработанную и созданную благодаря сотрудничеству сотен исследователей. BLOOM — это только-декодерная модель Transformer, обученная на корпусе ROOTS, датасете, включающем сотни источников на 46 естественных и 13 языках программирования (всего 59). Мы обнаружили, что BLOOM демонстрирует сопоставимые результаты по широкому спектру бенчмарков, с улучшенной производительностью после многоцелевой донастройки с подсказками. Чтобы облегчить будущие исследования и приложения с использованием LLM, мы публично публикуем наши модели и код под лицензионными условиями Responsible AI License.
Key Findings
1
BLOOM демонстрирует конкурентоспособные результаты по широкому набору бенчмарков по сравнению с существующими моделями.
2
BLOOM — это открытая языковая модель с 176 миллиардами параметров, являющаяся декодерным Transformer и созданная в рамках большой совместной работы.
3
BLOOM обучена на корпусе ROOTS, включающем сотни источников на 59 языках (46 естественных и 13 языков программирования).
4
Многозадачная дообученность с подсказками (multitask prompted finetuning) дополнительно улучшает производительность BLOOM на оцененных задачах.
5
Авторы публично публикуют модели и код BLOOM под лицензией Responsible AI License для содействия демократизации исследований и приложений.
Research Object
BLOOM — открытая многозначная (мультиязычная) декодерная языковая модель с 176 миллиардами параметров, обученная на корпусе ROOTS
Research Subject
Производительность и доступность модели: оценка конкурентоспособности BLOOM по различным бенчмаркам и влияние многозадачной донастройки с подсказками, а также её открытый выпуск для демократизации технологий больших языковых моделей
Publication Details
Publication Date
2022-11-09
Journal
Publisher
ISSN
Cited by
286
Open access PDF
Access Type
Author Information
Download PDF
Subscribe to digest
Работы, цитирующие эту статью14
LLaMA: открытые и эффективные базовые языковые модели2023
Обзор больших языковых моделей2026
Большие языковые модели кодируют клинические знания2023
Всесторонний обзор больших языковых моделей2025
🧜Песнь сирены в океане ИИ: обзор галлюцинаций в больших языковых моделях2025
Visual ChatGPT: общение, рисование и редактирование с использованием визуальных базовых моделей2023
Обзор безопасности и конфиденциальности больших языковых моделей (LLM): хорошее, плохое и ужасное2024
Обзор больших языковых моделей: архитектуры, приложения, таксономии, нерешённые вопросы и проблемы2024
Регулирование ChatGPT и других больших генеративных моделей ИИ2023
Генеративный искусственный интеллект и ChatGPT в образовании школьников: данные школьного урока2023
Открытый путь развития больших языковых моделей в медицине2024
RenAIssance: Обзор генерации изображений по тексту на основе ИИ в эпоху больших моделей2024
LLM-Commentator: Новые стратегии дообучения больших языковых моделей для автоматической генерации комментариев с использованием данных о событиях футбольных матчей2024
Картирование нейронных строительных блоков человеческого языка с помощью языковых моделей2026