BloombergGPT: большая языковая модель для финансов
BloombergGPT: A Large Language Model for Finance
2023-03-30
SCID: 54.1/8auhbq5n
Discuss with AI
языковая модель с 50 миллиардами параметровBloombergGPTфинансовые NLP бенчмаркифинансовый датасет (363 млрд токенов)смешанное обучение на датасетах (финансовые + общие 345 млрд токенов)
Figures from the paper
Abstract (AI)
Применение методов обработки естественного языка (NLP) в финансовых технологиях широко и сложно и включает такие задачи, как анализ сентимента, распознавание именованных сущностей и ответы на вопросы. Большие языковые модели (LLM) показали свою эффективность в различных задачах; однако в литературе не сообщалось о LLM, специализированной для финансовой области. В настоящей работе мы представляем BloombergGPT, языковую модель с 50 миллиардами параметров, обученную на широком спектре финансовых данных. Мы собрали датасет объемом 363 миллиарда токенов на основе обширных источников данных Bloomberg, возможно, крупнейший доменно-специфический датасет на сегодняшний день, дополненный 345 миллиардами токенов из общих наборов данных. Мы валидации BloombergGPT на стандартных бенчмарках для LLM, открытых финансовых бенчмарках и наборе внутренних бенчмарков, наиболее точно отражающих предполагаемое использование. Обучение на смешанном датасете привело к модели, которая превосходит существующие модели по финансовым задачам с существенными отрывами, не жертвуя при этом производительностью на общих LLM-бенчмарках. Кроме того, мы поясняем выбор моделей, процесс обучения и методологию оценки. Мы публикуем Training Chronicles (Приложение C) с описанием нашего опыта обучения BloombergGPT.
Key Findings
1
BloombergGPT — это крупная языковая модель с 50 миллиардами параметров, специально обученная для финансовой области.
2
BloombergGPT сохраняет конкурентную производительность на стандартных общих бенчмарках LLM при улучшении результатов по финансовым задачам.
3
Обучение на смешанном наборе данных обеспечивает модель, которая превосходит существующие модели по финансовым задачам с существенным отрывом.
4
В статье описаны выборы моделирования, процесс обучения, методология оценки и представлены подробные Training Chronicles (Приложение C).
5
Корпус для обучения включает 363 миллиарда токенов финансовых данных и дополнительно 345 миллиардов токенов общих датасетов.
Research Object
BloombergGPT — языковая модель большого размера с 50 миллиардами параметров, обученная на финансовых и общих корпусах текстов
Research Subject
Работоспособность и поведение BloombergGPT на финансовых задачах NLP и общих бенчмарках LLM в зависимости от смешанного доменного (финансовые + общие) масштабного обучающего корпуса и принятых решений при тренировке
Publication Details
Publication Date
2023-03-30
Journal
Publisher
ISSN
Cited by
2430
Open access PDF
Access Type
Author Information
Download PDF
Subscribe to digest
Источники этой статьи в scid.ai8
Исследование пределов трансферного обучения с помощью унифицированного преобразователя текста в текст2019
LLaMA: открытые и эффективные базовые языковые модели2023
Модель языка на основе рекуррентной нейронной сети2010
Система нейронного машинного перевода Google: сокращение разрыва между человеческим и машинным переводом2016
Большие языковые модели кодируют клинические знания2023
Законы масштабирования нейронных языковых моделей2020
BioGPT: генеративный предварительно обученный трансформер для генерации и интеллектуального анализа биомедицинских текстов2022
GPT-NeoX-20B: Открытая авторегрессивная языковая модель2022
Работы, цитирующие эту статью16
Обзор больших языковых моделей2026
Всесторонний обзор больших языковых моделей2025
Обзор безопасности и конфиденциальности больших языковых моделей (LLM): хорошее, плохое и ужасное2024
Системы рекомендаций в эпоху больших языковых моделей (LLMs)2024
Обзор больших языковых моделей: приложения, проблемы, ограничения и практическое применение2023
Повышение эффективности анализа финансовых настроений с помощью больших языковых моделей, дополненных поиском2023
Анализ финансовых настроений: методы и приложения2024
Большие языковые модели: всесторонний обзор их приложений, проблем, ограничений и перспектив развития2023
Применение больших языковых моделей в кибербезопасности: систематический обзор литературы2024
RLHF расшифровано: критический анализ обучения с подкреплением на основе человеческой обратной связи для крупных языковых моделей2025
SAGA: архитектура безопасности для управления агентными системами искусственного интеллекта2026
Важность управления данными ИИ в больших языковых моделях2025
Большие языковые модели и графы знаний: возможности и вызовы2023
Большие языковые модели: структурированная таксономия и обзор проблем, ограничений, решений и перспективных направлений2025
RenAIssance: Обзор генерации изображений по тексту на основе ИИ в эпоху больших моделей2024
Повышение точности результатов GPT-3/4 на биомедицинских данных с использованием языковой модели с дополнительным поиском (RAG)2024