BloombergGPT: большая языковая модель для финансов

Применение методов обработки естественного языка (NLP) в финансовых технологиях широко и сложно и включает такие задачи, как анализ сентимента, распознавание именованных сущностей и ответы на вопросы. Большие языковые модели (LLM) показали свою эффективность в различных задачах; однако в литературе не сообщалось о LLM, специализированной для финансовой области. В настоящей работе мы представляем BloombergGPT, языковую модель с 50 миллиардами параметров, обученную на широком спектре финансовых данных. Мы собрали датасет объемом 363 миллиарда токенов на основе обширных источников данных Bloomberg, возможно, крупнейший доменно-специфический датасет на сегодняшний день, дополненный 345 миллиардами токенов из общих наборов данных. Мы валидации BloombergGPT на стандартных бенчмарках для LLM, открытых финансовых бенчмарках и наборе внутренних бенчмарков, наиболее точно отражающих предполагаемое использование. Обучение на смешанном датасете привело к модели, которая превосходит существующие модели по финансовым задачам с существенными отрывами, не жертвуя при этом производительностью на общих LLM-бенчмарках. Кроме того, мы поясняем выбор моделей, процесс обучения и методологию оценки. Мы публикуем Training Chronicles (Приложение C) с описанием нашего опыта обучения BloombergGPT.