Повышение эффективности анализа финансовых настроений с помощью больших языковых моделей, дополненных поиском

Анализ финансовых настроений имеет критическое значение для оценки стоимости и принятия инвестиционных решений. Однако традиционные модели обработки естественного языка (NLP) ограничены размером своей параметрической структуры и объемом обучающих наборов данных, что снижает их способность к обобщению и эффективность в данной области. В последнее время большие языковые модели (LLM), предварительно обученные на обширных корпусах, продемонстрировали превосходную производительность в различных задачах NLP благодаря высокой эффективности в режиме обучения по нулевому примеру. Тем не менее непосредственное применение LLM для анализа финансовых настроений сопряжено с рядом проблем: расхождение между целью предварительного обучения LLM и предсказанием меток настроений может ухудшать качество прогнозирования. Кроме того, лаконичный характер финансовых новостей, часто не содержащих достаточного контекста, может существенно снижать надежность анализа настроений с помощью LLM. Для решения этих проблем мы предлагаем архитектуру LLM, дополненных поиском, для анализа финансовых настроений. Архитектура включает модуль LLM, настроенной с помощью инструкций, который обеспечивает использование LLM в качестве предикторов меток настроений, и модуль дополнения поиска, извлекающий дополнительный контекст из надежных внешних источников. По сравнению с традиционными моделями и такими LLM, как ChatGPT и LLaMA, предложенный подход обеспечивает прирост показателей точности и F1 на 15–48%.