FinBERT: большая языковая модель для извлечения информации из финансовых текстов

Мы разработали FinBERT — современную большую языковую модель, адаптированную к финансовой предметной области. Мы показываем, что FinBERT учитывает финансовые знания и позволяет лучше обобщать контекстную информацию в финансовых текстах. На выборке предложений из аналитических отчетов, размеченных исследователями, мы демонстрируем, что FinBERT значительно превосходит словарь Лафрана и Макдональда и другие алгоритмы машинного обучения, включая наивный байесовский классификатор, метод опорных векторов, случайный лес, сверточную нейронную сеть и сеть с долгой краткосрочной памятью, при классификации тональности. Наши результаты показывают, что FinBERT особенно хорошо определяет положительную или отрицательную тональность предложений, которые другие алгоритмы ошибочно относят к нейтральным, вероятно, благодаря использованию контекстной информации финансового текста. Мы установили, что преимущество FinBERT по сравнению с другими алгоритмами и оригинальной моделью Google bidirectional encoder representations from transformers особенно заметно при небольшом размере обучающей выборки и в текстах, содержащих финансовые слова, редко используемые в общих текстах. FinBERT также превосходит другие модели при выявлении обсуждений, связанных с экологическими, социальными и управленческими аспектами. Наконец, мы показываем, что другие подходы недооценивают информативность текстов стенограмм телеконференций по итогам деятельности как минимум на 18% по сравнению с FinBERT. Полученные результаты имеют значение для академических исследователей, инвестиционных специалистов и регуляторов финансовых рынков.