Могут ли большие языковые модели преобразовать вычислительную социальную науку?

Большие языковые модели (LLM) способны успешно выполнять многие задачи обработки языка в режиме zero-shot (без обучающих данных). Если LLM в режиме zero-shot также смогут надежно классифицировать и объяснять социальные явления, такие как убедительность и политическая идеология, то они смогут существенно расширить возможности конвейера вычислительной социальной науки (CSS). В этой работе предлагается дорожная карта использования LLM в качестве инструментов CSS. С этой целью мы представляем набор рекомендаций по разработке промптов и развернутый оценочный конвейер для измерения эффективности 13 языковых моделей в режиме zero-shot на 25 репрезентативных англоязычных тестах CSS. В задачах таксономической разметки (классификации) LLM не превосходят лучшие дообученные модели, однако демонстрируют достаточно высокий уровень согласия с людьми. В задачах свободного кодирования (генерации) LLM создают объяснения, качество которых часто превышает качество эталонных ответов краудворкеров. Мы заключаем, что эффективность современных LLM может расширить исследовательский конвейер CSS двумя способами: (1) за счет использования LLM в качестве аннотаторов данных в режиме zero-shot в составе команд, выполняющих разметку с участием людей, и (2) за счет начальной генерации для сложных творческих задач (например, объяснения лежащих в основе текста атрибутов). Таким образом, LLM могут содержательно участвовать в анализе социальных наук в партнерстве с людьми.