Могут ли большие языковые модели преобразовать вычислительную социальную науку?
Can Large Language Models Transform Computational Social Science?
2023-12-12
SCID: 54.1/pedxg4bg
Discuss with AI
вычислительные социальные наукисвободное кодированиебольшие языковые моделилучшие практики промптингаклассификация без обучения
Figures from the paper
Abstract (AI)
Большие языковые модели (LLM) способны успешно выполнять многие задачи обработки языка в режиме zero-shot (без обучающих данных). Если LLM в режиме zero-shot также смогут надежно классифицировать и объяснять социальные явления, такие как убедительность и политическая идеология, то они смогут существенно расширить возможности конвейера вычислительной социальной науки (CSS). В этой работе предлагается дорожная карта использования LLM в качестве инструментов CSS. С этой целью мы представляем набор рекомендаций по разработке промптов и развернутый оценочный конвейер для измерения эффективности 13 языковых моделей в режиме zero-shot на 25 репрезентативных англоязычных тестах CSS. В задачах таксономической разметки (классификации) LLM не превосходят лучшие дообученные модели, однако демонстрируют достаточно высокий уровень согласия с людьми. В задачах свободного кодирования (генерации) LLM создают объяснения, качество которых часто превышает качество эталонных ответов краудворкеров. Мы заключаем, что эффективность современных LLM может расширить исследовательский конвейер CSS двумя способами: (1) за счет использования LLM в качестве аннотаторов данных в режиме zero-shot в составе команд, выполняющих разметку с участием людей, и (2) за счет начальной генерации для сложных творческих задач (например, объяснения лежащих в основе текста атрибутов). Таким образом, LLM могут содержательно участвовать в анализе социальных наук в партнерстве с людьми.
Key Findings
1
В задачах свободного кодирования и генерации объяснения LLM часто превосходят по качеству эталонные объяснения, подготовленные краудворкерами.
2
В задачах таксономической разметки и классификации LLM без дообучения не превосходят лучшие дообученные модели, но достигают приемлемого согласия с человеческими оценками.
3
LLM способны существенно дополнять исследования в области вычислительных социальных наук при использовании совместно с исследователями-людьми.
4
Авторы предлагают использовать LLM как аннотаторов без дообучения в командах с человеческими аннотаторами и для запуска сложных творческих задач генерации.
5
В исследовании оценивается эффективность 13 языковых моделей без дообучения на 25 репрезентативных англоязычных тестах по вычислительным социальным наукам.
Research Object
Большие языковые модели (LLM), оцениваемые как инструменты для задач вычислительной социальной науки
Research Subject
их надёжность и результативность при классификации и объяснении социальных явлений, включая согласованность с людьми и сравнение с дообученными моделями и краудворкерами
Publication Details
Publication Date
2023-12-12
Journal
Publisher
ISSN
Cited by
841
Open access PDF
Access Type
Author Information
Download PDF
Subscribe to digest
Источники этой статьи в scid.ai11
Исследование пределов трансферного обучения с помощью унифицированного преобразователя текста в текст2019
Теория уровней конструирования и психологическая дистанция2010
Обучение языковых моделей следованию инструкциям с использованием обратной связи от человека2022
О возможностях и рисках фундаментальных моделей2021
Генеративные агенты: интерактивные симулякры человеческого поведения2023
Longformer: трансформер для длинных документов2020
Законы масштабирования нейронных языковых моделей2020
За пределами игры в имитацию: количественная оценка и экстраполяция возможностей языковых моделей2022
Является ли ChatGPT универсальным решателем задач обработки естественного языка?2023
За пределами психологии западных, образованных, индустриализированных, богатых и демократических обществ (WEIRD): измерение и картографирование шкал культурной и психологической дистанции2020
Может ли генеративный ИИ улучшить социальные науки?2024
Работы, цитирующие эту статью8
Обзор методов оценки больших языковых моделей2024
Обзор автономных агентов на основе больших языковых моделей2024
Может ли генеративный ИИ улучшить социальные науки?2024
Подхалимский искусственный интеллект снижает просоциальные намерения и усиливает зависимость2026
Исследование интеллектуальных агентов на основе больших языковых моделей: определения, методы и перспективы2026
Большие языковые модели: структурированная таксономия и обзор проблем, ограничений, решений и перспективных направлений2025
За пределами статичных ответов: мультиагентные системы на основе больших языковых моделей как новая парадигма исследований в социальных науках2026
Наука о принятии решений в эпоху агентных систем: передовые направления исследований агентного ИИ и взаимодействия человека и агентов2026