Ментальные модели AI-агентов в условиях кооперативной игровой среды

По мере того как различные формы искусственного интеллекта становятся все более распространёнными, важно понять, как люди формируют ментальные модели этих систем. В данной работе мы изучаем ментальные модели людей относительно ИИ в кооперативной игре по отгадыванию слов. Мы проводим исследования с проговариванием вслух, в которых участники играют с ИИ-агентом; с помощью тематического анализа мы выявляем особенности ментальных моделей, сформированных участниками. В крупномасштабном исследовании участники играют с ИИ-агентом онлайн и заполняют постигровой опросник, направленный на изучение их ментальной модели. Мы обнаруживаем, что те участники, которые побеждают чаще, имеют более точные оценки способностей ИИ-агента. Мы предлагаем три компонента для моделирования систем ИИ, утверждаем, что понимание базовой технологии само по себе недостаточно для разработки адекватных концептуальных моделей (необходим также анализ поведения), и намечаем направления будущих исследований по изучению того, как ментальные модели пересматриваются со временем.