Искусственный интеллект знает лучше? Парадокс экспертности, доверия к ИИ и эффективности при принятии решений в образовательных задачах тьюторинга

Мы представляем эмпирическое исследование, посвящённое тому, как опытные тьюторы (эксперты) и лица без опыта тьюторинга (новички) оценивают правильность похвальных ответов тьютора при использовании различных интерфейсов поддержки принятия решений на основе искусственного интеллекта (ИИ) и способов представления объяснений. Мы исследуем модели доверия человека к ИИ, разлагая ошибки взаимодействия на чрезмерное доверие (принятие неправильных рекомендаций ИИ) и недостаточное доверие (отклонение правильных рекомендаций ИИ), а также учитывая временные затраты как показатель процесса принятия решений. Во всех условиях взаимодействие человека и ИИ повышало точность по сравнению с самостоятельной работой людей, однако стабильно уступало базовому варианту с использованием только ИИ. Это указывает на то, что человеческие суждения порождали дополнительные ошибки даже при поддержке высокоточной модели. Новички получали больше пользы от поддержки ИИ, поскольку, как правило, следовали его рекомендациям, тогда как эксперты часто отвергали правильные советы ИИ, что приводило к более низкой общей эффективности и выявляло парадокс экспертности при принятии образовательных решений. Кроме того, мы сравниваем два способа представления объяснений: текстовое обоснование и встроенное выделение. Текстовое обоснование снижало недостаточное доверие, когда ИИ был прав, но усиливало чрезмерное доверие, когда ИИ ошибался, тогда как встроенное выделение оказывало минимальное влияние на оба типа поведения. Примечательно, что ни один из способов объяснения не повышал точность, а оба увеличивали временные затраты. Внося вклад в развитие аналитики обучения, мы показываем, что модели доверия — чрезмерное и недостаточное доверие — и временные затраты могут выступать показателями процесса, выявляющими, каким образом пользователи интегрируют рекомендации ИИ или не способны их интегрировать. Полученные результаты подчёркивают необходимость адаптивных стратегий объяснения, калиброванных с учётом доверия, в системах поддержки принятия решений, предназначенных для тьюторов, чтобы обеспечить баланс между точностью, эффективностью и ответственностью во взаимодействии человека и ИИ.