Взаимодействие человека и искусственного интеллекта при принятии решений в государственном секторе: «автоматизационное искажение» и «избирательное следование» алгоритмическим рекомендациям

Государственные органы всё чаще используют алгоритмы искусственного интеллекта в качестве вспомогательных средств при принятии решений, рассчитывая таким образом преодолеть искажения, свойственные людям, принимающим решения. Вместе с тем алгоритмы могут порождать новые искажения во взаимодействии человека и алгоритма. Опираясь на исследования в области психологии и государственного управления, мы изучаем два ключевых искажения: чрезмерную зависимость от алгоритмических рекомендаций даже при наличии «предупреждающих сигналов» из других источников (автоматизационное искажение) и избирательное принятие алгоритмических рекомендаций, когда они соответствуют стереотипам (избирательное следование). Мы оцениваем эти искажения в рамках трёх экспериментальных исследований, проведённых в Нидерландах. В исследовании 1 (N = 605) мы проверяем автоматизационное искажение, изучая, насколько участники следуют алгоритмическому прогнозу по сравнению с эквивалентным прогнозом эксперта-человека. Мы не обнаружили свидетельств автоматизационного искажения. В исследовании 2 (N = 904) мы воспроизводим эти результаты и дополнительно проверяем избирательное следование. Мы обнаружили более высокую склонность следовать рекомендациям, когда они согласуются с групповыми стереотипами; при этом значимых различий между алгоритмическими рекомендациями и рекомендациями эксперта-человека не выявлено. В исследовании 3 (N = 1 345) мы воспроизводим наш дизайн на выборке государственных служащих. Исследование проводилось вскоре после крупного скандала, связанного с использованием государственными органами алгоритма, приводившего к дискриминационным результатам (так называемого «скандала с пособиями по уходу за детьми»). Сам скандал иллюстрирует нашу теорию и выявленные экспериментально закономерности; однако в исследовании 3, хотя его результаты подтверждают наши предыдущие выводы относительно автоматизационного искажения, мы не обнаружили признаков избирательного следования. Мы предполагаем, что это обусловлено повышенной осведомлённостью бюрократов о дискриминации и алгоритмических искажениях после скандала. Мы обсуждаем значение полученных результатов для принятия решений в государственном секторе в эпоху автоматизации. В целом наше исследование указывает на потенциальные негативные последствия автоматизации административного государства для граждан, уже находящихся в уязвимом и неблагоприятном положении.