Под чьим влиянием: измерение влияния ИИ для адаптации к профилям пользователей при принятии решений

Искусственный интеллект (ИИ) стал важным инструментом расширения возможностей человека при принятии решений в различных областях, однако его влияние на решения пользователей зачастую не получает всесторонней оценки. В то время как при разработке ИИ доминируют показатели технической эффективности, такие как точность и производительность, интеграция человекоцентрированных подходов, учитывающих доверие и склонность полагаться на ИИ, остается недостаточно изученной. В настоящем исследовании рассматривается пробел в знаниях о том, как системы ИИ влияют на качество принятия решений с учетом профилей пользователей, включая их экспертность, навыки, профессиональную роль, уверенность в себе и склонность полагаться на рекомендации ИИ. Представлена новая комплексная система метрик для оценки влияния ИИ, в которой особое внимание уделяется поведенческим моделям и измеримым улучшениям результатов принятия решений, выходящим за рамки простого согласия с рекомендациями ИИ. Система метрик применена в четырех исследованиях конкретных случаев в медицинской области — МРТ, ЭКГ, рентгенографии и эндоскопии (ENDO), — с участием специалистов, узких специалистов и стажеров. Результаты показали, что, несмотря на высокий уровень согласия между решениями человека и ИИ — до 81%, — влияние ИИ на качество решений существенно различается. В частности, при принятии решений по рентгеновским изображениям был получен наиболее высокий индекс влияния (0,27), тогда как при принятии решений по МРТ наблюдалось выраженное смещение самопривязки (6,94), снижающее потенциальное положительное воздействие ИИ. Метрики влияния выявили нюансы, которые не отражаются в показателях согласия, включая предметно-специфические смещения и возможности оптимизации взаимодействия человека и ИИ. Исследование подчеркивает необходимость адаптировать тип системы ИИ и предоставляемые ею возможности к характеристикам пользователей и их установкам относительно доверия к ИИ, чтобы формировать откалиброванное доверие и улучшать результаты принятия решений. Полученные результаты служат основой для разработки систем ИИ, которые лучше поддерживают разнообразные потребности пользователей и согласуются с решениями человека, способствуя развитию человекоцентрированной интеграции ИИ в областях с высокой ответственностью. Разработаны новые метрики для оценки влияния ИИ, выходящего за рамки согласия пользователя с ИИ. Выявлены смещения, влияющие на воздействие ИИ, включая смещение самопривязки.