Остерегайтесь «объяснений» ИИ

Понимание решений, принимаемых, и действий, совершаемых всё более сложными системами искусственного интеллекта (ИИ), остаётся одной из ключевых проблем. Это привело к активному развитию исследований в области объяснимого искусственного интеллекта (XAI), подчёркивающих потенциал объяснений в повышении доверия, содействии внедрению и обеспечении соответствия нормативным требованиям. Однако то, что считать «хорошим» объяснением, зависит от целей, заинтересованных сторон и контекста. На общем уровне психологические представления, такие как концепция согласованности ментальных моделей, могут служить ориентиром, однако практическое достижение этой цели затруднено социальными и техническими факторами. Вследствие нечёткой постановки этой проблемы объяснения могут иметь низкое качество (например, быть не соответствующими действительности, нерелевантными или несвязными), что потенциально приводит к существенным рискам. Вместо укрепления доверия и безопасности плохо спроектированные объяснения могут фактически причинять вред из-за ошибочных решений, нарушений конфиденциальности, манипуляций и снижения уровня внедрения ИИ. Поэтому мы призываем заинтересованные стороны с осторожностью относиться к объяснениям работы ИИ: хотя они могут быть крайне важны, сами по себе они не являются гарантированным решением проблем прозрачности или ответственного внедрения ИИ, а их неправильное применение или ограничения могут усугублять вред. Учет этих оговорок может помочь направить будущие исследования на повышение качества и эффективности объяснений ИИ.