Интерпретируемость машинного обучения: обзор методов и метрик

Системы машинного обучения становятся все более широко распространенными. Их внедрение расширяется, ускоряя переход к более алгоритмизированному обществу, в котором решения, принимаемые с учетом алгоритмических рекомендаций, потенциально оказывают существенное социальное воздействие. Однако большинство таких точных систем поддержки принятия решений остаются сложными «черными ящиками»: их внутренняя логика и принципы работы скрыты от пользователей, и даже эксперты не могут полностью понять обоснование получаемых ими прогнозов. Кроме того, новые нормативные требования и использование систем в областях с жестким регулированием сделали аудит и возможность проверки решений обязательными, что повышает потребность в возможности подвергать системы машинного обучения критическому анализу, понимать их работу и доверять им; для этого необходима интерпретируемость. Научное сообщество признало проблему интерпретируемости и в последние годы сосредоточилось на разработке как интерпретируемых моделей, так и методов объяснения. Однако появление этих методов показывает, что консенсуса относительно способов оценки качества объяснений не существует. Какие метрики наиболее подходят для оценки качества объяснения? Цель настоящей статьи — представить обзор современного состояния исследований в области интерпретируемости машинного обучения, уделив особое внимание ее социальному воздействию, а также разработанным методам и метрикам. Кроме того, представлен всесторонний обзор литературы для выявления перспективных направлений дальнейших исследований в этой области.