Оценка качества объяснений в машинном обучении: обзор методов и метрик

Наиболее успешные системы машинного обучения (МО) остаются сложными «чёрными ящиками» для конечных пользователей, и даже эксперты часто не способны понять обоснование принимаемых ими решений. Недостаточная прозрачность таких систем может иметь серьёзные последствия или приводить к неэффективному использованию ограниченных и ценных ресурсов в медицинской диагностике, принятии финансовых решений и других критически важных областях. Поэтому проблема объяснения решений систем МО вызывает всё больший интерес как у научного сообщества, так и в прикладных областях. Несмотря на то что было исследовано множество методов объяснения, существует потребность в оценках, позволяющих количественно определить качество методов объяснения, установить, достигает ли обеспечиваемая ими объяснимость поставленной цели и в какой степени, сравнить доступные методы объяснения и предложить наилучшее объяснение для конкретной задачи. В данной обзорной статье представлен всесторонний обзор методов, предложенных в современной литературе для оценки объяснений систем МО. На основе анализа определений объяснимости выявлены её свойства. Выявленные свойства используются в качестве целей, которым должны соответствовать метрики оценки. Обзор показал, что количественные метрики для объяснений на основе модели и на основе примеров преимущественно применяются для оценки краткости и простоты интерпретируемости, тогда как количественные метрики для объяснений на основе атрибуции главным образом используются для оценки обоснованности и достоверности объяснимости. Обзор также продемонстрировал, что субъективные показатели, такие как доверие и уверенность, стали центральными аспектами человеко-ориентированной оценки объяснимых систем. В статье сделан вывод о том, что оценка объяснений систем МО является междисциплинарной научной задачей. Кроме того, невозможно определить единую реализацию метрик оценки, применимую ко всем методам объяснения.