Интерпретируемость машинного обучения: обзор методов и метрик

Machine Learning Interpretability: A Survey on Methods and Metrics
Jaime S. Cardoso, Diogo V. Carvalho, Eduardo M. Pereira, Diogo Antunes Vaz de Carvalho
2019-07-26

системы «черного ящика»методы объясненияметрики качества объясненийинтерпретируемые моделиинтерпретируемость машинного обучения
Системы машинного обучения становятся все более широко распространенными. Их внедрение расширяется, ускоряя переход к более алгоритмизированному обществу, в котором решения, принимаемые с учетом алгоритмических рекомендаций, потенциально оказывают существенное социальное воздействие. Однако большинство таких точных систем поддержки принятия решений остаются сложными «черными ящиками»: их внутренняя логика и принципы работы скрыты от пользователей, и даже эксперты не могут полностью понять обоснование получаемых ими прогнозов. Кроме того, новые нормативные требования и использование систем в областях с жестким регулированием сделали аудит и возможность проверки решений обязательными, что повышает потребность в возможности подвергать системы машинного обучения критическому анализу, понимать их работу и доверять им; для этого необходима интерпретируемость. Научное сообщество признало проблему интерпретируемости и в последние годы сосредоточилось на разработке как интерпретируемых моделей, так и методов объяснения. Однако появление этих методов показывает, что консенсуса относительно способов оценки качества объяснений не существует. Какие метрики наиболее подходят для оценки качества объяснения? Цель настоящей статьи — представить обзор современного состояния исследований в области интерпретируемости машинного обучения, уделив особое внимание ее социальному воздействию, а также разработанным методам и метрикам. Кроме того, представлен всесторонний обзор литературы для выявления перспективных направлений дальнейших исследований в этой области.
1
Интерпретируемость становится необходимой, поскольку регулирование и применение в строго регулируемых областях требуют возможности ставить под вопрос, понимать и проверять алгоритмические решения.
2
Системы машинного обучения всё чаще влияют на социально значимые решения, создавая острую потребность в прозрачности, аудируемости и проверяемости.
3
Многие высокоточные системы поддержки принятия решений остаются «чёрными ящиками»: пользователи не видят обоснование прогнозов, а даже эксперты не всегда полностью понимают их логику.
4
Статья систематизирует методы и метрики интерпретируемости, рассматривает их общественное влияние и на основе комплексного обзора литературы определяет направления дальнейших исследований.
5
В области интерпретируемости разработаны как изначально интерпретируемые модели, так и методы постфактум-объяснений, однако отсутствует единый подход к оценке качества объяснений.

Модели машинного обучения и методы объяснения для систем поддержки принятия решений

интерпретируемость систем машинного обучения, включая методы формирования объяснений и метрики оценки качества объяснений

Publication Details
Publication Date
2019-07-26
Journal
Publisher
ISSN
Cited by
1898
Access Type
Author Information
Authors
Jaime S. Cardoso
Diogo V. Carvalho
Eduardo M. Pereira
Diogo Antunes Vaz de Carvalho
Explore further
Open the scid.ai AI chat with a ready-made request: it will find papers on a similar topic and help build a literature review.
Find similar papers in the chat →
Make a presentation
100%