Обзор методов объяснения решений моделей типа «чёрный ящик»

A Survey of Methods for Explaining Black Box Models
Dino Pedreschi, Riccardo Guidotti, Anna Monreale, Salvatore Ruggieri, Franco Turini, Fosca Giannotti, Salvatore Ruggieri
2018-08-22

черные ящикисистемы поддержки принятия решенийобъяснимый искусственный интеллектметоды объясненияинтерпретируемость моделей
В последние годы многие точные системы поддержки принятия решений создаются как «чёрные ящики», то есть как системы, скрывающие от пользователей свою внутреннюю логику. Отсутствие объяснений представляет собой одновременно практическую и этическую проблему. В научной литературе описано множество подходов, направленных на преодоление этого существенного недостатка, иногда ценой снижения точности ради интерпретируемости. Области применения систем поддержки принятия решений типа «чёрный ящик» разнообразны, и каждый подход обычно разрабатывается для решения конкретной задачи и, следовательно, явно или неявно формулирует собственное понимание интерпретируемости и объяснения. Цель данной статьи — предложить классификацию основных проблем, рассматриваемых в литературе, с учётом понятия объяснения и типа системы «чёрный ящик». При заданных определении задачи, типе «чёрного ящика» и требуемом объяснении этот обзор должен помочь исследователям найти предложения, наиболее полезные для их собственной работы. Предлагаемая классификация подходов к раскрытию принципов работы моделей типа «чёрный ящик» также может оказаться полезной для осмысления множества открытых вопросов для дальнейших исследований.
1
Черные ящики в системах поддержки принятия решений создают практические и этические проблемы, поскольку скрывают от пользователей свою внутреннюю логику.
2
Существующие методы объяснения могут повышать интерпретируемость, но иногда требуют жертвовать частью точности прогнозирования.
3
Подходы к объяснению различаются в зависимости от области применения, типа системы «черного ящика» и используемого понятия интерпретируемости.
4
Предложенная классификация систематизирует открытые исследовательские вопросы, связанные с объяснением и раскрытием работы моделей-черных ящиков.
5
В обзоре основные исследовательские задачи и методы классифицируются по типу черного ящика и желаемому объяснению, что помогает выбирать подходящие методы.

Системы поддержки принятия решений «чёрный ящик» (чёрные модели)

методы и подходы к объяснению их внутренней логики и классификации объяснений по типу задачи, типу «чёрного ящика» и требуемой интерпретируемости

Publication Details
Publication Date
2018-08-22
Journal
Publisher
ISSN
Cited by
629
Access Type
Author Information
Authors
Dino Pedreschi
Riccardo Guidotti
Anna Monreale
Salvatore Ruggieri
Franco Turini
Fosca Giannotti
Salvatore Ruggieri
Explore further
Open the scid.ai AI chat with a ready-made request: it will find papers on a similar topic and help build a literature review.
Find similar papers in the chat →
Make a presentation
100%