Обзор методов объяснения решений моделей типа «чёрный ящик»
A Survey of Methods for Explaining Black Box Models
2018-08-22
SCID: 54.1/tyk3wkvd
Discuss with AI
черные ящикисистемы поддержки принятия решенийобъяснимый искусственный интеллектметоды объясненияинтерпретируемость моделей
Figures from the paper
Abstract (AI)
В последние годы многие точные системы поддержки принятия решений создаются как «чёрные ящики», то есть как системы, скрывающие от пользователей свою внутреннюю логику. Отсутствие объяснений представляет собой одновременно практическую и этическую проблему. В научной литературе описано множество подходов, направленных на преодоление этого существенного недостатка, иногда ценой снижения точности ради интерпретируемости. Области применения систем поддержки принятия решений типа «чёрный ящик» разнообразны, и каждый подход обычно разрабатывается для решения конкретной задачи и, следовательно, явно или неявно формулирует собственное понимание интерпретируемости и объяснения. Цель данной статьи — предложить классификацию основных проблем, рассматриваемых в литературе, с учётом понятия объяснения и типа системы «чёрный ящик». При заданных определении задачи, типе «чёрного ящика» и требуемом объяснении этот обзор должен помочь исследователям найти предложения, наиболее полезные для их собственной работы. Предлагаемая классификация подходов к раскрытию принципов работы моделей типа «чёрный ящик» также может оказаться полезной для осмысления множества открытых вопросов для дальнейших исследований.
Key Findings
1
Черные ящики в системах поддержки принятия решений создают практические и этические проблемы, поскольку скрывают от пользователей свою внутреннюю логику.
2
Существующие методы объяснения могут повышать интерпретируемость, но иногда требуют жертвовать частью точности прогнозирования.
3
Подходы к объяснению различаются в зависимости от области применения, типа системы «черного ящика» и используемого понятия интерпретируемости.
4
Предложенная классификация систематизирует открытые исследовательские вопросы, связанные с объяснением и раскрытием работы моделей-черных ящиков.
5
В обзоре основные исследовательские задачи и методы классифицируются по типу черного ящика и желаемому объяснению, что помогает выбирать подходящие методы.
Research Object
Системы поддержки принятия решений «чёрный ящик» (чёрные модели)
Research Subject
методы и подходы к объяснению их внутренней логики и классификации объяснений по типу задачи, типу «чёрного ящика» и требуемой интерпретируемости
Publication Details
Publication Date
2018-08-22
Journal
Publisher
ISSN
Cited by
629
Open access PDF
Access Type
Author Information
Download PDF
Subscribe to digest
Источники этой статьи в scid.ai5
Работы, цитирующие эту статью20
Заглядывая в «черный ящик»: обзор объяснимого искусственного интеллекта (XAI)2018
Интерпретация моделей «чёрного ящика»: обзор объяснимого искусственного интеллекта2023
Объяснимый искусственный интеллект (XAI): что нам известно и чего еще необходимо достичь для создания заслуживающего доверия искусственного интеллекта2023
Объяснимое машинное обучение для получения научных знаний и открытий2020
Смещение в управляемых данными системах искусственного интеллекта: вводный обзор2020
Будущее индустрии 5.0 в обществе: ориентированные на человека решения, проблемы и перспективные области исследований2022
Обзор интерпретируемости обучения с учителем2021
Вопросы к ИИ: развитие практик проектирования пользовательского опыта для объяснимого искусственного интеллекта2020
От чего к тому, как: предварительный обзор общедоступных инструментов, методов и исследований в области этики искусственного интеллекта для перевода принципов в практику2019
Применение искусственного интеллекта к медицинским изображениям: от машинного обучения до глубокого обучения2021
Механизм внимания в обработке естественного языка2020
Объяснимый искусственный интеллект (XAI) в финансах: систематический обзор литературы2024
Оценка качества объяснений в машинном обучении: обзор методов и метрик2021
От анекдотических свидетельств к количественным методам оценки: систематический обзор оценки объяснимого искусственного интеллекта2023
Объяснимая Искусственная Интеллектуальная Система (XAI) 2.0: Манифест открытых проблем и междисциплинарных направлений исследований2024
Объяснимый ИИ для Healthcare 5.0: возможности и проблемы2022
Объяснимое, надежное и этичное машинное обучение в здравоохранении: обзор2022
Объяснимый искусственный интеллект в кибербезопасности: обзор2022
Многоуровневая мультимодальная модель выявления и прогнозирования на основе объяснимого искусственного интеллекта для болезни Альцгеймера2021
Обзор методов объяснимого искусственного интеллекта для биомедицинской визуализации с использованием глубоких нейронных сетей2023