Интерпретируемость машинного обучения: обзор методов и метрик
Machine Learning Interpretability: A Survey on Methods and Metrics
2019-07-26
SCID: 54.1/23kgj24j
Discuss with AI
системы «черного ящика»методы объясненияметрики качества объясненийинтерпретируемые моделиинтерпретируемость машинного обучения
Figures from the paper
Abstract (AI)
Системы машинного обучения становятся все более широко распространенными. Их внедрение расширяется, ускоряя переход к более алгоритмизированному обществу, в котором решения, принимаемые с учетом алгоритмических рекомендаций, потенциально оказывают существенное социальное воздействие. Однако большинство таких точных систем поддержки принятия решений остаются сложными «черными ящиками»: их внутренняя логика и принципы работы скрыты от пользователей, и даже эксперты не могут полностью понять обоснование получаемых ими прогнозов. Кроме того, новые нормативные требования и использование систем в областях с жестким регулированием сделали аудит и возможность проверки решений обязательными, что повышает потребность в возможности подвергать системы машинного обучения критическому анализу, понимать их работу и доверять им; для этого необходима интерпретируемость. Научное сообщество признало проблему интерпретируемости и в последние годы сосредоточилось на разработке как интерпретируемых моделей, так и методов объяснения. Однако появление этих методов показывает, что консенсуса относительно способов оценки качества объяснений не существует. Какие метрики наиболее подходят для оценки качества объяснения? Цель настоящей статьи — представить обзор современного состояния исследований в области интерпретируемости машинного обучения, уделив особое внимание ее социальному воздействию, а также разработанным методам и метрикам. Кроме того, представлен всесторонний обзор литературы для выявления перспективных направлений дальнейших исследований в этой области.
Key Findings
1
Интерпретируемость становится необходимой, поскольку регулирование и применение в строго регулируемых областях требуют возможности ставить под вопрос, понимать и проверять алгоритмические решения.
2
Системы машинного обучения всё чаще влияют на социально значимые решения, создавая острую потребность в прозрачности, аудируемости и проверяемости.
3
Многие высокоточные системы поддержки принятия решений остаются «чёрными ящиками»: пользователи не видят обоснование прогнозов, а даже эксперты не всегда полностью понимают их логику.
4
Статья систематизирует методы и метрики интерпретируемости, рассматривает их общественное влияние и на основе комплексного обзора литературы определяет направления дальнейших исследований.
5
В области интерпретируемости разработаны как изначально интерпретируемые модели, так и методы постфактум-объяснений, однако отсутствует единый подход к оценке качества объяснений.
Research Object
Модели машинного обучения и методы объяснения для систем поддержки принятия решений
Research Subject
интерпретируемость систем машинного обучения, включая методы формирования объяснений и метрики оценки качества объяснений
Publication Details
Publication Date
2019-07-26
Journal
Publisher
ISSN
Cited by
1898
Open access PDF
Access Type
Author Information
Download PDF
Subscribe to digest
Источники этой статьи в scid.ai8
Глубокое остаточное обучение для распознавания изображений2016
Единый подход к интерпретации предсказаний моделей2017
Greedy function approximation: A gradient boosting machine.2001
Почему я должен вам доверять?2016
Дистилляция знаний в нейронной сети2015
На пути к строгой науке об интерпретируемом машинном обучении2017
Заглядывая в «черный ящик»: обзор объяснимого искусственного интеллекта (XAI)2018
Причинная объяснимость и объяснимость искусственного интеллекта в медицине2019
Работы, цитирующие эту статью19
Объяснимый искусственный интеллект (XAI): что нам известно и чего еще необходимо достичь для создания заслуживающего доверия искусственного интеллекта2023
Влияние чрезмерной зависимости от диалоговых систем искусственного интеллекта на когнитивные способности студентов: систематический обзор2024
Вопросы к ИИ: развитие практик проектирования пользовательского опыта для объяснимого искусственного интеллекта2020
Соединяя точки в сфере заслуживающего доверия искусственного интеллекта: от принципов ИИ, этики и ключевых требований к ответственным системам ИИ и регулированию2023
Доверие к искусственному интеллекту: прогресс, проблемы и перспективные направления2024
Оценка качества объяснений в машинном обучении: обзор методов и метрик2021
От анекдотических свидетельств к количественным методам оценки: систематический обзор оценки объяснимого искусственного интеллекта2023
Объяснимая Искусственная Интеллектуальная Система (XAI) 2.0: Манифест открытых проблем и междисциплинарных направлений исследований2024
Применение объяснимого искусственного интеллекта в кибербезопасности: современное состояние исследований2022
Интерпретируемость предсказательных моделей машинного обучения в здравоохранении2020
Прозрачность глубоких нейронных сетей для анализа медицинских изображений: обзор методов интерпретируемости2021
Искусственный интеллект для приложений предиктивного технического обслуживания: ключевые компоненты, надежность и будущие тенденции2024
Объяснимый искусственный интеллект в кибербезопасности: обзор2022
Обзор методов объяснимого обнаружения аномалий2023
Исследование совместного принятия решений: квазиэкспериментальное исследование взаимодействия человека и генеративного ИИ2024
Современные применения объяснимого искусственного интеллекта (XAI): систематический обзор литературы2024
Интерпретируемое машинное обучение для анализа рынка недвижимости2022
Объяснимый искусственный интеллект (XAI) в страховании2022
Диагностика аккумуляторных батарей в реальных условиях на основе искусственного интеллекта2024