На пути к строгой науке об интерпретируемом машинном обучении
Towards A Rigorous Science of Interpretable Machine Learning
2017-02-28
SCID: 54.1/hjzp6s3h
Discuss with AI
алгоритмическая недискриминациясистемы объясненийинтерпретируемое машинное обучениебезопасность машинного обучениястрогая оценка
Figures from the paper
Abstract (AI)
По мере того как системы машинного обучения становятся повсеместными, наблюдается всплеск интереса к интерпретируемому машинному обучению — системам, предоставляющим объяснения своих результатов. Эти объяснения часто используются для качественной оценки других критериев, таких как безопасность или недискриминация. Однако, несмотря на интерес к интерпретируемости, существует очень мало согласия относительно того, что представляет собой интерпретируемое машинное обучение и как его следует измерять. В этой концептуальной статье мы сначала определяем интерпретируемость и описываем, когда она необходима, а когда нет. Затем мы предлагаем таксономию для строгой оценки и выявляем открытые вопросы на пути к формированию более строгой науки об интерпретируемом машинном обучении.
Key Findings
1
Объяснения интерпретируемости часто используются для качественной оценки дополнительных свойств системы, включая безопасность и недискриминацию.
2
Авторы определяют интерпретируемость и характеризуют ситуации, в которых она необходима или, напротив, не требуется.
3
Выделены открытые исследовательские вопросы, необходимые для формирования более строгой науки об интерпретируемом машинном обучении.
4
Предложена таксономия для строгой оценки систем интерпретируемого машинного обучения.
5
В статье выявлено отсутствие консенсуса относительно определения и измерения интерпретируемости машинного обучения.
Research Object
системы интерпретируемого машинного обучения, предоставляющие объяснения своих выходных данных
Research Subject
определение, применимость и строгая оценка интерпретируемости, включая критерии и открытые вопросы её измерения
Publication Details
Publication Date
2017-02-28
Journal
Publisher
ISSN
Cited by
3196
Open access PDF
Access Type
Author Information
Download PDF
Subscribe to digest
Работы, цитирующие эту статью18
Заглядывая в «черный ящик»: обзор объяснимого искусственного интеллекта (XAI)2018
Обзор методов объяснения решений моделей типа «чёрный ящик»2019
Ключевые проблемы обеспечения клинического эффекта искусственного интеллекта2019
Обзор объяснимого искусственного интеллекта (XAI): на пути к медицинскому XAI2020
Интерпретируемость машинного обучения: обзор методов и метрик2019
Объяснимый искусственный интеллект (XAI): что нам известно и чего еще необходимо достичь для создания заслуживающего доверия искусственного интеллекта2023
Автоматизированное машинное обучение2019
Объяснимое машинное обучение для получения научных знаний и открытий2020
Обзор интерпретируемости обучения с учителем2021
Проектирование ориентированного на пользователя объяснимого ИИ, основанного на теории2019
От чего к тому, как: предварительный обзор общедоступных инструментов, методов и исследований в области этики искусственного интеллекта для перевода принципов в практику2019
Применение искусственного интеллекта к медицинским изображениям: от машинного обучения до глубокого обучения2021
Объяснимая Искусственная Интеллектуальная Система (XAI) 2.0: Манифест открытых проблем и междисциплинарных направлений исследований2024
Прозрачность глубоких нейронных сетей для анализа медицинских изображений: обзор методов интерпретируемости2021
Объяснимое, надежное и этичное машинное обучение в здравоохранении: обзор2022
Обзор методов объяснимого искусственного интеллекта для биомедицинской визуализации с использованием глубоких нейронных сетей2023
AgentAI: Всеобъемлющее обзорное исследование автономных агентов в распределённом ИИ для Индустрии 4.02025
Исследования в области машинного обучения и искусственного интеллекта на благо пациентов: 20 ключевых вопросов о прозрачности, воспроизводимости, этике и эффективности2020