Единый подход к интерпретации предсказаний моделей
A Unified Approach to Interpreting Model Predictions
2017-05-22
SCID: 54.1/77tkzhrx
Discuss with AI
SHAPаддитивные объяснения Шеплиаддитивная атрибуция признаковважность признаковинтерпретируемость моделей
Figures from the paper
Abstract (AI)
Во многих приложениях понимание причин, по которым модель делает определённое предсказание, может быть столь же важным, как и точность самого предсказания. Однако наивысшая точность на больших современных наборах данных часто достигается с помощью сложных моделей, интерпретация которых затруднительна даже для экспертов, например ансамблевых моделей или моделей глубокого обучения, что создаёт противоречие между точностью и интерпретируемостью. В связи с этим в последнее время были предложены различные методы, помогающие пользователям интерпретировать предсказания сложных моделей, однако зачастую неясно, как эти методы связаны между собой и в каких случаях один метод предпочтительнее другого. Для решения этой проблемы мы представляем единую платформу интерпретации предсказаний — SHAP (SHapley Additive exPlanations, аддитивные объяснения Шепли). SHAP присваивает каждому признаку значение важности для конкретного предсказания. К её новым компонентам относятся: (1) выявление нового класса аддитивных мер важности признаков и (2) теоретические результаты, показывающие существование единственного решения в этом классе, обладающего набором желательных свойств. Новый класс объединяет шесть существующих методов; это особенно примечательно, поскольку некоторые недавно разработанные методы, относящиеся к этому классу, не обладают предложенными желательными свойствами. Основываясь на выводах, полученных в результате этого объединения, мы представляем новые методы, демонстрирующие более высокую вычислительную эффективность и/или лучшее соответствие человеческой интуиции по сравнению с ранее предложенными подходами.
Key Findings
1
На основе объединения разработаны новые методы с улучшенной вычислительной эффективностью и/или большей согласованностью с человеческой интуицией.
2
SHAP предлагает унифицированную систему интерпретации отдельных предсказаний, присваивая каждому признаку значение важности.
3
В рамках этой системы выделен новый класс аддитивных мер важности признаков для объяснения предсказаний моделей.
4
Эта система объединяет шесть существующих методов интерпретации предсказаний, некоторые из которых не обладают предложенными желательными свойствами.
5
Теоретически показано, что SHAP является единственным решением в этом классе, удовлетворяющим заданному набору желательных свойств.
Research Object
Предсказания сложных моделей машинного обучения
Research Subject
Атрибуция важности признаков для отдельных предсказаний, включая унификацию, аксиоматическую характеристику и вычислительное усовершенствование аддитивных методов объяснения
Publication Details
Publication Date
2017-05-22
Journal
Publisher
ISSN
Open access PDF
Access Type
Author Information
Download PDF
Subscribe to digest
Источники этой статьи в scid.ai1
Работы, цитирующие эту статью14
Обзор интерпретируемости обучения с учителем2021
Глубокое обучение в диагностике рака, прогнозировании и выборе лечения2021
Оценка качества объяснений в машинном обучении: обзор методов и метрик2021
Финансовое мошенничество: обзор методов обнаружения аномалий и последних достижений2021
Предвзятость в медицинском искусственном интеллекте: последствия для принятия клинических решений2024
Справедливость в машинном обучении: обзор2023
Двухэтапное машинное обучение обеспечивает оптимизированный синтез наночастиц2021
Современные применения объяснимого искусственного интеллекта (XAI): систематический обзор литературы2024
Поиск функционала DFT для соединений актинидов2021
CatBoost для больших данных: междисциплинарный обзор2020
От чего к тому, как: предварительный обзор общедоступных инструментов, методов и исследований в области этики искусственного интеллекта для перевода принципов в практику2019
Методы машинного и глубокого обучения для систем обнаружения вторжений: обзор2019
Интерпретируемость машинного обучения: обзор методов и метрик2019
Проектирование ориентированного на пользователя объяснимого ИИ, основанного на теории2019