Интеграция важности признаков методом перестановок с конформистским прогнозированием для надежной интерпретируемой искусственной интеллекта в предиктивном мониторинге процессов
Integrating permutation feature importance with conformal prediction for robust Explainable Artificial Intelligence in predictive process monitoring
2025-03-15
SCID: 54.1/ftucrd3a
Discuss with AI
конформное предсказаниеважность признаков методом перестановок (PFI)контроль предсказаний процессов (predictive process monitoring)предсказательная неопределённостьразделённое конформное предсказание (SCP)
Figures from the paper
Abstract (AI)
По мере того как системы искусственного интеллекта (AI) все чаще внедряются в средах с высокими ставками, стала очевидна необходимость объяснений, передающих информацию об неопределенности. Традиционные методы объяснимого AI (XAI) часто игнорируют неопределенность, фокусируясь исключительно на точечных прогнозах. Для устранения этого пробела мы предлагаем использование важности признаков методом перестановок (permutation feature importance, PFI) в сочетании с мерами оценки предсказательной неопределенности. Этот новый подход исследует значимость признаков, соотнося их с уверенностью модели в своих прогнозах. Используя разделенное конформистское прогнозирование (split conformal prediction, SCP) для количественной оценки предсказательной неопределенности и интегрируя результаты в PFI, мы стремимся повысить надежность и интерпретируемость алгоритмов машинного обучения (ML). Что особенно важно, мы рассматриваем три сценария объяснений PFI на основе конформистского прогнозирования: перестановку значений признаков в тестовых данных, в калибровочных данных и в обоих наборах. Эти сценарии оценивают влияние перестановок признаков с разных точек зрения, выявляя чувствительность признаков и их значимость в различных условиях. Мы также проводим серию анализов чувствительности, в частности исследуя размер калибровочных данных и вычислительную эффективность, чтобы продемонстрировать устойчивость и масштабируемость нашего подхода для промышленных приложений. Наша всесторонняя оценка предоставляет понимание влияния признаков на прогнозы и связанные с ними уровни уверенности. Мы проверяем предложенный подход на реальном кейсе предиктивного мониторинга процессов в производстве.
Key Findings
1
Комбинирование permutation feature importance (PFI) с мерами неопределённости прогнозов обеспечивает объяснения, связывающие значимость признаков с уверенностью модели, заполняя пробелы XAI по неопределённости.
2
Анализы чувствительности показывают, что подход устойчив к изменениям размера калибровочных данных и вычислительно масштабируем для промышленных приложений.
3
Предложенный метод валидации применён к реальному случаю мониторинга процессов в производстве, демонстрируя практическую применимость.
4
Исследование определяет и оценивает три сценария PFI на базе конформной предсказательной вероятности: перемещение признаков в тестовых данных, калибровочных данных и в обоих, что выявляет разные аспекты чувствительности признаков.
5
Использование split conformal prediction (SCP) для количественной оценки неопределённости и интеграция с PFI повышает устойчивость и интерпретируемость алгоритмов машинного обучения.
Research Object
Модели прогнозного мониторинга процессов, применённые в производственном кейсе
Research Subject
Интеграция перестановочной важности признаков с методом раздельного конформного предсказания для оценки значимости признаков с учётом предсказательной неопределённости, включая анализ трёх сценариев перестановок (в тестовых данных, в калибровочных данных и в обоих), чувствительность к размеру калибровочных данных и вычислительную эффективность
Publication Details
Publication Date
2025-03-15
Journal
Publisher
ISSN
Cited by
35
Open access PDF
Access Type
Author Information
Download PDF
Subscribe to digest
Источники этой статьи в scid.ai6
Обзор количественной оценки неопределенности в глубоком обучении: методы, приложения и проблемы2021
Объяснимый искусственный интеллект (XAI): что нам известно и чего еще необходимо достичь для создания заслуживающего доверия искусственного интеллекта2023
Обзор неопределённости в глубоких нейронных сетях2023
Обзор методов объяснения «черных ящиков»2019
Заглядывая в «черный ящик»: обзор объяснимого искусственного интеллекта (XAI)2018
XGBoost2016