Объяснимый искусственный интеллект (XAI): что нам известно и чего еще необходимо достичь для создания заслуживающего доверия искусственного интеллекта
Explainable Artificial Intelligence (XAI): What we know and what is left to attain Trustworthy Artificial Intelligence
2023-04-18
SCID: 54.1/wscuquh5
Discuss with AI
Объяснимый искусственный интеллектМетрики оценки объясненийПостфактум-объяснимостьНадёжный искусственный интеллектНаборы данных XAI
Figures from the paper
Abstract (AI)
В настоящее время искусственный интеллект (ИИ) используется в широком спектре сложных приложений, однако результаты работы многих моделей ИИ трудно понять и им трудно доверять из-за их природы «черного ящика». Как правило, необходимо понимать логику, лежащую в основе принятия решений моделью ИИ. Поэтому возникла потребность в методах объяснимого ИИ (XAI), направленных на повышение доверия к моделям ИИ. В последние годы XAI стал популярным направлением исследований в области ИИ. В существующих обзорных статьях рассматривались концепции XAI, общая терминология и методы постфактум-объяснимости, однако до сих пор не было обзоров, посвященных методам оценки, доступным инструментам, наборам данных XAI и другим связанным аспектам. Поэтому в данном комплексном исследовании мы представляем читателям обзор текущих исследований и тенденций в этой быстро развивающейся области, включая пример тематического исследования. Сначала в работе рассматриваются предпосылки возникновения XAI, распространенные определения и недавно предложенные методы XAI для обучения с учителем. В обзоре методы XAI разделены по четырем направлениям с использованием иерархической системы классификации: (i) объяснимость данных, (ii) объяснимость модели, (iii) постфактум-объяснимость и (iv) оценка объяснений. Кроме того, представлены доступные метрики оценки, пакеты с открытым исходным кодом и наборы данных, а также перспективные направления дальнейших исследований. Затем рассматривается значение объяснимости с точки зрения правовых требований, взглядов пользователей и ориентации на применение; эти аспекты обозначены как проблематика XAI. В статье обосновывается необходимость адаптировать содержание объяснений к конкретным типам пользователей. Анализ методов XAI и их оценки был проведен на основе изучения 410 ключевых статей, опубликованных в авторитетных журналах в период с января 2016 года по октябрь 2022 года, с использованием широкого спектра научных баз данных в качестве источников информации. Статья предназначена для исследователей XAI, заинтересованных в повышении надежности своих моделей ИИ, а также для исследователей из...
Key Findings
1
Авторы утверждают, что содержание объяснений следует адаптировать к конкретным типам пользователей с учётом правовых требований, пользовательских взглядов и контекста применения.
2
Методы XAI для обучения с учителем систематизированы по четырём иерархическим направлениям: объяснимость данных, объяснимость модели, постфактум-объяснимость и оценка объяснений.
3
Анализ охватывает 410 критически отобранных статей, опубликованных с января 2016 года по октябрь 2022 года, для характеристики исследований XAI и их роли в создании заслуживающего доверия ИИ.
4
Обзор выявляет пробел в предыдущих исследованиях XAI, поскольку комплексно рассматривает методы оценки, инструменты, наборы данных и другие связанные аспекты.
5
В исследовании обобщаются метрики оценки, открытые пакеты XAI, наборы данных, текущие тенденции и перспективные направления дальнейших исследований.
Research Object
Методы объяснимого искусственного интеллекта (XAI) и их экосистема (приёмы, метрики оценки, инструменты и наборы данных) для контролируемого машинного обучения
Research Subject
Объяснимость, оценка и заслуживающая доверия интерпретация решений моделей ИИ, включая адаптацию объяснений к потребностям пользователей и соответствующие правовые и прикладные требования
Publication Details
Publication Date
2023-04-18
Journal
Publisher
ISSN
Cited by
1926
Open access PDF
Access Type
Author Information
Download PDF
Subscribe to digest
Источники этой статьи в scid.ai19
Единый подход к интерпретации предсказаний моделей2017
Почему я должен вам доверять?2016
Дистилляция знаний в нейронной сети2015
Непарный перенос изображений с помощью циклически согласованных состязательных сетей2017
Обучение глубоких признаков для дискриминативной локализации2016
На пути к строгой науке об интерпретируемом машинном обучении2017
Заглядывая в «черный ящик»: обзор объяснимого искусственного интеллекта (XAI)2018
Перенос стиля изображения с использованием сверточных нейронных сетей2016
Обзор сверточных нейронных сетей: анализ, применения и перспективы2021
Интерпретируемость машинного обучения: обзор методов и метрик2019
Власть народу: роль человека в интерактивном машинном обучении2014
Искусственный интеллект и ценность для бизнеса: обзор литературы2021
Обзор интерпретируемости обучения с учителем2021
Интерпретируемое машинное обучение: основные принципы и 10 крупных задач2022
Проектирование ориентированного на пользователя объяснимого ИИ, основанного на теории2019
Обзор методов объяснения решений моделей типа «чёрный ящик»2018
От анекдотических свидетельств к количественным методам оценки: систематический обзор оценки объяснимого искусственного интеллекта2023
Объяснимый ИИ для Healthcare 5.0: возможности и проблемы2022
Многоуровневая мультимодальная модель выявления и прогнозирования на основе объяснимого искусственного интеллекта для болезни Альцгеймера2021
Работы, цитирующие эту статью8
Соединяя точки в сфере заслуживающего доверия искусственного интеллекта: от принципов ИИ, этики и ключевых требований к ответственным системам ИИ и регулированию2023
Объяснимая Искусственная Интеллектуальная Система (XAI) 2.0: Манифест открытых проблем и междисциплинарных направлений исследований2024
Использование искусственного интеллекта в академическом письме и исследованиях: важный инструмент повышения производительности2024
Интеграция важности признаков методом перестановок с конформистским прогнозированием для надежной интерпретируемой искусственной интеллекта в предиктивном мониторинге процессов2025
Машинное обучение для расширенного мониторинга выбросов и стратегий их сокращения на электростанциях, работающих на ископаемом топливе2024
Искусственный интеллект в аналитической химии: на пути к еще не открытым возможностям2026
Вне силосов: интегрированная AI-блокчейн платформа для устойчивого аквакультурного хозяйства в Гане2025
Методы машинного обучения в макроэкономическом прогнозировании: предварительные результаты2025