Объяснимый искусственный интеллект (XAI): что нам известно и чего еще необходимо достичь для создания заслуживающего доверия искусственного интеллекта

Explainable Artificial Intelligence (XAI): What we know and what is left to attain Trustworthy Artificial Intelligence
Natalia Díaz-Rodríguez, Javier Del Ser, Francisco Herrera, Shaker El–Sappagh, Tamer Abuhmed, Riccardo Guidotti, Roberto Confalonieri, Sajid Ali, Khan Muhammad, José M. Alonso, Sajid Ali
2023-04-18

Объяснимый искусственный интеллектМетрики оценки объясненийПостфактум-объяснимостьНадёжный искусственный интеллектНаборы данных XAI
В настоящее время искусственный интеллект (ИИ) используется в широком спектре сложных приложений, однако результаты работы многих моделей ИИ трудно понять и им трудно доверять из-за их природы «черного ящика». Как правило, необходимо понимать логику, лежащую в основе принятия решений моделью ИИ. Поэтому возникла потребность в методах объяснимого ИИ (XAI), направленных на повышение доверия к моделям ИИ. В последние годы XAI стал популярным направлением исследований в области ИИ. В существующих обзорных статьях рассматривались концепции XAI, общая терминология и методы постфактум-объяснимости, однако до сих пор не было обзоров, посвященных методам оценки, доступным инструментам, наборам данных XAI и другим связанным аспектам. Поэтому в данном комплексном исследовании мы представляем читателям обзор текущих исследований и тенденций в этой быстро развивающейся области, включая пример тематического исследования. Сначала в работе рассматриваются предпосылки возникновения XAI, распространенные определения и недавно предложенные методы XAI для обучения с учителем. В обзоре методы XAI разделены по четырем направлениям с использованием иерархической системы классификации: (i) объяснимость данных, (ii) объяснимость модели, (iii) постфактум-объяснимость и (iv) оценка объяснений. Кроме того, представлены доступные метрики оценки, пакеты с открытым исходным кодом и наборы данных, а также перспективные направления дальнейших исследований. Затем рассматривается значение объяснимости с точки зрения правовых требований, взглядов пользователей и ориентации на применение; эти аспекты обозначены как проблематика XAI. В статье обосновывается необходимость адаптировать содержание объяснений к конкретным типам пользователей. Анализ методов XAI и их оценки был проведен на основе изучения 410 ключевых статей, опубликованных в авторитетных журналах в период с января 2016 года по октябрь 2022 года, с использованием широкого спектра научных баз данных в качестве источников информации. Статья предназначена для исследователей XAI, заинтересованных в повышении надежности своих моделей ИИ, а также для исследователей из...
1
Авторы утверждают, что содержание объяснений следует адаптировать к конкретным типам пользователей с учётом правовых требований, пользовательских взглядов и контекста применения.
2
Методы XAI для обучения с учителем систематизированы по четырём иерархическим направлениям: объяснимость данных, объяснимость модели, постфактум-объяснимость и оценка объяснений.
3
Анализ охватывает 410 критически отобранных статей, опубликованных с января 2016 года по октябрь 2022 года, для характеристики исследований XAI и их роли в создании заслуживающего доверия ИИ.
4
Обзор выявляет пробел в предыдущих исследованиях XAI, поскольку комплексно рассматривает методы оценки, инструменты, наборы данных и другие связанные аспекты.
5
В исследовании обобщаются метрики оценки, открытые пакеты XAI, наборы данных, текущие тенденции и перспективные направления дальнейших исследований.

Методы объяснимого искусственного интеллекта (XAI) и их экосистема (приёмы, метрики оценки, инструменты и наборы данных) для контролируемого машинного обучения

Объяснимость, оценка и заслуживающая доверия интерпретация решений моделей ИИ, включая адаптацию объяснений к потребностям пользователей и соответствующие правовые и прикладные требования

Publication Details
Publication Date
2023-04-18
Journal
Publisher
ISSN
Cited by
1926
Access Type
Author Information
Authors
Natalia Díaz-Rodríguez
Javier Del Ser
Francisco Herrera
Shaker El–Sappagh
Tamer Abuhmed
Riccardo Guidotti
Roberto Confalonieri
Sajid Ali
Khan Muhammad
José M. Alonso
Sajid Ali
Explore further
Open the scid.ai AI chat with a ready-made request: it will find papers on a similar topic and help build a literature review.
Find similar papers in the chat →
Make a presentation
100%