Объяснимый искусственный интеллект (XAI): что нам известно и чего еще необходимо достичь для создания заслуживающего доверия искусственного интеллекта

В настоящее время искусственный интеллект (ИИ) используется в широком спектре сложных приложений, однако результаты работы многих моделей ИИ трудно понять и им трудно доверять из-за их природы «черного ящика». Как правило, необходимо понимать логику, лежащую в основе принятия решений моделью ИИ. Поэтому возникла потребность в методах объяснимого ИИ (XAI), направленных на повышение доверия к моделям ИИ. В последние годы XAI стал популярным направлением исследований в области ИИ. В существующих обзорных статьях рассматривались концепции XAI, общая терминология и методы постфактум-объяснимости, однако до сих пор не было обзоров, посвященных методам оценки, доступным инструментам, наборам данных XAI и другим связанным аспектам. Поэтому в данном комплексном исследовании мы представляем читателям обзор текущих исследований и тенденций в этой быстро развивающейся области, включая пример тематического исследования. Сначала в работе рассматриваются предпосылки возникновения XAI, распространенные определения и недавно предложенные методы XAI для обучения с учителем. В обзоре методы XAI разделены по четырем направлениям с использованием иерархической системы классификации: (i) объяснимость данных, (ii) объяснимость модели, (iii) постфактум-объяснимость и (iv) оценка объяснений. Кроме того, представлены доступные метрики оценки, пакеты с открытым исходным кодом и наборы данных, а также перспективные направления дальнейших исследований. Затем рассматривается значение объяснимости с точки зрения правовых требований, взглядов пользователей и ориентации на применение; эти аспекты обозначены как проблематика XAI. В статье обосновывается необходимость адаптировать содержание объяснений к конкретным типам пользователей. Анализ методов XAI и их оценки был проведен на основе изучения 410 ключевых статей, опубликованных в авторитетных журналах в период с января 2016 года по октябрь 2022 года, с использованием широкого спектра научных баз данных в качестве источников информации. Статья предназначена для исследователей XAI, заинтересованных в повышении надежности своих моделей ИИ, а также для исследователей из...