Интерпретация моделей «чёрного ящика»: обзор объяснимого искусственного интеллекта
Interpreting Black-Box Models: A Review on Explainable Artificial Intelligence
2023-08-24
SCID: 54.1/j9xq649n
Discuss with AI
Модели типа «чёрного ящика»Глубокое обучениеОбъяснимый искусственный интеллектМашинное обучениеИнтерпретируемость моделей
Figures from the paper
Abstract (AI)
В последние годы наблюдается стремительный рост разработки методологий на основе искусственного интеллекта (ИИ) в самых разных областях. В этой быстро развивающейся сфере опубликовано большое количество методов, использующих модели машинного обучения (МО) и глубокого обучения (ГО). Большинство этих моделей по своей природе сложны и не предоставляют объяснений процессов принятия решений, вследствие чего их называют «чёрными ящиками». Одним из основных препятствий для внедрения таких моделей в критически важные области применения, включая банковское дело, электронную коммерцию, здравоохранение, а также государственные услуги и общественную безопасность, является сложность их интерпретации. Из-за быстрого распространения этих моделей ИИ объяснение процессов их обучения и принятия решений становится всё более трудным, что обусловливает необходимость прозрачности и возможности легко прогнозировать результаты. С целью обобщения современного состояния исследований в области интерпретации моделей «чёрного ящика» в работе представлен всесторонний анализ моделей объяснимого искусственного интеллекта (XAI). Снижение числа ложноотрицательных и ложноположительных результатов, выдаваемых этими моделями, по-прежнему остаётся сложной и неэффективной задачей, поскольку выявление их недостатков затруднено. В статье подробно рассматривается развитие XAI посредством тщательного отбора и анализа современных исследований в этой области. Кроме того, приводится всесторонняя и углублённая оценка фреймворков XAI и их эффективности, что может служить отправной точкой для прикладных и теоретических исследователей, работающих в области XAI. В заключение выделяются возникающие и критически важные проблемы исследований XAI, а также основные специфичные для моделей тенденции, направленные на улучшение объяснений, повышение прозрачности и увеличение точности прогнозирования.
Key Findings
1
Модели машинного и глубокого обучения типа «чёрного ящика» не обеспечивают прозрачного объяснения решений, что ограничивает их применение в критически важных областях.
2
Современные тенденции XAI ориентированы на специфичные для моделей объяснения, повышение прозрачности и улучшение точности прогнозирования.
3
В обзоре представлен комплексный анализ современных методов и фреймворков объяснимого искусственного интеллекта для интерпретации сложных моделей ИИ.
4
В исследовании оцениваются фреймворки XAI и их эффективность, что создаёт основу для прикладных и теоретических исследований.
5
XAI может помогать выявлять недостатки моделей и снижать количество ложноотрицательных и ложноположительных результатов, хотя обнаружение таких проблем остаётся сложным и неэффективным.
Research Object
«Чёрные ящики» моделей машинного обучения и глубокого обучения (AI-модели)
Research Subject
объяснимость, интерпретируемость, прозрачность и эффективность прогнозирования этих моделей, включая методы объяснения процессов их обучения и принятия решений
Publication Details
Publication Date
2023-08-24
Journal
Publisher
ISSN
Cited by
2921
Open access PDF
Access Type
Author Information
Download PDF
Subscribe to digest
Источники этой статьи в scid.ai17
Классификация ImageNet с использованием глубоких сверточных нейронных сетей2017
Единый подход к интерпретации предсказаний моделей2017
Greedy function approximation: A gradient boosting machine.2001
Почему я должен вам доверять?2016
Дистилляция знаний в нейронной сети2015
Интригующие свойства нейронных сетей2013
Обучение глубоких признаков для дискриминативной локализации2016
На пути к строгой науке об интерпретируемом машинном обучении2017
Заглядывая в «черный ящик»: обзор объяснимого искусственного интеллекта (XAI)2018
Обзор объяснимого искусственного интеллекта (XAI): на пути к медицинскому XAI2020
Объяснимость искусственного интеллекта в здравоохранении: междисциплинарная перспектива2020
Интерпретируемое машинное обучение: основные принципы и 10 крупных задач2022
Проектирование ориентированного на пользователя объяснимого ИИ, основанного на теории2019
Обзор методов объяснения решений моделей типа «чёрный ящик»2018
Методы объяснимого искусственного интеллекта (XAI) для энергетических и электроэнергетических систем: обзор, проблемы и перспективы2022
"Что важно в текстовом документе?": Интерпретируемый подход машинного обучения2017
Обзор аналитики больших данных: проблемы, открытые исследовательские вопросы и инструменты2016
Работы, цитирующие эту статью8
Объяснимый искусственный интеллект (XAI) в финансах: систематический обзор литературы2024
Интерпретация моделей искусственного интеллекта: систематический обзор применения LIME и SHAP для обнаружения болезни Альцгеймера2024
Роль ИИ в персонализации маркетинга: теоретическое исследование стратегий вовлечения потребителей2024
Агентные фреймворки искусственного интеллекта в МСПМ: систематический обзор литературы о взаимосвязанных агентах экосистемы2025
Когниция цифрового двойника: интеграция биомаркеров искусственного интеллекта в биомиметической нейропсихологии2025
Исследование агентного искусственного интеллекта в здравоохранении: изучение механизма его работы2026
Развитие технологий химической инженерии с помощью искусственного интеллекта2025
Искусственный интеллект и цифровые инновации в прецизионном аквакультуре: достижения, применения и перспективы2026