Интерпретация моделей «чёрного ящика»: обзор объяснимого искусственного интеллекта

В последние годы наблюдается стремительный рост разработки методологий на основе искусственного интеллекта (ИИ) в самых разных областях. В этой быстро развивающейся сфере опубликовано большое количество методов, использующих модели машинного обучения (МО) и глубокого обучения (ГО). Большинство этих моделей по своей природе сложны и не предоставляют объяснений процессов принятия решений, вследствие чего их называют «чёрными ящиками». Одним из основных препятствий для внедрения таких моделей в критически важные области применения, включая банковское дело, электронную коммерцию, здравоохранение, а также государственные услуги и общественную безопасность, является сложность их интерпретации. Из-за быстрого распространения этих моделей ИИ объяснение процессов их обучения и принятия решений становится всё более трудным, что обусловливает необходимость прозрачности и возможности легко прогнозировать результаты. С целью обобщения современного состояния исследований в области интерпретации моделей «чёрного ящика» в работе представлен всесторонний анализ моделей объяснимого искусственного интеллекта (XAI). Снижение числа ложноотрицательных и ложноположительных результатов, выдаваемых этими моделями, по-прежнему остаётся сложной и неэффективной задачей, поскольку выявление их недостатков затруднено. В статье подробно рассматривается развитие XAI посредством тщательного отбора и анализа современных исследований в этой области. Кроме того, приводится всесторонняя и углублённая оценка фреймворков XAI и их эффективности, что может служить отправной точкой для прикладных и теоретических исследователей, работающих в области XAI. В заключение выделяются возникающие и критически важные проблемы исследований XAI, а также основные специфичные для моделей тенденции, направленные на улучшение объяснений, повышение прозрачности и увеличение точности прогнозирования.