От анекдотических свидетельств к количественным методам оценки: систематический обзор оценки объяснимого искусственного интеллекта

Растущая популярность объяснимого искусственного интеллекта (XAI), направленного на понимание высокопроизводительных «черных ящиков», поставила вопрос о том, как оценивать объяснения моделей машинного обучения (ML). Хотя интерпретируемость и объяснимость часто представляют как субъективно валидируемое бинарное свойство, мы рассматриваем их как многогранное понятие. Мы выделяем 12 концептуальных свойств, таких как компактность и корректность, которые необходимо оценивать для всестороннего определения качества объяснения. Эти так называемые свойства Co-12 служат схемой категоризации для систематического анализа практик оценки в более чем 300 статьях, опубликованных за последние 7 лет на ведущих конференциях по искусственному интеллекту (AI) и машинному обучению (ML), в которых представлен метод XAI. Мы обнаружили, что в каждой третьей статье оценка проводится исключительно на основе анекдотических свидетельств, а в каждой пятой — с участием пользователей. Этот обзор также поддерживает призыв к объективным количественным методам оценки, представляя подробный обзор количественных методов оценки XAI. Систематизированная подборка методов оценки предоставляет исследователям и практикам конкретные инструменты для тщательной валидации, бенчмаркинга и сравнения новых и существующих методов XAI. Схема категоризации Co-12 и выявленные нами методы оценки открывают возможности для включения количественных метрик в качестве критериев оптимизации при обучении моделей, чтобы одновременно оптимизировать точность и интерпретируемость.