На пути к достоверному объяснению моделей в обработке естественного языка: обзор

Сквозные нейросетевые модели обработки естественного языка (NLP) отличаются известной трудностью интерпретации. В последние годы это привело к многочисленным исследованиям, посвящённым объяснимости моделей. Одним из требований к объяснениям моделей является достоверность, то есть объяснение должно точно отражать процесс рассуждения, лежащий в основе предсказания модели. В этом обзоре мы рассматриваем более 110 методов объяснения моделей в обработке естественного языка с точки зрения их достоверности. Сначала мы обсуждаем определение и оценивание достоверности, а также её значение для объяснимости. Затем мы представляем последние достижения в области достоверных объяснений, объединяя существующие подходы в пять категорий: методы на основе сходства, анализ внутренних структур модели, методы на основе обратного распространения, контрфактическое вмешательство и самопоясняющие модели. Для каждой категории мы обобщаем результаты репрезентативных исследований, их сильные и слабые стороны. Наконец, мы суммируем их общие достоинства и сохраняющиеся проблемы, а также рассматриваем перспективные направления дальнейших исследований в области достоверной объяснимости в обработке естественного языка.