"Что важно в текстовом документе?": Интерпретируемый подход машинного обучения

Текстовые документы можно описать рядом абстрактных понятий, таких как семантическая категория, стиль письма или сентимент. Модели машинного обучения (ML) обучены автоматически сопоставлять документы этим абстрактным понятиям, что позволяет аннотировать очень большие коллекции текстов, которых человек не обработал бы за всю жизнь. Помимо высокой точности предсказания категории текста, желательна также интерпретация того, как и почему происходит категоризация. В этой статье мы демонстрируем, что такое понимание можно получить, прослеживая решение классификатора до отдельных слов с помощью послойной пропагации релевантности (layer-wise relevance propagation, LRP) — недавно разработанной техники для объяснения предсказаний сложных нелинейных классификаторов. Мы обучаем две слово-ориентированные модели ML — сверточную нейронную сеть (CNN) и SVM-классификатор на основе мешка слов (bag-of-words) — на задаче тематической категоризации и адаптируем метод LRP для разложения предсказаний этих моделей по словам. Полученные оценки показывают, насколько отдельные слова вносят вклад в общее решение классификации, что позволяет извлекать релевантную информацию из текстов без явного шага семантического извлечения. Далее мы используем покомпонентные оценки релевантности слов для генерации новых векторных представлений документов, которые захватывают семантическую информацию. На основе этих векторных представлений документов мы вводим меру объяснительной силы модели и показываем, что хотя SVM и CNN демонстрируют схожую точность классификации, CNN обладает более высоким уровнем объяснимости, что делает её более понятной для человека и потенциально полезной для других приложений.