Механизм внимания в обработке естественного языка

Механизм внимания становится всё более популярным и используется в широком спектре нейронных архитектур. Сам механизм реализуется в различных формах. Однако из-за стремительного развития этой области до сих пор отсутствует систематический обзор механизмов внимания. В этой статье мы определяем унифицированную модель архитектур внимания в обработке естественного языка, уделяя особое внимание архитектурам, предназначенным для работы с векторными представлениями текстовых данных. Мы предлагаем таксономию моделей внимания по четырём измерениям: представление входных данных, функция совместимости, функция распределения и множественность входных и/или выходных данных. Мы приводим примеры использования априорной информации в моделях внимания и обсуждаем текущие исследовательские направления и нерешённые проблемы в этой области, предлагая первую обширную классификацию значительного массива литературы в этой перспективной предметной области.