От частоты к значению: векторные пространства для семантики

Компьютеры очень плохо понимают значение человеческого языка. Это глубоко ограничивает нашу способность давать компьютерам инструкции, способность компьютеров объяснять нам свои действия и способность компьютеров анализировать и обрабатывать текст. Векторные модели семантики (VSM, vector space models) начинают преодолевать эти ограничения. В этой статье дается обзор использования VSM для семантической обработки текста. Мы систематизируем литературу по VSM в соответствии со структурой матрицы в VSM. В настоящее время существуют три широкие класса VSM, основанные на матрицах «термин—документ», «слово—контекст» и «пара—шаблон», что соответствует трем классам приложений. Мы рассматриваем широкий спектр приложений в этих трех категориях и детально анализируем по одному открытому проекту с открытым исходным кодом в каждой категории. Наша цель в этом обзоре — показать широту применений VSM для семантики, предложить новый взгляд на VSM для уже знакомых с этой областью и дать указатели в литературу для тех, кто менее знаком с этой темой.