Обогащение векторных представлений слов информацией о подсловах

Непрерывные векторные представления слов, обученные на больших неразмеченных корпусах, полезны для многих задач обработки естественного языка. Популярные модели, которые обучают такие представления, игнорируют морфологию слов, назначая каждому слову отдельный вектор, что является ограничением для языков с большими словарями и множеством редких слов. Мы предлагаем новый подход, основанный на модели skip-gram, в котором каждое слово представляется как мультимножество символьных n-грамм. Каждой символьной n-грамме соответствует векторное представление, а слово представляется как сумма этих представлений. Наш метод быстр; он позволяет эффективно обучать модели на больших корпусах и вычислять векторные представления для слов, не встречавшихся в тренировочных данных. Мы оцениваем наши представления слов на девяти языках по задачам сходства слов и аналогий. В сравнении с недавно предложенными морфологическими векторными представлениями мы показываем, что наши векторы достигают передовых результатов в этих задачах.