Распределённые представления слов и фраз и их композиционность

Недавно предложенная непрерывная модель Skip-gram представляет собой эффективный метод обучения высококачественных распределённых векторных представлений, отражающих большое количество точных синтаксических и семантических отношений между словами. В этой статье мы представляем несколько расширений, повышающих как качество векторов, так и скорость обучения. За счёт субдискретизации часто встречающихся слов нам удаётся существенно ускорить обучение, а также получать более регулярные представления слов. Мы также описываем простой альтернативный метод иерархического softmax — отрицательную выборку. Важным ограничением представлений слов является их нечувствительность к порядку слов и неспособность представлять идиоматические фразы. Например, значения слов «Canada» и «Air» невозможно простым образом объединить, чтобы получить «Air Canada». Основываясь на этом примере, мы предлагаем простой метод выявления фраз в тексте и показываем, что возможно обучать качественные векторные представления для миллионов фраз.