Обогащение векторов слов информацией о субсловах

Enriching Word Vectors with Subword Information
Tomáš Mikolov, Édouard Grave, Armand Joulin, Piotr Bojanowski
2017-12-01

символьные n-граммыморфологические представления словмодель skip-gramсубсловная информациязадачи сходства слов и аналогий
Непрерывные представления слов, обученные на больших неразмеченных корпусах, полезны для решения многих задач обработки естественного языка. Популярные модели, обучающие такие представления, игнорируют морфологию слов, назначая каждому слову отдельный вектор. Это является ограничением, особенно для языков с большим словарным запасом и множеством редких слов. В данной работе мы предлагаем новый подход, основанный на модели skip-gram, в котором каждое слово представляется как мешок символьных n-грамм. Каждой символьной n-грамме соответствует векторное представление, а слова представляются как сумма этих представлений. Наш метод является быстрым: он позволяет быстро обучать модели на больших корпусах и вычислять представления для слов, отсутствовавших в обучающих данных. Мы оцениваем наши представления слов для девяти различных языков на задачах оценки семантического сходства слов и решения аналогий. Сравнивая их с недавно предложенными морфологическими представлениями слов, мы показываем, что наши векторы обеспечивают наилучшие среди современных методов результаты на этих задачах.
1
Представления оцениваются на задачах семантического сходства слов и аналогий для девяти языков.
2
Представления символьных n-грамм учитывают морфологию слов и лучше подходят для языков с большими словарями и множеством редких слов, чем векторы целых слов.
3
По сравнению с недавно предложенными морфологическими представлениями метод достигает state-of-the-art результатов на этих задачах.
4
Метод быстро обучается на больших корпусах и позволяет получать представления для слов, отсутствовавших в обучающих данных.
5
В статье предлагается обогащать векторы слов модели skipgram, представляя каждое слово суммой векторов его символьных n-грамм.

Непрерывные векторные представления слов, дополненные компонентами в виде символных n-грамм (субсловная информация)

эффективность представлений слов на основе субслов для морфологического моделирования, включая результаты в задачах семантического сходства и аналогий слов, а также представление невстречавшихся слов

Publication Details
Publication Date
2017-12-01
Journal
Publisher
ISSN
Cited by
11057
Access Type
Author Information
Authors
Tomáš Mikolov
Édouard Grave
Armand Joulin
Piotr Bojanowski
Explore further
Open the scid.ai AI chat with a ready-made request: it will find papers on a similar topic and help build a literature review.
Find similar papers in the chat →
Make a presentation
100%