Обогащение векторов слов информацией о субсловах
Enriching Word Vectors with Subword Information
2017-12-01
SCID: 54.1/8zkhyr6t
Discuss with AI
символьные n-граммыморфологические представления словмодель skip-gramсубсловная информациязадачи сходства слов и аналогий
Figures from the paper
Abstract (AI)
Непрерывные представления слов, обученные на больших неразмеченных корпусах, полезны для решения многих задач обработки естественного языка. Популярные модели, обучающие такие представления, игнорируют морфологию слов, назначая каждому слову отдельный вектор. Это является ограничением, особенно для языков с большим словарным запасом и множеством редких слов. В данной работе мы предлагаем новый подход, основанный на модели skip-gram, в котором каждое слово представляется как мешок символьных n-грамм. Каждой символьной n-грамме соответствует векторное представление, а слова представляются как сумма этих представлений. Наш метод является быстрым: он позволяет быстро обучать модели на больших корпусах и вычислять представления для слов, отсутствовавших в обучающих данных. Мы оцениваем наши представления слов для девяти различных языков на задачах оценки семантического сходства слов и решения аналогий. Сравнивая их с недавно предложенными морфологическими представлениями слов, мы показываем, что наши векторы обеспечивают наилучшие среди современных методов результаты на этих задачах.
Key Findings
1
Представления оцениваются на задачах семантического сходства слов и аналогий для девяти языков.
2
Представления символьных n-грамм учитывают морфологию слов и лучше подходят для языков с большими словарями и множеством редких слов, чем векторы целых слов.
3
По сравнению с недавно предложенными морфологическими представлениями метод достигает state-of-the-art результатов на этих задачах.
4
Метод быстро обучается на больших корпусах и позволяет получать представления для слов, отсутствовавших в обучающих данных.
5
В статье предлагается обогащать векторы слов модели skipgram, представляя каждое слово суммой векторов его символьных n-грамм.
Research Object
Непрерывные векторные представления слов, дополненные компонентами в виде символных n-грамм (субсловная информация)
Research Subject
эффективность представлений слов на основе субслов для морфологического моделирования, включая результаты в задачах семантического сходства и аналогий слов, а также представление невстречавшихся слов
Publication Details
Publication Date
2017-12-01
Journal
Publisher
ISSN
Cited by
11057
Open access PDF
Access Type
Author Information
Download PDF
Subscribe to digest
Источники этой статьи в scid.ai2
Работы, цитирующие эту статью17
Унифицирующий обзор глубоких и поверхностных методов обнаружения аномалий2021
Моделирование аспектов языка жизни посредством трансферного обучения на белковых последовательностях2019
Обзор анализа сентимента в платформах социальных сетей2023
Данные социальных сетей для науки о сохранении природы: методологический обзор2019
Большие языковые модели (LLM): обзор, технические основы и будущие проблемы2024
Язык белков: обработка естественного языка, машинное обучение и белковые последовательности2021
Распределённая семантика и лингвистическая теория2019
Исследования материалов на основе данных, обеспечиваемые обработкой естественного языка и извлечением информации2020
Обзор современных тенденций, методов и проблем в области больших языковых моделей (LLM)2024
Модель «зрение‑язык» для генерации медицинских отчётов и визуального ответа на вопросы: обзор2024
Открытый граф научных знаний2019
Анализ финансовых настроений: методы и приложения2024
Граф знаний открытых исследований: инфраструктура нового поколения для семантических научных знаний2019
Создание соответствующих принципам FAIR обзоров литературы с использованием научных графов знаний2020
Подходы машинного обучения к анализу репертуара TCR2022
Тройная классификация для дополнения научных графов знаний2021
Сравнение исследовательских вкладов в научном графе знаний2019