Распределённые представления слов и фраз и их композиционность
Distributed Representations of Words and Phrases and their Compositionality
2013-10-16
SCID: 54.1/jmr6chh2
Discuss with AI
непрерывный Skip-gramраспределённые представления словнегативное семплированиепредставления фразсубсэмплирование частотных слов
Figures from the paper
Abstract (AI)
Недавно предложенная непрерывная модель Skip-gram представляет собой эффективный метод обучения высококачественных распределённых векторных представлений, отражающих большое количество точных синтаксических и семантических отношений между словами. В этой статье мы представляем несколько расширений, повышающих как качество векторов, так и скорость обучения. За счёт субдискретизации часто встречающихся слов нам удаётся существенно ускорить обучение, а также получать более регулярные представления слов. Мы также описываем простой альтернативный метод иерархического softmax — отрицательную выборку. Важным ограничением представлений слов является их нечувствительность к порядку слов и неспособность представлять идиоматические фразы. Например, значения слов «Canada» и «Air» невозможно простым образом объединить, чтобы получить «Air Canada». Основываясь на этом примере, мы предлагаем простой метод выявления фраз в тексте и показываем, что возможно обучать качественные векторные представления для миллионов фраз.
Key Findings
1
Метод обнаружения фраз позволяет обучать высококачественные векторные представления для миллионов многословных фраз.
2
Метод отрицательного семплирования предложен как простая альтернатива иерархическому softmax для обучения представлений слов.
3
Субдискретизация часто встречающихся слов существенно ускоряет обучение и создаёт более регулярные представления слов.
4
Авторы показывают, что стандартные векторы слов игнорируют порядок слов и не способны адекватно композиционно представлять идиоматические фразы.
5
В статье расширяется модель непрерывного Skip-gram для повышения качества распределённых векторных представлений и эффективности обучения.
Research Object
распределённые векторные представления слов и многословных фраз, обучаемые на текстах
Research Subject
синтаксическая и семантическая композиционность представлений слов и фраз, включая смысл фраз, ограничения порядка слов, качество представлений и эффективность обучения
Publication Details
Publication Date
2013-10-16
Journal
Publisher
ISSN
Cited by
24533
Open access PDF
Access Type
Author Information
Download PDF
Subscribe to digest
Источники этой статьи в scid.ai2
Работы, цитирующие эту статью20
Исследование пределов трансферного обучения с помощью унифицированного преобразователя текста в текст2019
Почему я должен вам доверять?2016
Обучение представлений фраз с использованием RNN энкодер–декодера для статистического машинного перевода2014
Обзор методов аугментации изображений для глубокого обучения2019
Сверточные нейронные сети для классификации предложений2014
Обогащение векторов слов информацией о субсловах2017
Обзор больших языковых моделей2026
Заглядывая в «черный ящик»: обзор объяснимого искусственного интеллекта (XAI)2018
Обучение представлений фраз с использованием RNN Encoder–Decoder для статистического машинного перевода2014
Иерархические сети внимания для классификации документов2016
Нейронные архитектуры для распознавания именованных сущностей2016
Встраивание графа знаний посредством трансляций на гиперплоскостях2014
Обучение встраиваний сущностей и отношений для дополнения графа знаний2015
Встраивание графа знаний: обзор подходов и приложений2017
CatBoost для больших данных: междисциплинарный обзор2020
Не считайте, а предсказывайте! Систематическое сравнение семантических векторов, основанных на подсчёте контекстов и на предсказании контекстов2014
REALM: предварительное обучение языковой модели с дополнением за счет извлечения информации2020
Унифицирующий обзор глубоких и поверхностных методов обнаружения аномалий2021
Сиамские рекуррентные архитектуры для обучения семантической схожести предложений2016
Обзор современного состояния исследований в области генерации естественного языка: основные задачи, приложения и оценивание2018