Не считайте, а предсказывайте! Систематическое сравнение семантических векторов, основанных на подсчёте контекстов и на предсказании контекстов
Don't count, predict! A systematic comparison of context-counting vs. context-predicting semantic vectors
2014-01-01
SCID: 54.1/kfjtjqx3
Discuss with AI
модели, предсказывающие контекстсемантические векторы на основе подсчётадистрибутивная семантиказадачи лексической семантикивекторные представления слов
Figures from the paper
Abstract (AI)
Модели, предсказывающие контекст (более известные как эмбеддинги или нейронные языковые модели), — новое направление в дистрибутивной семантике. Несмотря на ажиотаж вокруг этих моделей, в научной литературе по-прежнему отсутствует систематическое сравнение предсказывающих моделей с классическими дистрибутивно-семантическими подходами, основанными на векторах подсчётов. В этой статье мы проводим такое всестороннее исследование на широком спектре задач лексической семантики и при множестве настроек параметров. Результаты, к нашему собственному удивлению, показывают, что ажиотаж полностью оправдан: модели, предсказывающие контекст, одерживают убедительную и сокрушительную победу над своими аналогами, основанными на подсчёте контекстов.
Key Findings
1
Контекстно-предсказывающие модели существенно превосходят счётные модели на рассмотренных тестах по лексической семантике.
2
Оценивание охватывает широкий спектр задач лексической семантики и множество настроек параметров.
3
Результаты убедительно подтверждают эффективность предсказывающих дистрибутивных семантических представлений.
4
Исследование систематически сравнивает контекстно-предсказывающие эмбеддинги и нейронные языковые модели с классическими контекстно-счётными векторами дистрибутивной семантики.
Research Object
Контекстно-подсчитывающие и контекстно-предсказывающие модели дистрибутивной семантики
Research Subject
Их сравнительная эффективность в задачах лексической семантики и при различных настройках параметров
Publication Details
Publication Date
2014-01-01
Journal
Publisher
ISSN
Cited by
1364
Open access PDF
Access Type
Author Information
Download PDF
Subscribe to digest