Не считайте, а предсказывайте! Систематическое сравнение семантических векторов, основанных на подсчёте контекстов и на предсказании контекстов

Don't count, predict! A systematic comparison of context-counting vs. context-predicting semantic vectors
Germán Kruszewski, Marco Baroni, Georgiana Dinu
2014-01-01

модели, предсказывающие контекстсемантические векторы на основе подсчётадистрибутивная семантиказадачи лексической семантикивекторные представления слов
Модели, предсказывающие контекст (более известные как эмбеддинги или нейронные языковые модели), — новое направление в дистрибутивной семантике. Несмотря на ажиотаж вокруг этих моделей, в научной литературе по-прежнему отсутствует систематическое сравнение предсказывающих моделей с классическими дистрибутивно-семантическими подходами, основанными на векторах подсчётов. В этой статье мы проводим такое всестороннее исследование на широком спектре задач лексической семантики и при множестве настроек параметров. Результаты, к нашему собственному удивлению, показывают, что ажиотаж полностью оправдан: модели, предсказывающие контекст, одерживают убедительную и сокрушительную победу над своими аналогами, основанными на подсчёте контекстов.
1
Контекстно-предсказывающие модели существенно превосходят счётные модели на рассмотренных тестах по лексической семантике.
2
Оценивание охватывает широкий спектр задач лексической семантики и множество настроек параметров.
3
Результаты убедительно подтверждают эффективность предсказывающих дистрибутивных семантических представлений.
4
Исследование систематически сравнивает контекстно-предсказывающие эмбеддинги и нейронные языковые модели с классическими контекстно-счётными векторами дистрибутивной семантики.

Контекстно-подсчитывающие и контекстно-предсказывающие модели дистрибутивной семантики

Их сравнительная эффективность в задачах лексической семантики и при различных настройках параметров

Publication Details
Publication Date
2014-01-01
Journal
Publisher
ISSN
Cited by
1364
Access Type
Author Information
Authors
Germán Kruszewski
Marco Baroni
Georgiana Dinu
Explore further
Open the scid.ai AI chat with a ready-made request: it will find papers on a similar topic and help build a literature review.
Find similar papers in the chat →
Make a presentation
100%