Мультимодальная дистрибутивная семантика
Multimodal Distributional Semantics
2014-01-23
SCID: 54.1/t22hnr8g
Discuss with AI
дистрибутивные семантические моделимультимодальная дистрибутивная семантикаперцептивное заземлениеинтеграция текста и изображенийвизуальные слова
Figures from the paper
Abstract (AI)
Дистрибутивные семантические модели выводят вычислительные представления значения слов из закономерностей совместной встречаемости слов в тексте. Такие модели стали одним из успешных направлений компьютерной лингвистики, поскольку позволяют получать надежные оценки семантической близости для множества семантических задач, в которых эти оценки необходимы. Однако дистрибутивные модели извлекают информацию о значении исключительно из текста, что представляет собой крайне обедненную основу по сравнению с богатыми перцептивными источниками, формирующими семантическое знание человека. Мы решаем проблему отсутствия перцептивной основы у дистрибутивных моделей, используя методы компьютерного зрения, автоматически выявляющие в изображениях дискретные «визуальные слова», благодаря чему дистрибутивное представление слова можно расширить, включив в него также совместную встречаемость с визуальными словами изображений, с которыми это слово связано. Мы предлагаем гибкую архитектуру для интеграции дистрибутивной информации, основанной на тексте и изображениях, и показываем в серии эмпирических тестов, что наша интегрированная модель превосходит подход, основанный исключительно на тексте, а также предоставляет по отношению к нему в определенной степени дополнительную семантическую информацию.
Key Findings
1
Гибкая архитектура объединяет текстовую и визуальную дистрибутивную информацию в единых представлениях слов.
2
Эксперименты показывают, что интегрированная мультимодальная модель превосходит модель, использующую только текст, в семантических оценках.
3
Предложенный подход автоматически выделяет дискретные визуальные слова на изображениях и учитывает их совместную встречаемость с текстовыми словами.
4
Традиционные дистрибутивные семантические модели выводят значение слов только из текстовой совместной встречаемости, что ограничивает их перцептивную обоснованность.
5
Визуальная информация предоставляет семантическое содержание, частично дополняющее информацию, извлекаемую только из текста.
Research Object
Модель дистрибутивной семантики, расширенная за счёт со-встречаемости с визуальными «словами» из изображений
Research Subject
улучшение и дополнительная семантическая информация, обеспечиваемые перцептивным заземлением посредством интегрированных текстовых и основанных на изображениях дистрибутивных представлений
Publication Details
Publication Date
2014-01-23
Journal
Publisher
ISSN
Cited by
910
Open access PDF
Access Type
Author Information
Download PDF
Subscribe to digest
Источники этой статьи в scid.ai3
Работы, цитирующие эту статью3
ConceptNet 5.5: открытый многоязычный граф общих знаний2017
Не считайте, а предсказывайте! Систематическое сравнение семантических векторов, основанных на подсчёте контекстов и на предсказании контекстов2014
Дискриминативный лексикон: унифицированная вычислительная модель лексикона и лексической обработки при понимании и порождении речи, основанная не на (де)композиции, а на линейном дискриминативном обучении2019