Мультимодальная дистрибутивная семантика

Multimodal Distributional Semantics
Nam K. Tran, Marco Baroni, Elia Bruni, N. K. Tran
2014-01-23

дистрибутивные семантические моделимультимодальная дистрибутивная семантикаперцептивное заземлениеинтеграция текста и изображенийвизуальные слова
Дистрибутивные семантические модели выводят вычислительные представления значения слов из закономерностей совместной встречаемости слов в тексте. Такие модели стали одним из успешных направлений компьютерной лингвистики, поскольку позволяют получать надежные оценки семантической близости для множества семантических задач, в которых эти оценки необходимы. Однако дистрибутивные модели извлекают информацию о значении исключительно из текста, что представляет собой крайне обедненную основу по сравнению с богатыми перцептивными источниками, формирующими семантическое знание человека. Мы решаем проблему отсутствия перцептивной основы у дистрибутивных моделей, используя методы компьютерного зрения, автоматически выявляющие в изображениях дискретные «визуальные слова», благодаря чему дистрибутивное представление слова можно расширить, включив в него также совместную встречаемость с визуальными словами изображений, с которыми это слово связано. Мы предлагаем гибкую архитектуру для интеграции дистрибутивной информации, основанной на тексте и изображениях, и показываем в серии эмпирических тестов, что наша интегрированная модель превосходит подход, основанный исключительно на тексте, а также предоставляет по отношению к нему в определенной степени дополнительную семантическую информацию.
1
Гибкая архитектура объединяет текстовую и визуальную дистрибутивную информацию в единых представлениях слов.
2
Эксперименты показывают, что интегрированная мультимодальная модель превосходит модель, использующую только текст, в семантических оценках.
3
Предложенный подход автоматически выделяет дискретные визуальные слова на изображениях и учитывает их совместную встречаемость с текстовыми словами.
4
Традиционные дистрибутивные семантические модели выводят значение слов только из текстовой совместной встречаемости, что ограничивает их перцептивную обоснованность.
5
Визуальная информация предоставляет семантическое содержание, частично дополняющее информацию, извлекаемую только из текста.

Модель дистрибутивной семантики, расширенная за счёт со-встречаемости с визуальными «словами» из изображений

улучшение и дополнительная семантическая информация, обеспечиваемые перцептивным заземлением посредством интегрированных текстовых и основанных на изображениях дистрибутивных представлений

Publication Details
Publication Date
2014-01-23
Journal
Publisher
ISSN
Cited by
910
Access Type
Author Information
Authors
Nam K. Tran
Marco Baroni
Elia Bruni
N. K. Tran
Explore further
Open the scid.ai AI chat with a ready-made request: it will find papers on a similar topic and help build a literature review.
Find similar papers in the chat →
Make a presentation
100%