ConceptNet 5.5: открытый многоязычный граф общих знаний

Машинное обучение языка можно улучшить, снабдив его специализированными знаниями и источниками внешней информации. В данной работе представлена новая версия ресурса связанных открытых данных ConceptNet, особенно хорошо подходящая для использования с современными методами обработки естественного языка (NLP), такими как векторные представления слов. ConceptNet представляет собой граф знаний, связывающий слова и фразы естественного языка с помощью помеченных рёбер. Знания в нём собираются из множества источников, включая ресурсы, созданные экспертами, краудсорсинг и игры с общественно полезной целью. Граф предназначен для представления общих знаний, необходимых для понимания языка, и улучшает приложения обработки естественного языка, позволяя им лучше понимать значения используемых людьми слов. При объединении ConceptNet с векторными представлениями слов, полученными с помощью дистрибутивной семантики, например word2vec, приложения получают понимание, недоступное при использовании одной лишь дистрибутивной семантики или более узких ресурсов, таких как WordNet или DBPedia. Это подтверждается передовыми результатами внутренней оценки семантической связанности слов, которые приводят к улучшению приложений, использующих векторы слов, включая решение аналогий в стиле SAT.