Сиамские рекуррентные архитектуры для обучения семантической схожести предложений

Мы представляем сиамскую адаптацию сети Long Short-Term Memory (LSTM) для маркированных данных, состоящих из пар последовательностей переменной длины. Наша модель применяется для оценки семантической схожести предложений; она превосходит текущие достижения, опережая тщательно разработанные вручную признаки и недавно предложенные нейросетевые системы большей сложности. Для этих задач мы предоставляем в LSTM векторные представления слов (word embeddings), дополненные синонимической информацией; LSTM используют вектор фиксированного размера для кодирования базового смысла, выраженного в предложении (независимо от конкретной формулировки/синтаксиса). Ограничивая последующие операции простой манхэттеновой метрикой, мы вынуждаем представления предложений, изучаемые нашей моделью, формировать высокоструктурированное пространство, геометрия которого отражает сложные семантические отношения. Наши результаты являются продолжением ряда работ, демонстрирующих LSTM как мощные языковые модели, способные решать задачи, требующие тонкого понимания.