Междоменный и внутридоменный анализ тональности с использованием глубоких нейронных сетей с памятью

Междоменные классификаторы тональности предназначены для предсказания полярности, то есть эмоциональной ориентации целевых текстовых документов, путем повторного использования модели знаний, обученной в другой исходной предметной области. Различные предметные области обычно характеризуются неоднородностью языка, поэтому для поддержки переноса знаний из исходной области в целевую целесообразно применять методы трансферного обучения. Распределенные представления слов способны без учителя выявлять скрытые взаимосвязи между словами, в том числе между предметными областями. Глубокие нейронные сети с памятью (MemDNN) недавно продемонстрировали передовые результаты в ряде задач обработки естественного языка (NLP), включая междоменную классификацию тональности крупномасштабных данных. Вклад данной работы состоит в масштабном экспериментальном исследовании новых высокоэффективных архитектур MemDNN, а именно рекуррентного блока с управляемыми вентилями (Gated Recurrent Unit, GRU) и дифференцируемого нейронного компьютера (Differentiable Neural Computer, DNC), для междоменной и внутридоменной классификации тональности с использованием векторных представлений слов GloVe. Насколько нам известно, ранее в междоменной классификации тональности применялись только нейронные сети GRU. Классификаторы тональности, основанные на этих архитектурах глубокого обучения, также оцениваются с точки зрения масштабируемости и точности путем постепенного увеличения размера обучающей выборки и изучения влияния дообучения — явного механизма трансферного обучения — на междоменные задачи. Показано, что классификаторы на основе MemDNN улучшают передовые результаты на корпусе Amazon Reviews применительно к междоменной классификации тональности документов. На том же корпусе DNC превосходит предыдущие подходы при анализе очень крупной внутридоменной конфигурации как в бинарной, так и в мелкодетализированной классификации тональности документов. Наконец, DNC достигает точности, сопоставимой с точностью передовых подходов, на наборе данных Stanford Sentiment Treebank как для бинарной, так и для мелкодетализированной классификации тональности отдельных предложений.