Сверточные нейронные сети для классификации предложений

Мы сообщаем о серии экспериментов со сверточными нейронными сетями (CNN), обученными поверх предобученных векторных представлений слов для задач классификации на уровне предложений. Показано, что простая CNN с минимальной настройкой гиперпараметров и статическими векторами даёт отличные результаты на нескольких бенчмарках. Обучение векторов, специфичных для задачи, посредством дообучения (fine-tuning) обеспечивает дополнительные приросты в качестве. Кроме того, мы предлагаем простое модифицирование архитектуры, позволяющее использовать одновременно и векторы, специфичные для задачи, и статические вектора. Обсуждаемые модели CNN превосходят существующий уровень достижений по 4 из 7 задач, включая анализ тональности и классификацию вопросов.