Сверточные нейронные сети для классификации предложений
Convolutional Neural Networks for Sentence Classification
2014-01-01
SCID: 54.1/z5d4a25r
Discuss with AI
сверточные нейронные сетидообучение (fine-tuning)предобученные векторные представления словклассификация предложенийанализ тональности
Figures from the paper
Abstract (AI)
Мы сообщаем о серии экспериментов со сверточными нейронными сетями (CNN), обученными поверх предобученных векторных представлений слов для задач классификации на уровне предложений. Показано, что простая CNN с минимальной настройкой гиперпараметров и статическими векторами даёт отличные результаты на нескольких бенчмарках. Обучение векторов, специфичных для задачи, посредством дообучения (fine-tuning) обеспечивает дополнительные приросты в качестве. Кроме того, мы предлагаем простое модифицирование архитектуры, позволяющее использовать одновременно и векторы, специфичные для задачи, и статические вектора. Обсуждаемые модели CNN превосходят существующий уровень достижений по 4 из 7 задач, включая анализ тональности и классификацию вопросов.
Key Findings
1
Предложено простое изменение архитектуры, позволяющее одновременно использовать и задачно-специфические (дообученные), и статические векторы.
2
Простая CNN, обученная на предобученных векторных представлениях слов с минимальной настройкой гиперпараметров, показывает отличные результаты классификации предложений на нескольких бенчмарках.
3
Дообучение (fine-tuning) векторов под конкретную задачу даёт дополнительные улучшения производительности по сравнению со статическими векторами.
4
Описанные модели CNN улучшают результаты состояния дела по 4 из 7 оценённых задач, включая анализ настроений и классификацию вопросов.
5
Использование статических (не дообучаемых) предобученных векторов слов уже обеспечивает высокую производительность в задачах классификации предложений.
Research Object
Модели сверточных нейронных сетей для классификации предложений, обученные поверх предобученных векторных представлений слов
Research Subject
Влияние архитектур CNN и стратегий представлений слов (статические против дообучаемых, а также комбинированные) на качество классификации предложений по набору эталонных задач
Publication Details
Publication Date
2014-01-01
Journal
Publisher
ISSN
Cited by
14831
Open access PDF
Access Type
Author Information
Download PDF
Subscribe to digest
Источники этой статьи в scid.ai6
Классификация ImageNet с использованием глубоких сверточных нейронных сетей2017
Градиентное обучение для распознавания документов1998
Распределённые представления слов и фраз и их композиционность2013
Распознавание речи с помощью глубоких рекуррентных нейронных сетей2013
Улучшение нейронных сетей путем предотвращения соадаптации детекторов признаков2012
Рекурсивные глубокие модели для семантической композицией по дереву тональности2013
Работы, цитирующие эту статью19
Предварительное обучение, промптинг и предсказание: систематический обзор методов промптинга в обработке естественного языка2022
Обзор сверточных нейронных сетей: анализ, применения и перспективы2021
Иерархические сети внимания для классификации документов2016
CodeBERT: предобученная модель для языков программирования и естественных языков2020
Сверточные двумерные встраивания для графов знаний2018
EDA: Простые методы аугментации данных для повышения качества задач классификации текста2019
Обзор рекомендательных систем на основе графов знаний2020
Классификация трафика со сквозным шифрованием с использованием одномерных сверточных нейронных сетей2017
DeepPath: метод обучения с подкреплением для логического вывода в графах знаний2017
FinBERT: большая языковая модель для извлечения информации из финансовых текстов2022
Улучшение анализа тональности с помощью классификации типов предложений на основе BiLSTM-CRF и CNN2016
Обзор анализа тональности на основе аспектов: задачи, методы и проблемы2022
Когда физика встречает машинное обучение: обзор physics-informed machine learning2025
Дополнение графов знаний: обзор2020
"Что важно в текстовом документе?": Интерпретируемый подход машинного обучения2017
Анализ финансовых настроений: методы и приложения2024
Семантическое сопоставление текстов для документов большого объёма2019
«Bingo» — рабочий процесс на основе большой языковой модели и графовой нейронной сети для прогнозирования жизненно важных генов по данным о белках2023
PAI-NET: патентная сеть с генерацией, дополненной поиском, на основе информации о предшествующем уровне техники2025