Двунаправленные рекуррентные нейронные сети
Bidirectional recurrent neural networks
1997-01-01
SCID: 54.1/spbuzmsd
Discuss with AI
классификация фонем TIMITдвунаправленная рекуррентная нейронная сетьрекуррентная нейронная сетьоценка апостериорной вероятности последовательностейобучение в положительном и отрицательном направлении времени
Figures from the paper
Abstract (AI)
В первой части статьи стандартная рекуррентная нейронная сеть (RNN) расширяется до двунаправленной рекуррентной нейронной сети (BRNN). BRNN можно обучать без ограничения использования входной информации только до заранее заданного будущего кадра, обучая её одновременно в положительном и отрицательном временных направлениях. Описаны структура и процедура обучения предлагаемой сети. В экспериментах по регрессии и классификации на искусственных данных предлагаемая структура дает лучшие результаты по сравнению с другими подходами. Для реальных данных эксперименты по классификации фонем из базы TIMIT показывают ту же тенденцию. Во второй части статьи показано, как предложенную двунаправленную структуру можно легко модифицировать для эффективной оценки условной апостериорной вероятности полных последовательностей символов без явных предположений о форме распределения; для этой части приведены эксперименты на реальных данных.
Key Findings
1
Обычная RNN расширена до двунаправленной рекуррентной нейронной сети (BRNN), обучаемой одновременно в положительном и отрицательном временных направлениях.
2
Эксперименты по классификации реальных фонемных данных (TIMIT) показывают, что BRNN превосходит альтернативные методы с той же тенденцией, что и на искусственных данных.
3
Эксперименты на реальных данных демонстрируют способность модифицированной BRNN эффективно оценивать последовательные условные апостериоры.
4
В экспериментах по регрессии и классификации на искусственных данных BRNN даёт лучшие результаты по сравнению с другими подходами.
5
BRNN устраняет ограничение использования входной информации только до заранее заданного будущего кадра за счёт учёта информации как из прошлого, так и из будущего.
6
Двунаправленная структура может быть модифицирована для эффективной оценки условных апостериорных вероятностей полных последовательностей символов без явных предположений о форме распределения.
Research Object
Двунаправленная рекуррентная нейронная сеть (BRNN)
Research Subject
Структура, процедура обучения и характеристики производительности (регрессия/классификация и оценка условной апостериорной вероятности последовательностей символов) двунаправленных RNN по сравнению с другими подходами
Publication Details
Publication Date
1997-01-01
Journal
Publisher
ISSN
Cited by
10095
Access Type
Author Information
Download PDF
Subscribe to digest
Источники этой статьи в scid.ai2
Работы, цитирующие эту статью20
Нейронный машинный перевод посредством совместного обучения выравниванию и переводу2014
Распознавание речи с помощью глубоких рекуррентных нейронных сетей2013
Обзор рекуррентных нейронных сетей: LSTM‑ячейки и архитектуры сетей2019
Обнаружение объектов с помощью глубокого обучения: обзор2019
CatBoost для больших данных: междисциплинарный обзор2020
Системы семантической связи на основе глубокого обучения2021
Глубокое обучение в биоинформатике2016
Методы машинного и глубокого обучения для систем обнаружения вторжений: обзор2019
Генерация естественного языка на основе LSTM с семантическим управлением для систем устного диалога2015
FinBERT: большая языковая модель для извлечения информации из финансовых текстов2022
Комплексное исследование кросс-видовой идентификации человека по походке с использованием глубоких сверточных нейронных сетей2016
Улучшение анализа тональности с помощью классификации типов предложений на основе BiLSTM-CRF и CNN2016
Механизм внимания в обработке естественного языка2020
Моделирование покрытия для нейронного машинного перевода2016
Семантические коммуникации для Интернета будущего: основы, приложения и проблемы2022
Применение объяснимого искусственного интеллекта в кибербезопасности: современное состояние исследований2022
Всесторонний обзор глубокого обучения: архитектуры, последние достижения и применения2024
Графовые нейронные сети для обработки естественного языка: обзор2023
Анализ выявления мошенничества в финансовой отчетности китайских листинговых компаний с использованием глубокого обучения2022
RenAIssance: Обзор генерации изображений по тексту на основе ИИ в эпоху больших моделей2024