Двунаправленные рекуррентные нейронные сети

В первой части статьи стандартная рекуррентная нейронная сеть (RNN) расширяется до двунаправленной рекуррентной нейронной сети (BRNN). BRNN можно обучать без ограничения использования входной информации только до заранее заданного будущего кадра, обучая её одновременно в положительном и отрицательном временных направлениях. Описаны структура и процедура обучения предлагаемой сети. В экспериментах по регрессии и классификации на искусственных данных предлагаемая структура дает лучшие результаты по сравнению с другими подходами. Для реальных данных эксперименты по классификации фонем из базы TIMIT показывают ту же тенденцию. Во второй части статьи показано, как предложенную двунаправленную структуру можно легко модифицировать для эффективной оценки условной апостериорной вероятности полных последовательностей символов без явных предположений о форме распределения; для этой части приведены эксперименты на реальных данных.