Модель языка на основе рекуррентной нейронной сети

Представлена новая модель языка на основе рекуррентной нейронной сети (RNN LM) с приложением к распознаванию речи. Результаты показывают, что использование смеси нескольких RNN LM позволяет снизить перплексию примерно на 50% по сравнению с современными бэкофф-моделями языка. Эксперименты по распознаванию речи демонстрируют снижение ошибки слова примерно на 18% в задаче Wall Street Journal при сравнении моделей, обученных на одном и том же объеме данных, и примерно на 5% в гораздо более трудной задаче NIST RT05, даже когда бэкофф-модель обучена на значительно большем объеме данных, чем RNN LM. Приводится обширная эмпирическая доказательная база в пользу того, что коннекционистские модели языка превосходят стандартные n-граммные методы, за исключением их высокой вычислительной (обучающей) сложности. Индексные термины: моделирование языка, рекуррентные нейронные сети, распознавание речи