Эффективное обучение крупных нейронных сетей для языкового моделирования

В последнее время возрастает интерес к использованию нейронных сетей для языкового моделирования. В отличие от хорошо известных backoff n-граммных языковых моделей нейронный подход стремится уменьшить проблему разреженности данных, выполняя оценивание в непрерывном пространстве и тем самым обеспечивая плавные интерполяции. Однако вычислительная сложность обучения такой модели и вычисления одной n-граммной вероятности на несколько порядков выше, чем у backoff моделей, что затрудняет применение нового подхода в реальных системах. В статье представлены несколько методов, позволяющих использовать нейронную языковую модель в системе распознавания речи с большим словарём, в частности очень быстрая пероценка решёток (lattice rescoring) и эффективное обучение крупных нейронных сетей на корпусах обучения объёмом более 10 миллионов слов. Описанный подход обеспечивает значительное снижение ошибок по слову по сравнению с тщательно настроенной 4-граммной backoff моделью в современном конверсационном распознавателе речи в оценках DARPA Rich Transcriptions.