Стратегии обучения крупномасштабных языковых моделей на основе нейронных сетей

Мы описываем методы эффективного обучения языковых моделей на основе нейронных сетей на больших наборах данных. При сортировке обучающих данных по релевантности наблюдаются более быстрая сходимость в процессе обучения и лучшее общее качество модели. Мы предлагаем хеш-реализацию модели максимальной энтропии, которую можно обучать как часть нейронной модели, что приводит к существенному снижению вычислительной сложности. В задаче распознавания речи English Broadcast News нам удалось добиться примерно 10% относительного сокращения ошибки по словам по сравнению с большой 4-граммной моделью, обученной на 400 млн токенов.