Нейросинтез речи с использованием трансформерной сети

Несмотря на то что были предложены сквозные нейронные методы синтеза речи из текста (TTS), такие как Tacotron2, и они демонстрируют результаты, соответствующие передовому уровню, им по-прежнему присущи две проблемы: (1) низкая эффективность обучения и вывода; (2) сложность моделирования дальних зависимостей с помощью современных рекуррентных нейронных сетей (RNN). Вдохновившись успехом трансформерных сетей в нейронном машинном переводе (NMT), в данной работе мы внедряем и адаптируем механизм многоголового внимания, заменяя им рекуррентные структуры, а также исходный механизм внимания в Tacotron2. Благодаря многоголовому самомножественному вниманию скрытые состояния кодировщика и декодировщика формируются параллельно, что повышает эффективность обучения. Кроме того, любые два входных элемента, относящиеся к различным временным шагам, напрямую связываются посредством механизма самомножественного внимания, что эффективно решает проблему дальних зависимостей. Используя последовательности фонем в качестве входных данных, наша трансформерная TTS-сеть генерирует мел-спектрограммы, которые затем обрабатываются вокодером WaveNet для получения итогового аудиосигнала. Для оценки эффективности и производительности предложенной сети проведены эксперименты. С точки зрения эффективности наша трансформерная TTS-сеть ускоряет обучение примерно в 4,25 раза по сравнению с Tacotron2. С точки зрения производительности строгие оценки с участием людей показывают, что предложенная модель достигает результатов, соответствующих передовому уровню, превосходя Tacotron2 на 0,048, и очень близка к качеству человеческой речи (4,39 против 4,44 по средней оценке мнений, MOS).