Tacotron: к энд-ту-энд синтезу речи

Система преобразования текста в речь обычно состоит из нескольких стадий, таких как фронтенд анализа текста, акустическая модель и модуль синтеза аудио. Построение этих компонентов часто требует значительной предметной экспертизы и может включать хрупкие проектные решения. В этой работе мы представляем Tacotron — генеративную end-to-end модель текст-в-речь, которая синтезирует речь непосредственно из символов. Имея пары «текст–аудио», модель можно обучить полностью с нуля при случайной инициализации. Мы представляем несколько ключевых методов, позволяющих фреймворку sequence-to-sequence хорошо работать для этой сложной задачи. Tacotron достигает субъективной средней оценки восприятия (mean opinion score) 3.82 по пятибалльной шкале для американского английского, превосходя продукционную параметрическую систему по натуральности. Кроме того, поскольку Tacotron генерирует речь на уровне фреймов, он существенно быстрее методов авторегрессии на уровне сэмплов.