Conformer: трансформер с дополнительной свёрткой для распознавания речи

В последнее время модели на основе Transformer и сверточных нейронных сетей (CNN) показали многообещающие результаты в автоматическом распознавании речи (ASR), превосходя рекуррентные нейронные сети (RNN). Модели Transformer хорошо улавливают глобальные взаимодействия, основанные на содержании, тогда как CNN эффективно извлекают локальные признаки. В этой работе мы стремимся объединить преимущества обеих подходов, изучая способы комбинирования сверточных нейронных сетей и трансформеров для моделирования как локальных, так и глобальных зависимостей аудиопоследовательности с точки зрения параметрической эффективности. В этой связи мы предлагаем трансформер, дополненный свёрткой, для распознавания речи, названный Conformer. Conformer существенно превосходит предыдущие модели на основе Transformer и CNN, достигая передовых показателей точности. На широко используемом бенчмарке LibriSpeech наша модель демонстрирует WER 2.1%/4.3% без использования языковой модели и 1.9%/3.9% с внешней языковой моделью на наборах test/test_other. Мы также наблюдаем конкурентоспособные результаты 2.7%/6.3% у небольшой модели всего с 10 млн параметров.