TERA: самообучение представлению, получаемому кодировщиком-трансформером, для речи

Мы представляем метод предварительного обучения речевых моделей с самоконтролем под названием TERA — Transformer Encoder Representations from Alteration (представления кодировщика-трансформера, получаемые из модификаций). В современных подходах обучение часто осуществляется с использованием одной вспомогательной задачи, такой как контрастивное предсказание, авторегрессионное предсказание или реконструкция по маске. В отличие от предыдущих методов, мы применяем модификации по трём ортогональным осям для предварительного обучения кодировщиков-трансформеров на большом объёме неразмеченной речи. Модель обучается посредством реконструкции акустических кадров по их модифицированным версиям; для этого используется стохастическая стратегия изменения различных измерений: времени, частоты и амплитуды. TERA может применяться для извлечения речевых представлений или дообучения совместно с моделями для последующих задач. Мы оцениваем TERA на нескольких последующих задачах, включая классификацию фонем, обнаружение ключевых слов, распознавание диктора и распознавание речи. Мы представляем крупномасштабное сравнение различных моделей с самоконтролем. В этом сравнении TERA демонстрирует высокие результаты, превосходя поверхностные признаки и предыдущие модели. В экспериментах мы изучаем влияние применения различных методов модификации, предварительного обучения на большем объёме данных и предварительного обучения на различных признаках. Мы анализируем модели разных размеров и обнаруживаем, что небольшие модели лучше обучаются представлениям, чем крупные, тогда как крупные модели эффективнее при последующем дообучении. Кроме того, мы показываем, что предложенный метод переносим на наборы данных для последующих задач, которые не использовались при предварительном обучении.