SSAST: аудиоспектрограммный трансформер с самоконтролируемым обучением

Недавно было показано, что нейронные сети, основанные исключительно на механизме самовнимания, такие как Vision Transformer (ViT), превосходят модели глубокого обучения, построенные на сверточных нейронных сетях (CNN), в различных задачах компьютерного зрения, что расширяет успех трансформеров, первоначально разработанных для обработки языка, на область зрения. Недавнее исследование показало, что аналогичная методология может применяться и в аудиодомене. В частности, Audio Spectrogram Transformer (AST) достигает передовых результатов на различных эталонных наборах данных для классификации аудио. Однако чистые трансформерные модели, как правило, требуют большего объема обучающих данных по сравнению с CNN, а успех AST опирается на обучение с учителем на этапе предварительного обучения, требующее большого количества размеченных данных и сложного конвейера обучения, что ограничивает практическое применение AST. В данной статье рассматриваются задачи классификации аудио и речи; ее цель — снизить потребность AST в больших объемах размеченных данных за счет самоконтролируемого обучения на неразмеченных данных. В частности, предлагается предварительно обучать модель AST с использованием совместного дискриминативного и генеративного моделирования замаскированных фрагментов спектрограммы (MSPM) на неразмеченных аудиоданных из AudioSet и Librispeech. Мы оцениваем предварительно обученные модели на задачах классификации аудио и речи, включая классификацию аудиособытий, распознавание ключевых слов, распознавание эмоций и идентификацию говорящего. Предложенная самоконтролируемая структура значительно повышает производительность AST во всех задачах: среднее улучшение составляет 60,9%, благодаря чему достигаются результаты, сопоставимые с результатами AST, предварительно обученного с учителем, или превосходящие их. Насколько нам известно, это первая основанная на фрагментах структура самоконтролируемого обучения в области аудио и речи, а также первая структура самоконтролируемого обучения для AST.