Обучение речевых представлений с самоконтролем: обзор

Хотя глубокое обучение с учителем произвело революцию в обработке речи и аудиосигналов, оно потребовало разработки специализированных моделей для отдельных задач и сценариев применения. Аналогичным образом, этот подход трудно применять к диалектам и языкам, для которых доступен лишь ограниченный объем размеченных данных. Методы обучения представлений с самоконтролем предполагают создание единой универсальной модели, способной приносить пользу в широком спектре задач и предметных областей. Такие методы успешно применяются в обработке естественного языка и компьютерном зрении, обеспечивая новый уровень производительности и одновременно сокращая количество меток, необходимых для многих последующих сценариев применения. В обучении речевых представлений также наблюдается прогресс по трем основным направлениям: генеративные, контрастивные и предиктивные методы. Другие подходы используют мультимодальные данные для предварительного обучения, объединяя текстовые или визуальные потоки данных с речью. Хотя обучение речевых представлений с самоконтролем все еще является молодой областью исследований, оно тесно связано с акустическим встраиванием слов и обучением без лексических ресурсов; оба этих направления активно исследуются уже много лет. В данном обзоре рассматриваются подходы к обучению речевых представлений с самоконтролем и их связи с другими областями исследований. Поскольку многие современные методы сосредоточены исключительно на автоматическом распознавании речи как последующей задаче, мы рассматриваем недавние работы по бенчмаркингу изученных представлений с целью расширения области их применения за пределы распознавания речи.