Аугментационное состязательное обучение для самосупервизируемого распознавания говорящего

Цель данной работы — обучение устойчивых моделей распознавания говорящего без использования меток говорящих. Современные методы построения неконтролируемых представлений говорящих основаны на контрастивном обучении, при котором эмбеддинги сегментов внутри одного высказывания стремятся сделать похожими, а эмбеддинги сегментов из разных высказываний — непохожими. Однако, поскольку сегменты внутри одного высказывания имеют общие акустические характеристики, трудно отделить информацию о говорящем от информации о канале. Для решения этой проблемы мы предлагаем стратегию аугментационного состязательного обучения, которая обучает сеть различать информацию о говорящем, сохраняя инвариантность к применяемой аугментации. Поскольку аугментация имитирует акустические характеристики, обучение сети инвариантности к аугментациям также способствует формированию общей инвариантности к информации о канале. Масштабные эксперименты на наборах данных VoxCeleb и VOiCES демонстрируют значительное превосходство над предыдущими методами самосупервизии, а результаты наших самосупервизируемых моделей существенно превосходят человеческие показатели.