VoxCeleb: Масштабная верификация говорящих в естественных условиях

Цель данной работы — распознавание говорящих в условиях шума и отсутствия ограничений на условия записи. Мы вносим два основных вклада. Во-первых, мы представляем аудиовизуальный набор данных очень большого масштаба, собранный из медиаматериалов с открытым доступом с использованием полностью автоматизированного конвейера. Большинство существующих наборов данных для идентификации говорящих содержат образцы, полученные в жестко ограниченных условиях, и обычно требуют ручной разметки; поэтому их размер ограничен. Мы предлагаем конвейер, основанный на методах компьютерного зрения, для создания набора данных из медиаматериалов с открытым доступом. Конвейер включает получение видеозаписей с YouTube, верификацию активного говорящего с использованием сверточной нейронной сети (CNN) с двумя потоками для синхронизации, а также подтверждение личности говорящего с помощью распознавания лиц на основе CNN. С помощью этого конвейера мы сформировали VoxCeleb, содержащий более миллиона «реальных» высказываний более чем 6 000 говорящих. Это в несколько раз больше любого общедоступного набора данных для распознавания говорящих. Во-вторых, мы разрабатываем и сравниваем различные архитектуры CNN с различными методами агрегации и функциями потерь при обучении, способными эффективно распознавать личность говорящего по голосу в различных условиях. Модели, обученные на нашем наборе данных, значительно превосходят по эффективности результаты предыдущих работ.