VoxCeleb: крупномасштабный набор данных для идентификации говорящих

Большинство существующих наборов данных для идентификации говорящих содержит образцы, полученные в условиях, существенно ограничивающих вариативность, и обычно размечается вручную, что ограничивает их размер. Цель данной работы — создать крупномасштабный независимый от текста набор данных для идентификации говорящих, собранный «в естественных условиях». В работе представлены два основных результата. Во-первых, предложен полностью автоматизированный конвейер на основе методов компьютерного зрения для создания набора данных из открытых медиаресурсов. Конвейер включает получение видеозаписей с YouTube, верификацию активного говорящего с использованием двухпоточной синхронизационной сверточной нейронной сети (CNN) и подтверждение личности говорящего с помощью распознавания лиц на основе CNN. С помощью этого конвейера сформирован VoxCeleb, содержащий сотни тысяч высказываний из «реального мира», принадлежащих более чем 1 000 знаменитостей. Во-вторых, различные современные методы идентификации говорящих применены и сопоставлены на этом наборе данных для определения базовых показателей качества. Показано, что архитектура на основе CNN обеспечивает наилучшие результаты как для идентификации, так и для верификации.