Онлайн-нейронная диаризация речи с отслеживанием целевых дикторов

В статье предлагается онлайн-система детектирования речевой активности целевого диктора (TS-VAD) для задач диаризации речи, которая не использует априорные сведения от систем диаризации на основе кластеризации для получения эмбеддингов целевых дикторов. Адаптируя традиционный TS-VAD для работы в реальном времени, разработанный метод выявляет речевую активность дикторов с помощью самостоятельно сформированных эмбеддингов, обеспечивая стабильность результатов и устраняя неоднозначности перестановок на этапе вывода. На этапе вывода фронтенд-модель извлекает поуровневые эмбеддинги дикторов для каждого поступающего блока сигнала. Затем состояние детектирования каждого диктора предсказывается на основе этих поуровневых эмбеддингов и ранее оцененных эмбеддингов целевых дикторов. После этого эмбеддинги целевых дикторов обновляются путем агрегирования поуровневых эмбеддингов в соответствии с предсказаниями для текущего блока. Модель формирует результаты блок за блоком и итеративно обновляет эмбеддинги целевых дикторов до достижения конца сигнала. Экспериментальные результаты показывают, что предложенный метод превосходит офлайн-системы диаризации на основе кластеризации на наборах данных DIHARD III и AliMeeting. Кроме того, данный подход был расширен для многоканальных данных и продемонстрировал сопоставимую эффективность с современными офлайн-системами диаризации.