Аудиовизуальная диаризация дикторов на основе пространственно-временного байесовского объединения данных

Диаризация дикторов заключается в отнесении речевых сигналов к участникам диалога. Предложена аудиовизуальная пространственно-временная модель диаризации. Модель хорошо подходит для сложных сценариев с несколькими участниками многостороннего взаимодействия, которые перемещаются и поворачивают головы к другим участникам, а не находятся лицом к камерам и микрофонам. Для решения задачи установления соответствия между речью и человеком отслеживание нескольких людей в видеопотоке объединяется с локализацией нескольких источников речи. Последняя задача решается с помощью нового метода аудиовизуального объединения данных, основанного на следующей процедуре: сначала из пары микрофонов извлекаются бинауральные спектральные признаки, затем контролируемый метод аудиовизуального выравнивания отображает эти признаки на изображение, и, наконец, метод полуобучаемой кластеризации соотносит бинауральные спектральные признаки с видимыми людьми. Главное преимущество этого метода по сравнению с предыдущими работами заключается в принципиально корректной обработке речевых сигналов, одновременно произносимых несколькими людьми. Сама диаризация представляется в виде временной графовой модели со скрытыми переменными, которая выводит идентичности дикторов и речевые фрагменты на основе результата процесса аудиовизуального установления соответствий, выполняемого на каждом временном срезе, а также динамики самой переменной диаризации. Предложенная формулировка обеспечивает эффективную процедуру точного вывода. Представлен новый набор данных, содержащий аудиовизуальные обучающие данные, а также ряд сценариев с несколькими участниками, ведущими формальные и неформальные диалоги. Предложенный метод тщательно протестирован и сопоставлен с несколькими современными алгоритмами диаризации.