Мультимодальная диаризация участников совещаний в реальных условиях с использованием видео-признаков в сжатой области

Диаризация участников речи изначально определяется как задача установления того, «кто и когда говорил», по аудиозаписи без каких-либо дополнительных априорных знаний. В данной статье представлен мультимодальный подход, повышающий эффективность современной системы диаризации участников речи за счет объединения стандартных акустических признаков (MFCC) с видео-признаками, извлеченными в сжатой области. Подход оценивается на более чем 4,5 часах общедоступного набора данных совещаний AMI, который включает такие сложные ситуации, как вставание участников и их выход из помещения. Показано стабильное относительное улучшение примерно на 34% по показателю ошибки идентификации говорящих (speaker error rate; 21% DER) по сравнению с современной базовой системой, использующей только аудиоданные.