Диаризация и отслеживание говорящих в средах с несколькими сенсорами

В диссертации рассматриваются исследования в области распознавания говорящих в реальных условиях, включая переговорные комнаты, речь телефонного качества, а также новостные передачи по радио и телевидению. Основная цель заключается в автоматическом обнаружении и классификации говорящих в сценарии интеллектуального помещения. Акустическое распознавание говорящего представляет собой применение машинных методов для идентификации человека по произнесенному высказыванию. Оно предполагает обработку акустических сигналов и преобразование их в символьные описания, соответствующие идентичности говорящих. В течение последних нескольких лет распознавание говорящих в реальных условиях привлекает значительное внимание исследователей и становится одной из технологий обработки устной речи, повышающих качество или расширяющих возможности транскрибирования записей. Реальные условия, особенно при анализе человеческой активности в переговорных комнатах или классах, характеризуются большей сложностью и создают более трудные задачи по сравнению с другими областями вследствие спонтанности речи, эффектов реверберации, наличия перекрывающейся речи, вариативности конфигурации помещения и каналов, а также широкого набора акустических событий, создаваемых людьми или объектами, которыми они пользуются. Поэтому определение как идентичности говорящих, так и их положения во времени может способствовать обнаружению и описанию человеческой активности и обеспечению контекстной осведомленности машин. Сначала мы стремимся усовершенствовать традиционные подходы к моделированию идентификации и верификации говорящих, основанные на моделях гауссовых смесей, посредством стратегий многорешенческой и многоканальной обработки в сценарии интеллектуального помещения. Особое внимание уделяется изучению методов учета вариативности говорящего и канала, таких как адаптация по максимуму апостериорной вероятности, проекция мешающих атрибутов, совместный факторный анализ и нормализация оценок, с целью выявления стратегий и методов преодоления этих ограничений. Кроме того, мы описываем новый алгоритм верификации говорящего, использующий адаптированные признаки, полученные из automati...