Устойчивая диаризация дикторов для совещаний

В данной докторской диссертации представлены исследования в области диаризации дикторов для помещений, где проводятся совещания. Рассматриваются алгоритмы и реализация офлайн-системы сегментации и кластеризации дикторов для записей совещаний, при обработке которых обычно доступно более одного микрофона. Основная часть исследований была выполнена во время двухлетней работы в International Computer Science Institute (ICSI, Беркли, Калифорния). Диаризация дикторов широко изучалась применительно к записям радио- и телепередач. В большинстве предложенных систем используется тот или иной вид иерархической кластеризации данных по акустическим группам, при этом вначале неизвестны ни оптимальное число дикторов, ни их личности. Распространённый метод называется «кластеризацией снизу вверх» (bottom-up clustering): сначала формируется множество акустических групп данных, которые затем итеративно объединяются до получения оптимального числа групп при выполнении критерия остановки. Все эти системы основаны на анализе одного входного канала, что не позволяет напрямую применять их к совещаниям. Кроме того, многие из этих алгоритмов требуют обучения моделей или настройки параметров системы на внешних данных, что затрудняет их применение к данным, отличающимся от использованных для адаптации. Предлагаемая в диссертации реализация направлена на решение указанных проблем. В качестве отправной точки используется существующая в ICSI система диаризации дикторов, основанная на кластеризации снизу вверх. Сначала доступные каналы записи обрабатываются для получения единого аудиоканала более высокого качества, а также информации о расположении присутствующих дикторов. Затем реализуется система обнаружения речи и пауз, не требующая предварительного обучения и обрабатывающая с...