Мультимодальная система реального времени для анализа групповых совещаний на основе отслеживания поз лиц и диаризации говорящих

В статье представлена система реального времени для анализа групповых совещаний, использующая новую всенаправленную камерно-микрофонную систему. Цель системы — автоматически определять визуальный фокус внимания (VFOA), то есть «кто на кого смотрит», в дополнение к диаризации говорящих, то есть «кто говорит и когда». Сначала представлено новое настольное сенсорное устройство для совещаний за круглым столом; оно состоит из двух камер с двумя объективами типа «рыбий глаз» и треугольной микрофонной решётки. Затем по изображениям высокого разрешения, полученным с помощью камер, STCTracker (Sparse Template Condensation Tracker) оценивает положение и позу лиц; использование графических процессоров (GPUs, Graphics Processing Units) обеспечивает устойчивое отслеживание нескольких лиц в реальном времени. Данные о положении и позе лиц, полученные трекером, используются для оценки фокуса внимания группы. С помощью микрофонной решётки выполняется устойчивая диаризация говорящих на основе VAD (Voice Activity Detection) и оценки DOA (Direction of Arrival) с последующей кластеризацией источников звука. В статье также представлены новые схемы трёхмерной визуализации сцен совещаний и результаты анализа. При использовании двух персональных компьютеров — одного для обработки видеоданных и другого для обработки аудиоданных — система работает со скоростью около 20 кадров в секунду на совещаниях с участием пяти человек.