Совместный подсчёт говорящих, распознавание речи и идентификация говорящих для перекрывающейся речи с произвольным числом говорящих

Предлагается сквозная модель автоматического распознавания речи с атрибуцией говорящих, объединяющая подсчёт говорящих, распознавание речи и идентификацию говорящих для монофонической перекрывающейся речи. Модель основана на обучении с сериализованным выходом (serialized output training, SOT) с использованием кодировщика–декодировщика с механизмом внимания — недавно предложенного метода распознавания перекрывающейся речи с произвольным числом говорящих. Метод SOT расширен за счёт введения инвентаря говорящих в качестве вспомогательного входа, что позволяет формировать как метки говорящих, так и транскрипции речи нескольких говорящих. Все параметры модели оптимизируются с использованием критерия максимизации взаимной информации с атрибуцией говорящих, представляющего совместную вероятность распознавания перекрывающейся речи и идентификации говорящих. Эксперименты на корпусе LibriSpeech показывают, что предложенный метод обеспечивает значительно меньшую ошибку на уровне слов с атрибуцией говорящих по сравнению с базовым методом, который выполняет распознавание перекрывающейся речи и идентификацию говорящих раздельно.